admin/ARTEX
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
359 Commits 1 Branch 0 Tags
3480760d4e5687f04a49bcd6fbe54d7d385c3949
Commit Graph
102 Commits
Author SHA1 Message Date
Autumn-27 4ccb8f4ff2 fix(agent): list_assets 按任务范围过滤，修复任务间资产互串 (#59) 
list_assets 此前把任务 id 写死为 0、裸查整个共享资产库，模型又无从写出
范围过滤条件，于是把别的任务的资产（尤其 IP）当成本任务目标，测试方向
被带偏。

- 新增 QueryDSLInScope / GetByIDsInScope：只返回落在【本任务及直接关联
  任务】task_scope 内的资产，按归属匹配而非字面值（根域范围含其全部子域/
  服务/接口，网段范围含段内主机及服务）；越权 id 静默丢弃
- 新增 scopeTargetCTE（纯 scope 归属判定，不含 anchor/tested）；whereBuilder
  加占位符偏移，$1 留给 taskID
- 修复 IP 直连主机(http://1.2.3.4/api)无法被网段范围命中的盲区：谓词加
  OR ts.net >>= try_inet(a.domain)
- 非任务上下文(Auto/pentest, taskID<=0)无范围可依，回退全库
- QueryDSL/CountDSL 原样未动，UI 的「测试资产」视图（按生产者过滤）不受影响
 2026-09-12 03:25:47 -04:00
Autumn-27 16e87b48c2 fix(db): side_question checkpoint 入库前剥除 jsonb 不支持的 NUL 转义 
HTTP/工具响应含裸 NUL 字节时，json.Marshal 将其编码为 \u0000 转义，
PostgreSQL jsonb 列拒绝并抛 SQLSTATE 22P05，导致 SaveSideSnapshot 的
INSERT 每秒失败数十次刷屏。新增 jsonbClean 在 marshal 后剥除真正的
\u0000 转义（按前置反斜杠奇偶判断，避免误伤字面 \\u0000），并订正
exploration.go 中 "json.Marshal already sanitizes" 的错误注释。

Closes #111, Closes #112
 2026-09-12 03:00:28 -04:00
Autumn-27 557317491b feat(assets): 任务测试资产支持 DSL 搜索 
任务详情「测试资产」接口/服务多时不好找。复用资产管理页的 DSL
搜索(字段自动补全 + 分页),搜索始终限定在当前任务范围内。

- 抽出共享组件 asset-dsl-search.tsx,资产页与任务页复用,UI/交互一致
- QueryDSL/CountDSL 增加 taskID 参数,taskID>0 时强制 AND $N = ANY(task_ids)
  并补 task 来源信息;即便 DSL 内写 task_id 也无法越出当前任务
- 任务资产 tab 接入搜索框:有 DSL 走 searchTaskAssets,否则走 taskAssets

Closes #107
 2026-09-11 11:59:46 -04:00
Autumn-27 25b82f2544 fix(mcp): http 传输支持跳过 TLS 证书校验(自签证书) 
MCP server 走 HTTPS 且用自签证书时,客户端 TLS 校验失败,报
"tls: failed to verify certificate" 无法连接。

mcp_servers 增加 insecure 开关(默认 false),置 true 时远程 MCP
客户端使用 InsecureSkipVerify 的 transport。stdio 传输不受影响。

- mcphttp.New 增加 insecure 参数
- db: MCPServer.Insecure 字段 + schema 加列(补 ALTER 兼容旧库)
- create_mcp/update_mcp 工具与前端 http 配置项增加勾选框

Closes #108
 2026-09-11 11:37:56 -04:00
ji ruo 272004c2e4 Merge upstream/main into codex/btw-side-question 
同步官方 main 的任务会话与 spawn_task 更新，保留 /btw 旁路上下文能力。
 2026-09-11 08:47:57 +08:00
Autumn-27 ee3eb22433 feat(agent): 任务内主 Agent 支持多会话，可切换且上下文可重置 
主 Agent 会话原为一个任务恒定单例，对话历史随 transcript 只增不减、
上下文越滚越大。现引入会话分段(seq)：新建会话切一个干净的 transcript
段，任务的图谱/资产/目标共享保留，旧段以只读历史随时切回查看。

- db: 新增 main_sessions 表与 activity.main_seg 列(ALTER ADD COLUMN
  IF NOT EXISTS 兼容旧库)；ActivitySessionFilter 按段过滤(段 0 兼容
  旧 NULL 行)；新增 CurrentMainSeg/ListMainSessions/NewMainSession；
  per-session token 统计按 main:<seg> 分段
- agent: MainAgent.Chat 增加 mainSeg，transcript SessionID 分段
  (段 0 保留旧名 exp<id>-main 兼容既有对话)
- server: parseActivitySession 支持 main:<seq>；chat handler 每轮
  stamp 当前段；新增 GET main-sessions / POST main-session/new
- web: 主 Agent 分组渲染多段会话，支持新建(轻确认)、切换、旧段只读
 2026-09-10 12:56:59 -04:00
ji ruo 2930c4b915 Merge origin/main into codex/btw-side-question 
合入 main 的 norma v0.3.7、会话分组与流量证据更新，保留 /btw 快照和输入布局。同步自动放行、关闭流量绑定的测试断言，并等待归档测试夹具的旁路后台退出。
 2026-09-11 00:54:51 +08:00
ji ruo d893861d00 fix(btw): 修复长对话上下文预算与旁路输入布局 2026-09-11 00:41:01 +08:00
Autumn-27 72a52e9202 fix: 修复合并后审查发现的 6 个中/高问题 
#102 高:证据正文下载在全局 advisory lock 事务内 io.Copy 给 HTTP 客户端,
verifyFile 又要整读一遍算 SHA-256 —— 一次大文件下载或慢客户端就会挂住
全进程的证据写入。改为事务内只解析绑定元数据(Store.Binding),出锁后再校验
与串流;blob 内容寻址且 GC 有 24h 宽限,已打开的 fd 也不受 unlink 影响。

#102 高:traffic_evidence_snapshots 的 url/req_head/resp_head 直接来自目标
原始报文,未清洗就写 PG TEXT。目标返回非 UTF-8 头(GBK filename)或 NUL 会让
RecordFindingTx 整个事务回滚,已确认的漏洞完全不落库。新增
TrafficEvidenceSnapshot.Normalize(),在算 ID 之前套用仓库既有的 utf8Clean,
保证哈希与入库字节一致。

#102 中:自动绑定默认关闭,reporter 便不会传 evidence_version,
SetFindingReportVersionByNodeID 按 legacy 语义写 -1,报告永久显示「待更新」
且 UI 无处清除;老库还因 reporter_agent_seed_v1 守卫拿不到新触发文案。
触发消息改为无条件先读 get_finding_traffic(只读工具,不依赖捕获开关)并回传
版本,并加一次性迁移刷新老库中未被用户改动的默认文案。

#102 中:开关关闭时 report_finding 只要收到 traffic_refs/evidence_hint_id
就在写入前报错,模型幻觉出多余字段即丢掉一个真实漏洞。改为忽略这两个参数
照常登记,由既有的 evidence_status=not_bound 说明未绑定。

#101 中:删掉 RuleID!=0 判断后,每次模型放行都写一行带完整审计快照的
intercept_pending(单行最坏 24×8KiB 上下文 + 32KiB 输入)。开启兜底裁判的
渗透任务会灌入数百 MB,并经 task_archives 的 SELECT * 进入归档。放行行改为
只留决策元数据与执行结果,丢掉重放快照;ask/deny 路径不变。

#103 中:FindingRetestForConversation 出错时在收尾 defer 注册前就 return,
复测行永远停在 pending —— 漏洞列表常驻「复测中」,后续发起复测被去重拦下,
只有重启才能清。新增 FailPendingRetestForConversation 按会话 ID 收尾。
 2026-09-10 10:15:24 -04:00
Autumn-27 e8efce605c Merge PR #102: feat: 支持漏洞关联多条流量证据 
冲突解决:
- db/schema.sql: 复测表(#103)与流量证据表(#102)均为追加,两者保留
- server/server.go: 启动序列同时保留 seedFindingRetester 与 evidence GC
- web/src/lib/types.ts: InterceptAudit/InterceptDetail(#101) 与流量证据类型(#102)并存
- findings/detail/page.tsx: 去掉 #103 带入的重复 import,仅保留 FindingRetestPanel
- chat/page.tsx: 保留 #103 的 Spinner import
 2026-09-10 10:04:53 -04:00
Autumn-27 071d87896d Merge PR #103: feat: 支持会话级漏洞复测与运行状态展示 2026-09-10 10:02:39 -04:00
ji ruo 555539bc8e feat(agent): 支持持久化 /btw 旁路提问 2026-09-10 21:42:25 +08:00
ji ruo 82c1ed9cbb feat: 支持会话级漏洞复测与运行状态展示 2026-09-10 16:06:08 +08:00
ji ruo 9ad323dc4c feat(intercept): 增加审批记录详情与执行审计 2026-09-10 15:10:50 +08:00
ji ruo a3bb2c7959 feat: 增加 Agent 流量绑定开关并补齐证据交接 2026-09-10 14:08:40 +08:00
ji ruo ec4ef35fff feat: 支持漏洞关联多条流量证据 2026-09-10 13:03:20 +08:00
Autumn-27 a50bf02428 feat(llm): 五层重试的次数与间隔可配 
一次模型调用的失败由内到外经过五层重试:建连(SDK)、空响应(SDK)、同 provider
安全窗口、轮询熔断、意图重跑。此前五层的次数与间隔全是写死的常量,遇到脾气各异
的中转站只能改代码。现在都能在 LLM 页配置,不配就是原来的默认值。

配置语义五层统一(db.RetryRule):次数 0=内置默认 / -1=关掉这层 / >0=该值;
间隔 0=原本的指数退避 / >0=改用固定间隔。0 被"未配置"占用,故关闭用 -1。
写库前夹紧到 次数 [-1,20]、间隔 [0,1h],DB 另有 CHECK 兜底。

粒度按层的性质分:前三层跟着端点走,可在每个模型配置里逐字段覆盖全局默认(只钉
间隔的仍继承全局次数);熔断与意图重跑是进程级语义,只有全局一份。

生效路径:①②是 provider 构建参数,保存后重建缓存;③随每次 hooks.current()
解析,故障转移换配置时重试节奏跟着换;④在失败路径上每次都要读,由 applyRetryPolicy
推给 llmpool.Registry;⑤每条意图收尾读一次。全部热生效,无需重启。

连接测试刻意不带这些参数——它有 30s 硬超时,叠上用户配的重试只会把本来能用的
端点测成超时失败。

norma 升 v0.3.5(llm.Config 新增 RetryInterval / EmptyResponseRetries /
EmptyResponseInterval)。旧库升级后行为逐字节不变:新列默认 0,settings 键不
存在即全默认。设计见 docs/LLM重试设计.md。
 2026-09-09 13:35:04 -04:00
Autumn-27 4f088e519b feat(digest): 探索图冷节点压缩(cold-digest) 
把老且长期不活跃的意图/事实折叠成 digest 节点进 graph_overview 展示，
原始节点永久保留、按 id 可完整还原（存储无损、只压呈现、折叠可逆）。

- 数据模型：KindDigest 节点 + RelCovers 边（真相源）；新列 content_version、
  cold_since_round（节点级）、round_no（任务级 planner 轮次）；均带旧库迁移。
- 纯算法(coldgraph.go)：冷热判定(逆向可达 + 任一活分支即热) + R=6 轮防抖 +
  连通分量分组(§3) + §3.1 同父兄弟归组(救"热 hub+扁平死叶") + §5.3 签名。
- 后台压缩(compaction.go)：minor 折未覆盖冷块(tiered)、major 回源重压合并碎片；
  签名幂等复用 body；提交时活跃度复核(绝不覆盖已复活节点)；60s 冷却 + 互斥。
- 概览折叠(§6)：recent_* 剔除已折成员 + 渲染时复活检查；cold_digests + 按资产
  索引 cold_index(§6.2)；expand_digest/expand_index 还原；covered_members 反查
  悬空血缘 id；60 兜底截断均衡保 live。
- planner 每轮 OnPlannerRound 维护戳记并触发后台压缩，绝不上热路径。

纯算法单测覆盖 §附/§3.1/§2.3/§5.3；已对 437 节点真实图验证：热 86、冷候选 324、
§3.1 分组 47 块 + 14 孤立冷点（对齐设计文档实测校验）。
 2026-09-09 11:52:15 -04:00
Autumn-27 d728e509dc feat(overview): graph_overview 全量输出 finding_list 
findings 是任务最高价值产物且单任务通常不多，改为在 graph_overview
里全量带出 finding_list（不像 facts 只给最近窗口），planner/worker 每轮
即可一眼看全所有确认漏洞，无需再调 list_findings。

每条精简为 {id, summary, evidence?, from_intent?, assets?}：
- evidence 取 finding payload 的 evidence.poc
- from_intent 为产生该漏洞的意图（yields 边）
- assets 直接给受影响资产的可读内容（url/域名/ip:port 等，不再是裸 id），
  经 FindingMetaByNodeID 反查锚定资产、批量 GetByIDs 解析
- vulnclass/severity/state 等仍走 list_findings / node_detail

新增 AssetStore.FindingMetaByNodeID 薄封装，让只持有 AssetStore 的
ToolSet 能拿到 node_id→资产映射（读 anchors 表，覆盖新旧漏洞）。
 2026-09-09 09:24:13 -04:00
Autumn-27 f270ca66bc feat(tasks): 任务列表新增「运行中 Worker」列 
TaskListMetricsAll 增加一个 LATERAL 子查询统计 kind='intent' 且
state='running' 的节点数，随 TaskDTO.in_flight 一并返回，口径与任务
详情页概览的「运行中 Worker」完全一致。列表页在「目标进度」后新增该
列，无运行中 Worker 时显示 0。
 2026-09-08 14:25:49 -04:00
Autumn-27 01f223aaa1 feat(planner): done 触发块列出本意图新产生的 fact id 
worker 结束触发规划时，除输出结论外，追加该意图经 yields 边产生的
fact id 列表，让规划者聚焦本轮增量、可直接 node_detail 查详情。
新增 ExplorationStore.FactsYielded 查询。
 2026-09-08 12:15:48 -04:00
Autumn-27 b39284f1c6 refactor(overview): graph_overview 不再平铺 hosts，新增 done_intents_total 
- coverage 块移除 hosts 列表（大范围任务里每轮携带最多 500 个 host 字符串，
  对规划决策价值有限），只保留 host_count；具体主机按需 list_assets 查
- 新增顶层 done_intents_total：已结束意图(done/blocked/exhausted)总数，与
  recent_done_intents(≤15 截断视图)平行命名，让 planner 去重时知道有无被截，
  key 即自描述、无需写进提示词
- db: 新增 ExplorationStore.CountFinishedIntents
- 测试：blackboard 继承用例改用 host_count 断言，移除随之无用的 containsString
 2026-09-08 11:19:18 -04:00
Autumn-27 f29b37c5b1 fix(db): session_header_key 空值不再写入 NULL 
SaveProfile 对 session_header_key 套了 NULLIF($n,'')，未填写会话头时会写
NULL，而该列是 NOT NULL DEFAULT ''，保存 LLM 配置直接报 23502。NULLIF 是
从可空的 base_url/proxy/api_key 抄来的，这列跟 max_tokens_field 一样是空
串语义，去掉 NULLIF 直接传参。
 2026-09-08 07:33:30 -04:00
Autumn-27 4319fe413f feat(llm): 每个 LLM 配置支持自定义会话头 
新增 session_header_key:非空时每次 LLM 请求带上该 HTTP 头,头值为当前
运行的 session id(chat 会话=conv-<id>,worker=exp<x>-worker-i<intent>
等)。用于某些按 session-id 头做提示缓存/粘性路由的网关。

实现:在已有的 quotaAwareTransport 里从请求 context 读取 session id
(transcript.WithSessionID 挂上的)并注入,无需改 norma;同一共享 provider
也能按会话发出不同头值。DB 加 session_header_key 列(带旧库迁移),前端
LLM 配置弹窗新增输入框。
 2026-09-07 11:21:50 -04:00
Autumn-27 7cc467c159 feat(llm): 模型配置新增输出上限,支持 max_completion_tokens 字段名 
llm_profiles 加两列:max_tokens(单次回复输出上限,0=不发送该字段,由服务端
默认值决定)与 max_tokens_field(上限发哪个键)。后者仅对 format=openai 生效:
空(默认)= max_tokens;'max_completion_tokens' = 新键。OpenAI 推理模型
(o 系列/GPT-5)拒收 max_tokens、只认新键,而多数兼容网关反过来只认旧键,
故做成显式开关而非自动推断。anthropic 与 openai-responses 自带字段名,
存下来只会误导,保存时一并清空。

顺带补上一处从未接通的链路:planner/worker/chat/mainagent/goals 五个
agentcore.Options 都没设过 MaxTokens,恒为 0——openai 系因 omitempty 压根
不发上限,anthropic 走 norma 的 8192 兜底。光加配置项而不接这条线,用户在
后台填了数字也不会生效,故本次一并接通,取值与 streaming 一样按 profile
每轮解析,故障转移切换后下一轮即生效。

task_llm.go 里 nonStreaming() 的来源优先级(agent 绑定 → 任务链激活 profile
→ 全局)抽成共用的 activeCfg(),避免 maxTokens() 再抄一份同样的三级回退。

norma 升到 v0.3.3(该版本提供 Config.MaxTokensField)。go.mod 只动 norma 这
一行:仓库此前未 tidy 过,跑 go mod tidy 会顺带升 x/crypto、x/net 等一批无关
依赖,不混进本次改动。

迁移:新列走 ADD COLUMN IF NOT EXISTS + 默认 0/'',旧库升级后行为完全不变;
CHECK 约束限定取值,每次启动先删后建保持幂等。
 2026-08-31 12:20:31 -04:00
Autumn-27 acd1ac29d7 feat(assets): 去掉企业资产范围 256 条规则上限 
逐个 IP / 域名录范围的企业很容易撞上这个上限,撞上之后只能拆成多个企业,
而范围本身并不因为条数多就更慢。

- db:删掉 MaxCompanyScopeRules 常量、请求条数校验与
  ensureCompanyScopeCapacityTx(每企业持久化总数的事务内校验)
- 前端:去掉 MAX_COMPANY_SCOPE_RULES 与「剩余额度」计算,追加范围弹窗不再
  按剩余条数报错;demo mock 的两处上限一并移除
- 单条规则仍限 1024 字符;请求正文 2 MiB(maxCompanyMutationBodyBytes)保留
  作兜底,约合四五万条规则

测试:原先断言「超容量被拒」的两个用例翻转为「超过旧上限也能写入」——
db 侧批量写 300 条 + 追加 1 条,server 侧一次创建带 300 条范围的企业。
新用例先注册清理再断言,避免断言失败把企业留在共享开发库里。
 2026-08-31 11:22:34 -04:00
Autumn-27 48e14e8cf2 fix(findings): 补齐「按资产」视图的 mock,修两处标签重复 
demo 模式(NEXT_PUBLIC_MOCK=1)下资产树接口没有实现,点开是空白。

- mock findings 关联到 fixture 里已有的资产:一条挂两个资产(验证父节点不重复
  计数)、一条不挂(演示「未关联资产」桶)
- mock handler 实现 asset-tree,并在平铺/分组两个列表分支接上 asset_scope。
  父子优先级、祖先补齐、去重计数、企业层出现条件都与 db/finding_assets.go
  一致;顺带把三处重复的筛选链抽成 mockFilterFindings
- 没有 URL 的服务(SMB、非 HTTP 端口)标签回退成裸 IP,与宿主那行显示得一模
  一样 —— 后端与 mock 都改为补端口(10.10.10.20:8080)
- 接口挂在 host:port 形式的服务下时没触发简写,仍显示完整 URL。宿主判断统一
  成解析后的 host,现在显示 /script

跑 mock handler 实测:17 个节点逐个对账「树上 total == 该节点子树查出的条数」,
无不一致。
 2026-08-31 11:10:47 -04:00
Autumn-27 23cfb9ed4e feat(findings): 发现页新增「按资产」视图 
左侧资产树 + 右侧该子树下的发现,与另外两个视图共用同一张表和同一批筛选。

后端
- db/finding_assets.go:按当前筛选构建资产树。只收有发现的资产,祖先链逐层
  补齐(endpoint→service→subdomain/ip→root_domain),父子优先级与
  BuildCoverageGraph 同源;计数沿祖先链去重累加,一条发现挂多个资产不会让
  父节点重复计数
- FindingFilter 加 AssetScope:选中节点=选中整棵子树,解析成资产 id 集合后
  下推 SQL,列表 / 分组 / 导出三个入口共用,导出「当前筛选」自动带上
- 「未关联资产」同时收 asset_ids 为空与指向已删资产的发现,与树上桶的口径
  一致(只判空数组会让桶上的数字大于点开后的条数)
- findingFilterFromQuery 统一四处的筛选解析;新增 GIN 索引
  idx_findings_asset_ids,按资产反查发现不再全表扫

前端
- 树默认展开一层,支持过滤(匹配项自动展开)、面包屑下钻、手动刷新
- 每层只显示相对上一层的增量:子域名去根域名后缀、服务显示 `https :443`、
  接口只留路径。完整值在 title 与面包屑,搜索仍按完整值匹配
- 不轮询:进入视图 / 改筛选 / 页内改动发现 / 点刷新时才查
- 节点超上限时整层丢弃接口/服务并提示,计数已在上层不会丢
 2026-08-31 10:58:32 -04:00
Autumn-27 a2f7ac9747 feat(llm): 任务 LLM 配置链改为任何状态都可修改 
任务结束(done/failed/timeout)后主 Agent 对话仍走任务配置链,链上模型出问题时
既不能改配置链、也就没法继续交互。去掉 HTTP 与 DB 事务两处终态拦截,前端弹窗
对终态任务同样开放编辑与保存(顺带修掉 queued 状态也不能编辑的口子)。

终态任务保存时不再重开额度阻塞意图:那些意图会从 blocked 挪到 open,既没有
worker 执行、也不再满足「重跑意图」的可重跑条件,反而变成死状态。终态任务想
继续跑仍走重跑意图/新增目标,由它们把任务重新 admit 回运行态。
 2026-08-31 09:26:33 -04:00
Autumn-27 21656cc2e3 fix: restore changes dropped by the upstream sync merge 
The manual v0.3.6 sync (22132a4) was incomplete, and the follow-up merge
(d803ae2) resolved conflicts in favour of that copy, silently reverting three
shipped changes. main is already an ancestor of this branch, so re-merging
cannot bring them back; restore them explicitly.

- schema.sql: re-add the idempotent llm_profiles_format_check migration.
  CREATE TABLE IF NOT EXISTS leaves an existing table alone, so databases
  created before openai-responses kept the old two-value CHECK and rejected
  every openai-responses profile.
- orchestration.go: re-add the reseedPlannerPrompt/reseedWorkerPrompt calls,
  dropped by a comment-alignment hunk while the functions stayed behind as
  dead code. Without them existing installs never receive the quantified
  acceptance check or the negative-conclusion evidence threshold.
- CHANGELOG.md: restore the 0.3.6 entries, the @neouks credit and the correct
  norma version range.

Also close three recovery gaps in the new cold-archive path:

- traffic: write the staging journal even when no legacy host directory
  exists. Modern installs keep traffic in SQLite only, so a crash between the
  PostgreSQL commit and the SQLite commit left the archived task's exclusive
  traffic in the hot store with nothing for recovery to act on.
- recoverTaskArchiveStages: treat a missing journal.json as a discardable
  directory instead of an error, which used to set recoveryFailed and stop the
  archive worker from starting for the rest of the process lifetime.
- stageTaskArchiveFiles: replay the journal's renames when resuming an
  existing staging root. The journal is written before the first rename, so
  its presence did not guarantee a complete payload, and a resumed round could
  package an archive missing transcripts or workspace files.
 2026-08-29 01:37:46 -04:00
pphua 0ec45bb45d fix: prevent OOM when archiving large tasks 2026-08-28 15:25:20 +08:00
pphua 1fcc4b0588 fix: stream large task archive snapshots 2026-08-28 14:16:00 +08:00
pphua d803ae2b11 merge: sync official main into PR branch 2026-08-28 14:14:41 +08:00
pphua 22132a4d21 chore: sync upstream v0.3.6 changes 2026-08-28 14:03:07 +08:00
pphua 9da521ee4e 归档 2026-08-28 12:56:29 +08:00
pphua 594436fddd 修复BUG： 1、当存在较多任务时，系统会发生卡顿，加载对话或者加载界面时候存在明显卡顿，优化性能找出问题 2026-08-28 08:00:36 +08:00
pphua cf0989c67d 修复 
1、修复流量包里的复制按钮不工作问题
2、修复新建任务关联资产不同步到任务测试范围问题
 2026-08-28 07:37:24 +08:00
Autumn-27 10f6a4fbc7 feat(agent): list_facts 改为分页+关键词过滤，避免上下文膨胀 
fact 多时旧的 list_facts 一次返回每任务至多 500 条且 summary 不截断，
一次调用就可能撑爆上下文。改为分页(默认 20，最新在前)+ q 关键词过滤，
返回 {facts, total, has_more, next_before}，summary 超长按 rune 截断。

- db: listByKindPageFiltered/countByKindFiltered(payload->>'summary' ILIKE)
  + ListByKindPageWithSources 跨本任务/继承任务合并分页
- agent: list_facts 加 limit/before/q 参数，compactFact 截断 summary；
  worker/planner 提示词同步说明分页语义
- server: 旧库一次性迁移把 list_facts 新 schema 刷进 tools 目录表
  (SeedTool 首插入only，否则工具管理页显示「无参数」)；flag bump 到 v7
 2026-08-27 12:15:02 -04:00
Autumn-27 e10f8413dc feat(commands): 工具执行页新增调用次数统计 
「工具执行」页工具栏加「统计」按钮，弹窗按工具展示调用次数、占比与
失败次数，按次数降序。统计沿用列表的 task/q 筛选，算的是整个结果集
而非当前页；弹窗打开时才请求，翻页不会多付一次聚合查询。

- db: 抽出 commandFilter,列表与统计共用同一份 WHERE;新增 ToolStats
- server: GET /api/commands/stats
- web: 统计弹窗 + demo 模式 mock
 2026-08-27 10:56:11 -04:00
Autumn-27 12541a6dec feat(llm): 支持 OpenAI Responses API 格式的 LLM 配置 
依赖升级到 norma v0.3.1(新增 FormatOpenAIResponses + reasoning_content 回传
修复)。每个 LLM profile 现在可选第三种格式 openai-responses,打
POST /v1/responses,与 Chat Completions / Anthropic 并列。

- agent.Config:ConfigFrom / FromEnv / Provider() 支持 openai-responses
  (BaseURL 归一化去 /responses 尾巴,默认 model gpt-5)
- server:saveLLMConfig 放开二元 format 归一;模型列表端点复用 OpenAI
  /models(Responses 模型列表仍在 /v1/models)
- db: llm_profiles 的 format CHECK 约束加入 openai-responses,并幂等迁移
  (DROP + ADD CONSTRAINT)补旧库
- web: 格式下拉新增「OpenAI (Responses API)」,类型与回显同步

流式/非流式两条路都走新 adapter;输出、token 统计、操作统计、LLM 录制
四条链路复用中性层,无需改动。
 2026-08-25 11:39:24 -04:00
Autumn-27 587ba422b4 feat(llm): 每个 LLM 配置支持流式/非流式切换(默认流式) 
依赖 norma v0.3.0 的 Provider.Complete。为每个 llm_profile 增加 streaming
开关:开(默认)走流式 SSE;关走真·非流式(stream:false、一次性返回完整
JSON),可绕开部分网关糟糕的 SSE 实现(空帧、思考字段丢帧),代价是失去
运行中的实时进度与实时 token 计数。

- agent.Config.Stream → agentcore.Options.NonStreaming = !Stream;worker /
  planner / mainagent / chat / goals 经 SetNonStreaming resolver 注入,任务
  路由按当前激活 profile 动态取值
- llmpool.Pool / llmrec.Recorder / taskLLMRuntime 三个 Provider 包装均实现
  Complete(分别带故障转移 / 录制 / 同 provider 重试与额度 failover),使
  输出、token 统计、操作统计、LLM 录制四条链路在非流式下保持兼容
- db: llm_profiles 新增 streaming 列 + ALTER 补旧库(默认 true,旧配置无感)
- 系统 → LLM 配置表单增加「流式输出」开关
 2026-08-25 10:49:47 -04:00
Autumn-27 19a7206d12 feat(llmrec): 录制 LLM 请求/响应 HTTP 原文 
归一化视图(request_body/response_body)会丢弃工具 schema、tool_use 块，
且看不到原始 SSE 帧，排查 provider 侧问题时信息不足。新增在 HTTP transport
层捕获真实 wire body 的能力：

- llmrec: 新增 Capture，Recorder 挂到 ctx，quotaAwareTransport 填充。
  请求取 GetBody 副本(不消费原 body)，响应用 tee 保持流式;norma 内部重试
  的多次尝试逐次保留(旧代码会读掉丢弃),单次时为字节级原文。
- db: llm_records 增加 raw_request/raw_response 两列，含旧库 ALTER 迁移。
- web: 录制页详情面板增加「原文」视图切换，及请求/响应内容复制按钮
  (兼容非安全上下文的 execCommand 回退)。
- 测试: 单元(capture)、端到端(逐字节比对捕获=服务器实际收到)、
  迁移(真实 PG 事务回滚)、全链路(Recorder→provider→PG 落库)。
 2026-08-25 09:40:05 -04:00
pphua 86eb67ea0a 1、将排序做到border-b transition-colors hover:bg-muted/50 has-aria-expanded:bg-muted/50 data-[state=selected]:bg-muted里，无需单独做个button 2、指定重命名使用ICO，无需使用菜单 2026-08-25 14:56:15 +08:00
pphua 48e85b33d6 Merge tag 'v0.3.4' 2026-08-25 12:18:24 +08:00
pphua d968727460 抽屉优化 2026-08-25 12:05:26 +08:00
Autumn-27 01018a2161 feat(tasks): 目标完成后支持主 agent 直投意图执行（goalless） 
所有目标达成后，主 agent 经 add_intent 下发的意图可被 worker 直接执行、跑完
即止；planner 在任务无 open 目标时不再运行，避免其重判目标达成而 cancelExec
杀掉直投意图；frontier 抽干后任务回到 done。

- db: 新增 HasOpenGoal 谓词（零迁移，读现有 goal 状态）
- engine: plannerLoop 加 goalless 门（无 open 目标则不进 planner，抽干则收尾）
- tools: add_intent 成功后调 resumeTask 复活任务（仅主 agent 生效，planner 为 nil）
- mainagent: 提示加入「目标达成后反问是否登记为正式目标」引导
- orchestration: reseedMainAgentPrompt 让旧库收到新提示（一次性，同构 reseedGoalsPrompt）

已知边角问题（paused/exhausted 意图的收官判据、零 goal 窗口、TOCTOU 等）
待后续讨论后再修。
 2026-08-24 11:58:02 -04:00
Autumn-27 43edb86720 revert(tasks): 从 main 移除误并入 4cf36c7 的 goalless 直投意图改动 
这几处 goalless（目标完成后主 agent 直投意图执行）改动被打包进了「任务列表
按 id 降序」提交(4cf36c7)，与该提交主题无关，且尚在评审阶段不应留在 main。
此处仅做正向移除，不改写历史；功能改由独立分支 feat/goalless-intent-execution
承载，评审通过后再合入。
 2026-08-24 11:57:28 -04:00
Autumn-27 4cf36c7896 fix(tasks): 任务列表改按 id 降序,消除同刻创建任务的抖动 
原先按 created_at 降序排,但没有二级排序键。同一时刻创建的多个任务时间戳
相同,排序不稳定;叠加前端每 10 秒轮询、以及 Manager 用内存 map 存任务
(遍历顺序随机、每次 List 都要重排),这些任务就会在列表里频繁互换位置。

改用 id 降序:id 由 BIGSERIAL 单调递增分配,即插入顺序,唯一且稳定,最新
创建的在最前。db.ListTasks 的 ORDER BY 与 Manager.List 的内存排序同步改。

验证: 新增 TestListTasksOrderByIDDesc 连本地 PG 实跑通过;db/server 全量
无新增失败(仅剩既有的 TestCompanyScopeInvalid)。
 2026-08-24 11:08:10 -04:00
Autumn-27 dfbbb33069 fix(assets): ip 字段拒收主机名,并告诉调用方该怎么改 
上一次修复让非法 ip 不再打挂企业归属重算,但脏数据仍在持续产生。这次从源头
拦住:assets.ip 会被转成 inet 参与网段归属,存主机名的资产对所有 IP/CIDR
范围规则都是隐形的。

- db 层新增 ValidateAssetIP + ErrAssetIPInvalid,在 UpsertIP /
  UpsertHTTPService / UpsertOtherService / UpsertEndpoint 四个入口校验。
  放在 db 层是因为 Agent 工具和资产 API 都经由它们,不必写两遍;内部调用方
  (enrich 的解析结果、task_assets 的 ParseCIDR 输出、RecordValue 已 ParseIP
  过滤的分支)传的本就是合法地址,不受影响。
- 错误信息给的是改法而不只是「非法」:带上收到的原值,并指出主机名应改用
  type=subdomain 填 domain,或先解析 A/AAAA 记录再填 ip。insert_assets 的
  错误是逐条返回的({index, error}),同批其余资产照常入库,Agent 拿到后能
  定位到具体那条并在下一轮自行修正。
- 同步收紧 insert_assets 的工具描述与 ip 字段说明,在提示层先挡一道。
- 空 ip 仍然合法:service / endpoint 的 ip 是可选字段。

验证: 新增 db 层四类型拒收测试与 agent 层「一批混入一条非法、其余照常入库」
测试,均连 PG 实跑通过;干净库 go test -p 1 ./... 无新增失败(仅剩既有的
TestCompanyScopeInvalid)。
 2026-08-24 10:32:10 -04:00
Autumn-27 9e98407528 fix(assets): 企业归属重算不再被单行非法 ip 打挂,并明确告知是哪些资产 
assets.ip 是自由文本(Agent 的 insert_assets 和资产 API 都可能写进主机名),
而 db/companies.go 的 IP/CIDR 归属匹配裸转 a.ip::inet。只要表里有一行不是
合法 IP,PostgreSQL 就抛 22P02 中断整条语句,连带同事务的新增/修改企业资产
范围、删除企业全部失败回滚。这个裸转从项目初始化提交就存在。

- schema.sql 新增 try_inet(text)：非法值返回 NULL 而不是抛错。没用
  pg_input_is_valid 是因为那要 PG16+,这里要兼容更老的存量库。
- 四处 IP/CIDR 匹配统一改用 try_inet。原先 task_scope.go 和
  task_assets_context.go 用的正则 a.ip !~ '[^0-9a-fA-F:.]' 只检查字符集,
  abc.def 这类全 hex 字母的主机名照样漏过去后炸,一并换掉。
- 跳过不能是静默的:重算会统计并抽样列出这些资产(id + 取值),说明它们不会
  被网段规则归属。信息通过企业范围接口新增的 warnings 字段返回并在前端以
  长停留 toast 展示,同时无条件写入服务端日志,覆盖没有前端响应的路径
  (删除企业、scopesentry 同步、Agent 写入)。
- warnings 与 errors 分开:errors 仍只表示本次提交里不合法的行,既有数据
  问题不该被记到用户这次输入头上。

验证: 干净库上 go test -p 1 ./... 仅剩 1 个既有失败(TestCompanyScopeInvalid,
与本改动无关,stash 后同样失败);改动前在含真实数据的库上有 14 个失败,现已
全部通过。go build / vet / gofmt / tsc / biome 均通过。
 2026-08-24 10:16:17 -04:00