admin/ARTEX-chixuweihu
1
0 Fork 0
mirror of https://github.com/RuoJi6/ARTEX.git synced 2026-10-27 17:03:49 +08:00
Code Issues Packages Projects Releases Wiki Activity
607 Commits 3 Branches 10 Tags
main
Commit Graph
27 Commits
Author SHA1 Message Date
ji ruo d70dd15e11 feat: add optional task intelligence recording and views 2026-10-20 11:16:04 +08:00
Autumn-27 06a43f37ff refactor(graph_overview): 精简态势概览字段 
- 删除 cold_index 字段及其 expand_index 工具（含两处注册），移除
  仅服务它的 coldDigestOverview 分桶逻辑（改用 activeDigestBodies）
- 删除 covered_members 字段（悬空血缘解析表）
- 删除 coverage.scope 字段（范围根资产 + company 富化）
- finding_list 每条仅保留 id/summary/from_intent，去掉 evidence/assets，
  并清理随之无用的 findingMeta 预计算与 assetValue 辅助函数
 2026-09-24 12:24:01 -04:00
Autumn-27 d5359e1f04 feat: 资产拦截接入执行链，新增任务级拦截/允许规则 
在 agent 下发意图(add_intent)与插入资产(insert_assets)两处接入资产闸门；
并新增任务级规则(拦截 block + 允许 allow 白名单)，创建任务时录入、任务详情
总览里可编辑。

- 匹配/执行(db/asset_intercept_match.go)：MatchAssetInterceptRules 纯匹配
  (exact/fuzzy 的 域名·IP·URL + CIDR，URL host 会拆出归类)；EvaluateAssetGate
  「先拦截后允许」闸门——命中拦截即禁止；未命中但存在启用的允许规则且都不命中→
  不允许测试；无启用允许规则则不启用白名单。附单元测试。
- 执行点：add_intent 命中即不下发意图；insert_assets 命中即跳过 Upsert 及
  AddAutoScope 副作用。均合并 全局∪任务级 规则。
- 任务级规则：表 task_intercept_rules(task_id FK CASCADE + action block/allow，
  幂等 ALTER 补旧库)；db/task_intercept.go 提供 List/Split/CRUD/事务插入；
  创建任务随 intercept_rules 提交；CRUD 路由 /api/tasks/{id}/intercept-rules。
- 前端：新建任务抽屉多行录入(拦截/允许 + 类型，用 NativeSelect 避免 Sheet 内
  下拉 portal 导致误关抽屉)；任务详情总览新增规则管理卡片(增删改+启用开关)。
 2026-09-19 09:06:22 -04:00
Autumn-27 c9bfa35113 feat(agent): node_detail 也默认给 worker，并随回看工具一起补绑 
worker 已能通过 search_all_worker_traces / get_worker_trace 拿到 intent_id/
节点 id，配套把 node_detail 也下放给 worker，便于就地查节点完整详情。

- WorkerTools() 增加 node_detail
- 从 seedWorkerReadToolsUnbind 解绑清单去掉 node_detail（保留 list_facts/
  list_companies/list_worker_traces）
- 原 seedWorkerCrossTraceRebind 泛化为 seedWorkerReadbackRebind，补绑清单追加
  node_detail，flag 升到 v2 让已跑过旧迁移的库也补上
 2026-09-13 09:35:18 -04:00
Autumn-27 d531ea9850 feat(agent): worker 增加跨 work 回看工具 search_all_worker_traces / get_worker_trace 
worker 也可复用其他 work 的观察、避免重复劳动：search_all 无需先知 intent_id 按关键字全局捞命中步骤，get_worker_trace 锁定某条 work 后列步骤/就地搜/取完整内容。list_worker_traces 仍归 planner/main。
 2026-09-12 13:05:01 -04:00
Autumn-27 4ccb8f4ff2 fix(agent): list_assets 按任务范围过滤，修复任务间资产互串 (#59) 
list_assets 此前把任务 id 写死为 0、裸查整个共享资产库，模型又无从写出
范围过滤条件，于是把别的任务的资产（尤其 IP）当成本任务目标，测试方向
被带偏。

- 新增 QueryDSLInScope / GetByIDsInScope：只返回落在【本任务及直接关联
  任务】task_scope 内的资产，按归属匹配而非字面值（根域范围含其全部子域/
  服务/接口，网段范围含段内主机及服务）；越权 id 静默丢弃
- 新增 scopeTargetCTE（纯 scope 归属判定，不含 anchor/tested）；whereBuilder
  加占位符偏移，$1 留给 taskID
- 修复 IP 直连主机(http://1.2.3.4/api)无法被网段范围命中的盲区：谓词加
  OR ts.net >>= try_inet(a.domain)
- 非任务上下文(Auto/pentest, taskID<=0)无范围可依，回退全库
- QueryDSL/CountDSL 原样未动，UI 的「测试资产」视图（按生产者过滤）不受影响
 2026-09-12 03:25:47 -04:00
Autumn-27 42f0ff97d3 refactor(agent): 测试范围与资产覆盖度开关解耦，移除 insert_assets 的 related 入参 
task_scope 是任务的授权边界、资产查询的过滤基准，覆盖度开关只该决定要不要
拿它当分母算指标，不该决定要不要累积范围本身。此前关闭覆盖度会让 auto 与
agent 两条写入路径同时失效，task_scope 只剩界面手工添加的行。

- insert_assets 的自动入范围(source='auto')无条件执行，不再判 coverageDisabled
- add_task_scope 移出 coverageOnlyTools，planner / 任务内主 Agent / 目标拆解
  Agent 在覆盖度关闭时照样持有；list_untested_assets 仍随开关隐藏（纯覆盖度视角）
- 移除 insert_assets 每条资产的 related 入参：唯一作用是决定要不要入范围，值又
  不落库（同一资产再次登记即作废、界面上也看不出谁被判为无关），连带删除
  StripCoverageParams 及其专用的 deepCopyJSONMap / nestedMap
- add_task_scope 与 goalsScopeTail 的描述改为「授权边界」优先、「覆盖度分母」其次
 2026-09-11 13:33:44 -04:00
Autumn-27 557317491b feat(assets): 任务测试资产支持 DSL 搜索 
任务详情「测试资产」接口/服务多时不好找。复用资产管理页的 DSL
搜索(字段自动补全 + 分页),搜索始终限定在当前任务范围内。

- 抽出共享组件 asset-dsl-search.tsx,资产页与任务页复用,UI/交互一致
- QueryDSL/CountDSL 增加 taskID 参数,taskID>0 时强制 AND $N = ANY(task_ids)
  并补 task 来源信息;即便 DSL 内写 task_id 也无法越出当前任务
- 任务资产 tab 接入搜索框:有 DSL 走 searchTaskAssets,否则走 taskAssets

Closes #107
 2026-09-11 11:59:46 -04:00
Autumn-27 eb5290039a refactor: 升级 norma v0.3.7 并精简 insert_assets/list_assets 描述 
- go.mod/go.sum: norma v0.3.6 -> v0.3.7(含 shell_* 工具描述精简)。
- insert_assets: 顶层描述去掉与字段 schema 重复的逐类型字段罗列，
  仅保留各类型条件必填字段、非 HTTP service 的 ip/domain 约束、
  append 合并语义与返回结构。
- list_assets: 字段清单合并、示例保留 2 条覆盖全部语法，去掉多处
  重复的 dsl 必填约束与示例。语义不变。
 2026-09-10 10:46:47 -04:00
Autumn-27 5327f88ebc refactor(worker): 收敛 work agent 默认工具集与资产写回提示 
work agent 只负责单条意图的执行与写回，读上下文/跨 work 复盘属规划职责：
- 从 WorkerTools() 移除 list_facts / node_detail / list_companies 及跨 work 检索
  (search_all_worker_traces / list_worker_traces / get_worker_trace)，只留
  list_findings(报漏洞前查重) + add_finding/record_fact + insert_assets/list_assets。
- 旧库迁移 seedWorkerReadToolsUnbind(flag worker_readtools_unbind_v1)：逐个
  RemoveAgentFromTool 把上述工具从 worker 默认绑定剥离，planner/main 同名绑定不动。
- worker 提示词「查上下文」段收敛为 list_assets/list_findings；insert_assets 段删掉
  与工具 schema 冲突的陈旧字段(type=tech/on_url/props/props.http)，字段填法交回工具
  自身说明，只留路由与边界。reseedWorkerPrompt 版本 bump v3→v4 下发旧库。
 2026-09-09 13:59:47 -04:00
Autumn-27 67787b5be8 chore(digest): expand_digest/expand_index 只给 planner 与 main agent，不给 worker 
worker 不读 graph_overview、不需要按 digest 列成员；命中折叠成员 id 时用 node_detail
(直接取原节点、非折叠感知)即可还原。故从 WorkerTools 移除这两个工具，只保留在
PlannerTools 与 MainAgentTools。
 2026-09-09 12:28:39 -04:00
Autumn-27 4f088e519b feat(digest): 探索图冷节点压缩(cold-digest) 
把老且长期不活跃的意图/事实折叠成 digest 节点进 graph_overview 展示，
原始节点永久保留、按 id 可完整还原（存储无损、只压呈现、折叠可逆）。

- 数据模型：KindDigest 节点 + RelCovers 边（真相源）；新列 content_version、
  cold_since_round（节点级）、round_no（任务级 planner 轮次）；均带旧库迁移。
- 纯算法(coldgraph.go)：冷热判定(逆向可达 + 任一活分支即热) + R=6 轮防抖 +
  连通分量分组(§3) + §3.1 同父兄弟归组(救"热 hub+扁平死叶") + §5.3 签名。
- 后台压缩(compaction.go)：minor 折未覆盖冷块(tiered)、major 回源重压合并碎片；
  签名幂等复用 body；提交时活跃度复核(绝不覆盖已复活节点)；60s 冷却 + 互斥。
- 概览折叠(§6)：recent_* 剔除已折成员 + 渲染时复活检查；cold_digests + 按资产
  索引 cold_index(§6.2)；expand_digest/expand_index 还原；covered_members 反查
  悬空血缘 id；60 兜底截断均衡保 live。
- planner 每轮 OnPlannerRound 维护戳记并触发后台压缩，绝不上热路径。

纯算法单测覆盖 §附/§3.1/§2.3/§5.3；已对 437 节点真实图验证：热 86、冷候选 324、
§3.1 分组 47 块 + 14 孤立冷点（对齐设计文档实测校验）。
 2026-09-09 11:52:15 -04:00
Autumn-27 1e7fe8550e feat(tools): add_company_scope 默认绑定由 worker 改为 planner 
- WorkerTools 移除 add_company_scope，PlannerTools 新增
- 新库 seed 默认绑定变为 mainagent/planner/auto
- 老库加一次性迁移 seedCompanyScopeRebind：加 planner、去 worker
 2026-09-07 11:35:07 -04:00
Autumn-27 dfbbb33069 fix(assets): ip 字段拒收主机名,并告诉调用方该怎么改 
上一次修复让非法 ip 不再打挂企业归属重算,但脏数据仍在持续产生。这次从源头
拦住:assets.ip 会被转成 inet 参与网段归属,存主机名的资产对所有 IP/CIDR
范围规则都是隐形的。

- db 层新增 ValidateAssetIP + ErrAssetIPInvalid,在 UpsertIP /
  UpsertHTTPService / UpsertOtherService / UpsertEndpoint 四个入口校验。
  放在 db 层是因为 Agent 工具和资产 API 都经由它们,不必写两遍;内部调用方
  (enrich 的解析结果、task_assets 的 ParseCIDR 输出、RecordValue 已 ParseIP
  过滤的分支)传的本就是合法地址,不受影响。
- 错误信息给的是改法而不只是「非法」:带上收到的原值,并指出主机名应改用
  type=subdomain 填 domain,或先解析 A/AAAA 记录再填 ip。insert_assets 的
  错误是逐条返回的({index, error}),同批其余资产照常入库,Agent 拿到后能
  定位到具体那条并在下一轮自行修正。
- 同步收紧 insert_assets 的工具描述与 ip 字段说明,在提示层先挡一道。
- 空 ip 仍然合法:service / endpoint 的 ip 是可选字段。

验证: 新增 db 层四类型拒收测试与 agent 层「一批混入一条非法、其余照常入库」
测试,均连 PG 实跑通过;干净库 go test -p 1 ./... 无新增失败(仅剩既有的
TestCompanyScopeInvalid)。
 2026-08-24 10:32:10 -04:00
pphua 4392b4fee1 feat(tasks): add runtime controls and inherited context 2026-08-24 19:29:00 +08:00
pphua 58f23a2773 同步 2026-08-24 14:14:15 +08:00
Autumn-27 6cad678699 feat: 预置「报告撰写」自定义 agent,发现漏洞时自动写详细报告 
- 新增 host 工具 update_finding_report(finding_id, report):按 node_id 写
  findings.report(任务无关,无需 task 上下文);get_task_node_detail(task_id, id)
  读取漏洞完整证据/PoC。均注册进 orchestrationTools。
- promptcatalog 新增 ReporterDefaultPrompt:详述报告应含的结构(概述/影响/
  受影响范围/复现步骤/证据PoC/根因/修复建议)与只据实证撰写的纪律。
- seedReporterAgent(一次性,flag 守卫):预置 builtin=false 的自定义 agent
  「报告撰写」(reporter),UI 可编辑/删除;绑定 update_finding_report + 任务
  查询工具(node_detail/worker_trace/findings/graph);建 on_tool_call 触发器
  (tool_names=[report_finding]) —— 每登记漏洞即唤起它写报告并回写。
- 移除上一提交里绑到 worker/planner/mainagent 的 in-task update_finding_report
  工具及 ExplorationStore 包装(触发态是会话上下文,须用 host 工具);保留
  db.SetFindingReportByNodeID;新增 ToolSet.NodeDetailTool 访问器。

go build / agent / server 测试通过。reporter 为自定义 agent,不影响内置 agent 计数。
 2026-08-18 12:19:14 -04:00
Autumn-27 c0ac501c4b feat: 新增 update_finding_report 工具,写入漏洞 report 字段 
- 新增 agent 写工具 update_finding_report(finding_id + report[Markdown]),
  整段覆盖该漏洞的详细报告;finding_id 传 report_finding 返回的 id
- 绑定 worker / planner / mainagent 三个 agent,经 BuiltinToolSeeds 自动入
  tools 目录(首插不覆盖,旧库升级重启即出现,可在 UI 管理/勾选)
- db.SetFindingReportByNodeID / ExplorationStore.SetFindingReport:按 finding
  节点 id 更新独立 findings 行的 report
- 详情页概览已渲染 report,写入后即可展示

go build / agent / server 测试通过。
 2026-08-18 11:56:43 -04:00
Autumn-27 2ac176b96a feat: set_goals 升级为受管领域工具(可 web 管理,默认绑 goals+mainagent)+ 主 agent 加目标复活任务 
- set_goals 从目标拆解器内联提交工具,改为入 tools 目录的领域工具:直接写 goal 节点、
  连任务根(RelSpawns)、notify 唤醒 planner;支持单条/批量;origin 按来源区分
  (拆解器=goals、主 agent 运行时=human)。新 key 走 SeedTool 首插入,旧库无需迁移。
- 默认绑定 goals + mainagent:目录 seed 新增 goals 项并入 order,MainAgentTools 纳入;
  DecomposeGoals 统一改用同一受管工具直接落库,createGoals 只保留无产出兜底。
- 主 agent 通过 set_goals 新增目标时,把终态(done/failed/timeout)/暂停的任务拉回
  running 继续跑:新增 ToolSet.resumeTask 回调(仅 mainagent 接线),经 resumeTaskForGoal
  置 running + engine.Run(幂等/重启后重起循环)+ 解除暂停。拆解器/worker 不触发。
- mainagent 提示词补充 set_goals 用法。
 2026-08-17 09:01:19 -04:00
Autumn-27andClaude Opus 4.8 e00a4a8e72 refactor(asset): delete_assets_by_host 改为平台工具(默认绑 Auto) 
之前作为任务域工具挂在 worker/mainagent 列表里;移除绑定后它也从 BuiltinToolSeeds
自动生成的 seed 清单里消失,导致从未写入 tools 表、UI 看不到。改到平台工具层
(platformTools),由 seedOrchestrationTools 每次启动独立 seed 并默认绑内置 Auto agent,
不属于任务 agent。db 层 DeleteByHost 不变。

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-09 04:49:57 -04:00
Autumn-27andClaude Opus 4.8 e30218f948 feat(asset): 新增按 host 精确删除资产的工具 delete_assets_by_host 
DeleteByHost(host):DomainKey 归一化后按 domain/root_domain/ip 精确等值删除,
连带该 host 下的 service/endpoint;传根域名会连带其子域名。exploration_anchors
为 ON DELETE CASCADE,删除不被外键阻塞。工具层 delete_assets_by_host 返回按类型
分组的删除计数。硬删除、作用于全局资产库、不可撤销。

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-09 04:18:21 -04:00
Autumn-27andClaude Opus 5 4c4f65f40a refactor(coverage): 覆盖度改按类型统计 + 新增 list_untested_assets 工具 
- 去掉 backlog（避免把未测清单塞进提示词引导 plan），改由 plan 自行判断。
- Coverage 去 Backlog、加 by_type [{type,total,tested}]；TaskCoverage 改 GROUP BY type，
  累加得总分母/总已测。
- 新增 db.ListUntestedAssets（范围内未测资产，可按类型过滤 + 分页）与 list_untested_assets
  工具（type + page/page_size，默认页大小 10），绑 planner、随 BuiltinToolSeeds 播种。
- graph_overview 的 coverage 现为 {denominator,tested,pct,by_type,note}；note 提示按需调
  list_untested_assets 自行判断，不再推送 backlog。
- /api/tasks/{id}/coverage 去掉 backlog 参数；前端覆盖度卡改为按类型「已测/总数」徽章。

Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
 2026-08-08 11:50:51 -04:00
Autumn-27andClaude Opus 5 aeadd0d48b feat(coverage): 资产测试覆盖度（task_scope 范围 + fact 派生已测） 
按 docs/任务覆盖度设计-最终版.md 实现（轻量版，粗估供 agent 参考）：
- 新表 task_scope（覆盖度分母 + per-task 授权边界）：CREATE TABLE IF NOT EXISTS 进
  schema.sql，随 db.go 每次启动 Exec，旧库自动生效。
- db/task_scope.go：AddAutoScope（insertAssets 按资产类型保守入范围）、AddAgentScope
  （add_task_scope 工具：company/root_domain/subdomain/ip/cidr）、ListTaskScope、
  TaskCoverage（范围内资产中被 fact 节点锚定过的占比 + backlog 取样）。
- insertAssets 顶层循环按 worker 显式插入的资产类型自动入范围（source=auto）；
  side-effect 派生的资产不触发（钩子在 handler 顶层、派生在 db 层内部），范围不盲目扩大。
- add_task_scope 工具绑 planner，随 BuiltinToolSeeds 播种（新库/旧库皆 seed）。
- graph_overview 注入 coverage（denominator/tested/backlog_sample + 粗估提示）供 planner 参考。
- HTTP：GET /api/tasks/{id}/coverage、/scope；任务总览页覆盖度卡（含 backlog）。
- 修 toolcatalog_test（record_fact 绑定断言，早前 mainagent 加 recordFact 后未同步）。

验证：go build / vet / agent test / 前端 tsc 均通过。注：DB 层 SQL 尚未经 live Postgres 运行验证。

Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
 2026-08-08 09:09:38 -04:00
Autumn-27andClaude Opus 5 1025938dd9 fix(asset): insert_assets 由程序权威赋 task_id + service/endpoint 补建 subdomain/root_domain 
- insert_assets 不再把 task_id 暴露给模型/依赖模型传：schema 去掉 task_id，handler 直接用 SetTaskID 设的 t.taskID，避免模型漏传/错传导致资产未归任务或归错任务。
- UpsertHTTPService/UpsertOtherService/UpsertEndpoint 新增 side effect linkHostAssets：把 host 反向登记为独立 root_domain + subdomain 资产（非 apex、非 IP 才建 subdomain）；endpoint 原来无任何 side effect，现补建 root_domain/subdomain/IP。

Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
 2026-08-08 07:54:17 -04:00
Autumn-27andClaude Opus 5 349b0d104d feat(agent): 主 agent 默认工具集增加 report_finding/record_fact 
- MainAgentTools 加入 addFinding/recordFact，主 agent 确证漏洞或事实时可直接登记
- report_finding 描述前置[重要]标注，强化调用约束
- gofmt 对齐 tools_insert 参数缩进与 import 顺序

Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
 2026-08-07 10:04:21 -04:00
Autumn-27andClaude Opus 4.8 abc551cc76 fix(worker): 写回计数按事实/资产/漏洞分开统计 
原先 record_fact/insert_assets/report_finding 共用一个 wrote 计数器，
日志却统一打印成"写回 N 条事实"，把资产、漏洞也算进"事实"里，容易误导
（如枚举意图插入 25 个资产 + 1 条 fact 会显示"写回 26 条事实"）。

改为 WriteCounts{Facts,Assets,Findings} 分类计数，日志打印
"写回 事实1 资产25 漏洞0"，Total() 保留"是否落库任何东西"的判定。

Co-Authored-By: Claude Opus 4.8 (1M context) <[email protected]>
 2026-07-28 11:52:53 -04:00
Autumn-27andClaude Opus 4.8 0ef8561411 chore: ARTEX 初始化 
ARTEX — AI 自主渗透测试系统（Go 后端 + Next.js 前端，单二进制内嵌）。

Co-Authored-By: Claude Opus 4.8 (1M context) <[email protected]>
 2026-07-26 04:27:45 -04:00