admin/ARTEX-chixuweihu
1
0 Fork 0
mirror of https://github.com/RuoJi6/ARTEX.git synced 2026-10-28 01:03:50 +08:00
Code Issues Packages Projects Releases Wiki Activity
589 Commits 6 Branches 10 Tags
e740334b9042d6da64156b0adb37a293117e140e
Commit Graph
224 Commits
Author SHA1 Message Date
Autumn-27 289cf6a24f fix(security): jwt.key 移出可浏览工作区(存项目根,自动从 data 迁移) 
工作空间文件管理器的根目录是 dataDir(s.m.dir),而 jwt.key 原来就存在
dataDir/jwt.key —— 会被列出/下载(签名密钥泄露→可伪造 token)/删除(重启重生
成→全体登出)。

- loadOrCreateJWTKey(keyDir, dataDir):密钥改存 keyDir/jwt.key;若旧 data/jwt.key
  仍在,启动时迁移(保留密钥不登出、删旧文件从工作区消失)
- New() 增加 keyDir 参数;生产传 config.BaseDir()(项目根),在 dataDir 之外,
  wsResolve 的路径限定使其不可列/读/下载/删
- 测试传临时目录,隔离且不触发迁移;.gitignore 忽略根目录 /jwt.key

注:项目根在 Docker 里不持久化,容器重建会重新生成密钥、需重新登录(单人系统可接受)。
 2026-08-11 10:56:39 -04:00
Autumn-27 7064216188 feat(agent): 新增通用 {{.Now}} 提示词变量(每轮实时渲染) 
- 各 agent 渲染路径(chat/worker/mainagent/goals/planner)统一提供 Now(nowStr());
  自定义会话 agent 每次触发都会重新 renderSystem,故 {{.Now}} 每轮实时刷新
- server 端 globalPromptVars + withGlobalVars:在保存校验/变量列表/预览/详情放行
  {{.Now}},否则引用它的自定义提示词会被 validateTemplate 拒绝
- 无 DB 迁移(handler 层注入通用变量,不动 agent_prompt_vars 表)
- 用途:配合固定的开始时间戳相减,判断"已运行多久/是否进入最后N小时"
- 新增 agent/prompt_now_test.go:{{.Now}} 渲染实时时间、未知变量安全回退
 2026-08-11 10:45:02 -04:00
Autumn-27 052c35a954 Merge PR #18: delete traffic targets and LLM task conversations from UI (laohuan12138) 
- Traffic 页:按 host 多选精确批量删 + 子串删 + 删后 _blobs 内容寻址块 GC 回收;新增 GET /api/traffic/hosts
- LLM 记录页:按 task_id 下拉选择 + 按任务删除
- 修复 host 选择器 Popover 高度渲染;.gitignore 加 /dist/
- 新增 traffic/traffic_test.go(DeleteHost/DeleteHostsExact/Hosts/GC 共 4 个测试)

本地已验证:go build/vet、traffic 测试、前端 tsc/build 均通过;与当前 main 无冲突。
 2026-08-11 09:38:12 -04:00
Autumn-27 79493d5a4a feat(activity): 任务会话历史反向分页 + SSE 可靠性整改 
后端:
- ActivityPage(会话过滤 main/plan/intent + before 反向分页)、ActivityMaxID
  (任务级快照游标)、ListByKindPage(Intent 列表分页,突破固定 300 上限)
- 新增 GET /api/exploration/activity/history(items/snapshot_cursor/
  earliest_cursor/has_more);snapshot_cursor 为任务级游标
- streamActivity:一次 2000 → 循环补偿追平;输出标准 SSE id 行;支持
  Last-Event-ID;补偿查询错误记录日志并关闭连接
- intents 支持分页形态(?before/?page → {items,has_more}),无参数保持旧裸数组
- 新增 idx_act_worker(exploration_id, worker, id) 支撑 Main/Plan 反向翻页
  (schema.sql 幂等,旧库启动自动补建,无迁移)

前端:
- sessions-tab 单一 allActivity → 分会话缓存;首屏只加载 Main 最新页并据其
  快照游标建唯一任务级 SSE;Plan/Worker 点击懒加载
- 统一 mergeBySeq 合并去重;未激活会话只维护 lastTs/unread;向上滚动分页
  加载旧历史并保持滚动位置;每会话内存上限裁剪
- 按 session_key 写各自缓存 + 每 key 请求令牌防会话切换串数据;SSE 连接状态
  可见、加载失败可重试,异常不再静默为"暂无消息"
- api 新增 activityHistory / intentsPage

测试:db/activity_page_test.go 覆盖多 Agent 过滤、反向翻页无重复无遗漏、
快照游标、Intent 超页分页(已对真实 PostgreSQL 通过)
 2026-08-11 09:13:12 -04:00
Autumn-27 95aba396c2 feat(activity): 丢弃记录日志合并为单条 error,带 reason/summary/累计数 
- 把「丢弃该记录」与「FK 诊断」合并成一条 error 级日志(含"丢弃"关键字,
  后台只筛 error 也能看到完整信息,不再漏掉 info 级诊断行)
- reason 分类:fk_violation(23503) / unique_violation(23505) / pg_error(code) / write_error
- 带 summary 预览(截断去换行)+ 该任务累计丢弃条数,便于判断丢的是哪条、丢弃规模
- 新增 dropReason/bumpDrop/preview 辅助与 dropCnt 计数
 2026-08-11 09:10:35 -04:00
Autumn-27 ea833ad992 feat(activity): 写失败时带 expID,并对外键(23503)现场诊断 
- AppendActivity 失败日志补上 store.expID,直观看到写的是哪个 exploration
- 丢弃记录时若为外键违反(SQLSTATE 23503),调用新增的 ExplorationDiag 现场查库:
  exploration 是否存在 / 引用它的 task 数 / 当前 MAX(exploration.id),
  一行日志区分「父行真没了」vs「expID 拿错了」vs「外键未按 RESTRICT 建」
- 系统日志页时间戳补上年月日(原来只有时分秒)
 2026-08-11 08:44:55 -04:00
FileShare Developer c76d0f4c93 feat: delete traffic targets and LLM task conversations from UI 
Add delete controls to the Traffic and LLM Records pages so users can
purge recorded data without hand-editing the data volume.

Traffic page:
- Host target picker (Popover with checkboxes + select-all toggle)
- Exact-match batch delete for multiple hosts (DELETE /api/traffic/hosts)
- Substring delete for the host-filter input (DELETE /api/traffic?host=)
- Orphaned content-addressed blob garbage collection after deletes
- Distinct-hosts endpoint (GET /api/traffic/hosts) for the picker

LLM Records page:
- Task picker dropdown (distinct task_id + record counts)
- Per-task delete (DELETE /api/llm/records?task=)

Other:
- Add /dist/ to .gitignore (build artifact)
- Extend traffic_test.go with DeleteHost, DeleteHostsExact, Hosts tests
- Fix Popover render bug (replace ScrollArea that broke height calc)
- Remove fade/zoom animation on the host picker Popover
 2026-08-10 11:10:58 +08:00
Autumn-27andClaude Opus 4.8 e00a4a8e72 refactor(asset): delete_assets_by_host 改为平台工具(默认绑 Auto) 
之前作为任务域工具挂在 worker/mainagent 列表里;移除绑定后它也从 BuiltinToolSeeds
自动生成的 seed 清单里消失,导致从未写入 tools 表、UI 看不到。改到平台工具层
(platformTools),由 seedOrchestrationTools 每次启动独立 seed 并默认绑内置 Auto agent,
不属于任务 agent。db 层 DeleteByHost 不变。

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-09 04:49:57 -04:00
Autumn-27andClaude Opus 4.8 f86885ec3d feat(task): 创建任务可选下发种子意图,worker 免等首轮规划直接开跑 
新增 seed_first_intent(默认开启):创建即把"描述+目标"作为一条意图
写入 frontier,worker 轮询领取立即执行,省掉开跑前的首轮 planner LLM;
跑完由 NotifyDone 正常唤醒 planner 判定/补充。CTF 场景常一 work 解决。

- Engine.Run 首轮 kick 改为"frontier 为空才触发",一处覆盖普通/种子/恢复三种情况
- HTTP createTask 与 spawn_task 工具同步支持;bump 工具 schema 刷新 flag 使旧库生效

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-09 02:19:40 -04:00
Autumn-27andClaude Opus 4.8 4cf622593a feat(trigger): 新增"任务创建"触发机制(on_task_create) 
自定义 agent 触发条件从 5 种扩展到 6 种,新增任务被创建时触发。
用 tasks.id 单调水位线 + scheduler_state 防重复,重启不补触发;
触发消息完整分行给出任务ID/描述/目标。DB 加列并带 ALTER 迁移。

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-09 02:19:29 -04:00
Autumn-27andClaude Opus 4.8 6bffd491ee feat(workspace): 新增工作空间文件管理器(针对 workDir) 
后端 server/workspace.go(全部在 requireAuth 之后，路径限定在 workDir):
- list/read/write/mkdir/delete/download/upload 七个端点
- wsResolve 用 Clean("/"+rel)+前缀校验防 .. 遍历；上传经 filepath.Base
  再二次校验；读文本 2MB 上限(超限/二进制仅下载)；上传 512MB 上限；
  下载文件名过滤 + filename* UTF-8 编码

前端:
- 侧边栏「工作空间」入口(/function/workspace)
- api/types：workspaceList/read/write/mkdir/delete + upload(FormData)
  + download(blob 带 token)
- page：面包屑导航 + 目录表格 + 上传/新建文件夹/刷新 + 每行下载/删除
  + 右侧 Sheet 文本编辑器(二进制/超大仅下载)

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-09 01:01:19 -04:00
Autumn-27andClaude Opus 4.8 e35c766e6a feat(coverage): 覆盖图节点用 lucide 图标 + 精简 label + 抽屉展示关联意图/事实 
- 节点图标 emoji → 平台一致的 lucide 图标(白色 SVG data URI，iconSrc)
- 图内 label：服务显示 端口·标题·状态码(不再完整 URL)，端点只显示 path
- 点节点抽屉新增「关联意图/关联事实/关联发现」：按 exploration_anchors
  反查本任务锚定该资产的节点
  - db AssetRefs(assetID)；server GET /api/tasks/{id}/asset-refs?asset_id=X
  - types/api taskAssetRefs；抽屉按 node.asset_id 拉取渲染

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-09 00:28:19 -04:00
Autumn-27andClaude Opus 4.8 e841bc9332 feat(goals): 目标设定 agent 提取并登记测试资产范围 
- DecomposeGoals 新增 as/taskID 参数，有效时复用 add_task_scope 工具挂入本次调用
- 追加 code-owned tail(仅工具挂上时)：从目标/描述提取明确的
  root_domain/subdomain/ip/cidr 并登记为 task_scope；只登记明确写出的、
  拿不准选更精确的；不处理 company(任务刚建公司通常未入库、名字解析不上，
  留给 plan 阶段)
- MaxTurns 4→6；server createGoals 传入 AssetStore + 数字 taskID

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-08 12:30:51 -04:00
Autumn-27andClaude Opus 4.8 c396674d2b feat(coverage): 任务新增「资产覆盖图」力导向图 tab 
后端(只读，无迁移):
- db BuildCoverageGraph(taskID,expID) 复用 covTargetCTE 拉范围内全部类型资产 +
  tested 标记，补连接节点(缺失根域名/公司，灰)，按字段派生 child→parent 边
- server GET /api/tasks/{id}/coverage-graph

前端:
- 新 tab coverage-graph-tab：xyflow 渲染 + d3-force 静态力导向布局
- 已测=实色高亮、范围内未测=灰、范围外连接节点=灰虚线；点节点看详情抽屉
- 折叠/分页：同父同类型子节点默认展示 20(已测优先)，超出收进折叠节点，
  抽屉「展示更多(+20)」把下一批拉进图；布局仅在可见集合变化时重算
- types/api + d3-force 依赖声明 + 注册 tab

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-08 12:30:41 -04:00
Autumn-27andClaude Opus 5 4c4f65f40a refactor(coverage): 覆盖度改按类型统计 + 新增 list_untested_assets 工具 
- 去掉 backlog（避免把未测清单塞进提示词引导 plan），改由 plan 自行判断。
- Coverage 去 Backlog、加 by_type [{type,total,tested}]；TaskCoverage 改 GROUP BY type，
  累加得总分母/总已测。
- 新增 db.ListUntestedAssets（范围内未测资产，可按类型过滤 + 分页）与 list_untested_assets
  工具（type + page/page_size，默认页大小 10），绑 planner、随 BuiltinToolSeeds 播种。
- graph_overview 的 coverage 现为 {denominator,tested,pct,by_type,note}；note 提示按需调
  list_untested_assets 自行判断，不再推送 backlog。
- /api/tasks/{id}/coverage 去掉 backlog 参数；前端覆盖度卡改为按类型「已测/总数」徽章。

Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
 2026-08-08 11:50:51 -04:00
Autumn-27andClaude Opus 5 aeadd0d48b feat(coverage): 资产测试覆盖度（task_scope 范围 + fact 派生已测） 
按 docs/任务覆盖度设计-最终版.md 实现（轻量版，粗估供 agent 参考）：
- 新表 task_scope（覆盖度分母 + per-task 授权边界）：CREATE TABLE IF NOT EXISTS 进
  schema.sql，随 db.go 每次启动 Exec，旧库自动生效。
- db/task_scope.go：AddAutoScope（insertAssets 按资产类型保守入范围）、AddAgentScope
  （add_task_scope 工具：company/root_domain/subdomain/ip/cidr）、ListTaskScope、
  TaskCoverage（范围内资产中被 fact 节点锚定过的占比 + backlog 取样）。
- insertAssets 顶层循环按 worker 显式插入的资产类型自动入范围（source=auto）；
  side-effect 派生的资产不触发（钩子在 handler 顶层、派生在 db 层内部），范围不盲目扩大。
- add_task_scope 工具绑 planner，随 BuiltinToolSeeds 播种（新库/旧库皆 seed）。
- graph_overview 注入 coverage（denominator/tested/backlog_sample + 粗估提示）供 planner 参考。
- HTTP：GET /api/tasks/{id}/coverage、/scope；任务总览页覆盖度卡（含 backlog）。
- 修 toolcatalog_test（record_fact 绑定断言，早前 mainagent 加 recordFact 后未同步）。

验证：go build / vet / agent test / 前端 tsc 均通过。注：DB 层 SQL 尚未经 live Postgres 运行验证。

Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
 2026-08-08 09:09:38 -04:00
Autumn-27andClaude Opus 4.8 6d8fa5bc48 feat(agent): 触发后处理可配置(运行模式/合并模式/并发上限) + 修复抽屉内下拉误关 
每个自定义 agent 可配置触发后如何调度运行:
- 运行模式 serial|parallel:串行排队一次一个 / 每次触发各自并发一个会话
- 合并模式 by_task|all|none(仅 serial):同任务合并 / 全部合并成一条 / 不合并
- parallel 带每 agent 最大并发上限(0=不限),超限排队等空位

实现:
- DB: agents 加 trigger_run_mode/trigger_merge_mode/trigger_max_parallel 三列
  (schema + 幂等 ALTER 迁移,已发版补旧库);Agent 结构/scan/SetAgentTriggerBehavior
- 调度重构: triggerRun bool → triggerActive 计数 + triggerCfg 缓存;
  StartTriggeredRun 走 pumpLocked/runAndPump 统一泵模型,nextTriggerRun 按合并模式
  取(新增 mergeAllRuns);并发安全(session 按 conv-id 隔离,已确认)
- config 接口暴露/接收三字段;max_turns 改可选指针,避免触发 tab 部分 patch 清零
- 前端: 触发 tab 顶部加运行/合并模式下拉 + 最大并发输入,改动即存

修复: 抽屉(Sheet)内 Select 下拉 portal 到抽屉外,点选项/点别处被当成点击外部
误关抽屉。SelectContent 改 position=popper,并给 SheetContent 加 onInteractOutside
守卫(按 e.detail.originalEvent.target 判定弹层内点击则不关)。

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-08 04:23:09 -04:00
Autumn-27andClaude Opus 4.8 f9716269ea feat(agent): 触发器新增「工具调用」条件 + 定时触发改为复选框展开 
- 定时触发统一为前置复选框，勾选后展开「每 N 秒」+ 消息（与其它条件一致）
- 新增工具调用触发（P3 第 5 种条件）：
  - 选中系统工具列表(至少一个)，任务执行中这些工具每次调用完成即触发 agent
  - 触发消息带上任务 id/描述/目标 + 工具名 + 入参 + 返回内容(各截断 1500 字)
  - 只读任务执行的 activity，触发跑的会话写 conversation_activities，天然无自触发循环
- DB: agent_triggers 加 on_tool_call/tool_call_message/tool_names 三列；
  已发版，附幂等 ALTER TABLE ADD COLUMN IF NOT EXISTS 供旧库升级补列
- scheduler: 新增 last_toolcall_id 水位线(首启 seed) + fireToolCalls，以 tool_result
  为水位、回连 tool_use 取入参，按选中工具集合匹配后触发

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-08 02:59:07 -04:00
Autumn-27andClaude Opus 5 82bd19a1cd docs(tools): create_custom_tool 描述前置【重要】提示，引导安装平台外工具后登记 
Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
 2026-08-07 12:21:12 -04:00
Autumn-27andClaude Opus 5 5000aadd8f fix(chat): 修复会话刷新丢失最终答案(#3) + 反向分页/详情懒加载/会话URL持久化 
- 后端消息列表默认按 id 升序取最旧一页，长会话刷新后最终答案落在页外而丢失
  （发新消息推进游标才重现）。改为：
  - db.ConvActivityPage：反向分页，取最新/更早一页 + hasMore
  - 消息接口按 since(增量)/before(更早页)/最新页 三种模式返回
- 前端聊天页：
  - 打开会话仅加载最新一页，滚动到顶部再反向加载更早（保持滚动位置不跳）
  - Transcript 的 UserRow/AnswerBlock 改为进入视口才拉 detail，避免打开会话即对
    整页每步发详情请求
  - 选中会话 id 持久化到 URL(?c=<id>)，刷新回到当前会话
  - 修复新建会话后被"清理失效 id"effect 误清导致停留在新建页、输入框内容与灰色
    发送按钮卡死：移除该 effect + onStarted 乐观插入

Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
 2026-08-07 11:45:33 -04:00
Autumn-27andClaude Opus 4.8 ad9f14f140 feat: LLM 录制开关、模型列表第三方回退、命令页改为工具执行 
在 review PR5 基础上的三处改进：

1. LLM 录制开关（默认关，settings.llm_record）
   - 录制页数据大小下拉框旁加开关；关闭时 Recorder.Stream 直接透传，
     不序列化、不累积、不写库，零开销。切换即时生效，无需重建 agent。

2. 模型列表拉取支持 Anthropic 兼容第三方
   - pgListModels 改为按序尝试多个候选端点：anthropic 的 /v1/models 拿不到时，
     剥掉 /anthropic 回退到 OpenAI 式 /models（自动切 Bearer 头）。
     修复 DeepSeek(anthropic) 加载模型 404。

3. 命令页改为「工具执行」列表
   - ListCommands 去掉 tool='Bash' 过滤，覆盖所有 tool_use；返回工具名列，
     搜索匹配工具名或参数。前端加「工具」列、标题/侧边栏改为「工具执行」。

Co-Authored-By: Claude Opus 4.8 <[email protected]>
 2026-08-07 09:32:01 -04:00
lornlee 5b58330f01 feat: 添加LLM模型清单、命令执行记录录制和LLM请求记录录制功能 2026-07-30 15:18:40 +08:00
Autumn-27andClaude Opus 4.8 abc551cc76 fix(worker): 写回计数按事实/资产/漏洞分开统计 
原先 record_fact/insert_assets/report_finding 共用一个 wrote 计数器，
日志却统一打印成"写回 N 条事实"，把资产、漏洞也算进"事实"里，容易误导
（如枚举意图插入 25 个资产 + 1 条 fact 会显示"写回 26 条事实"）。

改为 WriteCounts{Facts,Assets,Findings} 分类计数，日志打印
"写回 事实1 资产25 漏洞0"，Total() 保留"是否落库任何东西"的判定。

Co-Authored-By: Claude Opus 4.8 (1M context) <[email protected]>
 2026-07-28 11:52:53 -04:00
Autumn-27andClaude Opus 4.8 0ef8561411 chore: ARTEX 初始化 
ARTEX — AI 自主渗透测试系统（Go 后端 + Next.js 前端，单二进制内嵌）。

Co-Authored-By: Claude Opus 4.8 (1M context) <[email protected]>
 2026-07-26 04:27:45 -04:00