admin/ARTEX-chixuweihu
1
0 Fork 0
mirror of https://github.com/RuoJi6/ARTEX.git synced 2026-11-02 18:53:50 +08:00
Code Issues Packages Projects Releases Wiki Activity
662 Commits 26 Branches 11 Tags
4c5b4e9e79ede2bd2183b8a5bd932536d5245ff7
Commit Graph
126 Commits
Author SHA1 Message Date
ji ruo 21f68a6a60 feat: event-driven credential processing conversations 2026-10-30 09:18:31 +08:00
RuoJi6 5366160a5d feat: add container resource monitoring 2026-10-29 10:28:40 -07:00
ji ruo 2290acfa62 feat: refine agent workflows and settings UI 2026-10-29 16:20:11 +08:00
ji ruo 7946869762 feat: add task traffic history and report recovery 2026-10-29 10:18:32 +08:00
ji ruo b0a29236f8 feat: improve finding reports and evidence exports 2026-10-29 01:25:32 +08:00
ji ruo 21646d5d29 feat: separate topology mapping from asset graph 2026-10-28 23:19:53 +08:00
ji ruo 14ebf44362 fix: restore topology view and mapping progress state 2026-10-28 21:10:43 +08:00
ji ruo fb6942f2b2 fix: align asset coverage zones and remapping chat 2026-10-28 19:23:13 +08:00
ji ruo e8572a18d2 feat: add structured finding reproduction screenshots 2026-10-28 18:08:12 +08:00
RuoJi6 cb0a69ef60 Merge pull request #60 from RuoJi6/fix/task-runtime-exclude-pause 
fix: 运行时长排除暂停时间
 2026-10-27 00:44:03 -07:00
RuoJi6 287021b494 Merge pull request #58 from RuoJi6/feat/task-auto-title 
feat: 双能力自动标题（任务名 + 对话标题）
 2026-10-27 00:43:31 -07:00
RuoJi6 7e5c828fc2 fix(web): show egress IPs in navbar middle via settings toggle 2026-10-27 13:46:34 +08:00
artex 41c967f7ad fix: exclude pause time from task run duration 
Persist active_run_seconds + run_segment_started_at so task list and
orchestration list_tasks accumulate only actual execution time across
pause/resume/queue/terminal transitions.
 2026-10-27 13:37:43 +08:00
artex-bot 6c781f21f4 feat: Agent 任务名与对话标题双能力自动生成 
新增 task_auto_title_enabled / chat_auto_title_enabled（默认关）、
共享 GenerateAutoTitle、spawn_task 同步写 name、对话首条先截断再异步 AI，
设置页「自动标题」双 Switch。closes #55
 2026-10-27 12:33:53 +08:00
shinypolaris 5feddf296d feat: 全局代理支持连通性测试与出口 IP 显示 2026-10-27 00:01:23 +08:00
ji ruo 71e933c6a3 Merge main and preserve task worker overrides with model pools 2026-10-26 09:36:03 +08:00
RuoJi6 e03bd5c244 Merge pull request #44 from RuoJi6/feat/notes-and-worker-count 
feat: 任务/模板备注展示与 Worker 运行数量配置
 2026-10-25 18:29:16 -07:00
RuoJi6 06801bc5aa fix: Worker 池评审修复（系统会话可见报错、暂停意图续跑保持绑定模型、加载失败不清空池、原子写入） 
Code authored by Codex CLI gpt-6.1-sol (addresses Grok review #1).
 2026-10-24 22:55:34 +08:00
RuoJi6 1847b8adb1 feat: 发现页新增类似 Burp Repeater 的请求重放功能（Codex 重写）(#42) 
Code authored by Codex CLI (gpt-6.1-sol/gpt-6-astra/gpt-6-sol/gpt-5.6-sol sessions, final: gpt-6-astra).
 2026-10-24 22:26:22 +08:00
RuoJi6 d1b2b5a996 feat: 多模型 Worker 池（#41，Codex 重写：绑定配置不可用时报错而非回退） 
Code authored by Codex CLI (gpt-6-astra main implementation; gpt-6-sol / gpt-6-astra continuation passes).
 2026-10-24 22:22:05 +08:00
RuoJi6 a1dc362bae feat: 任务/模板备注展示与 Worker 运行数量配置（Codex gpt-6-astra 重写） 2026-10-24 21:46:03 +08:00
RuoJi6 6ffe04cf3d chore: reset #41 multi-model worker files to origin/main for Codex rewrite 2026-10-24 21:17:59 +08:00
RuoJi6 f9cf38c16c revert: 回退手写的 Repeater 实现，准备由 Codex 按新规则重写 (#42) 2026-10-24 21:17:55 +08:00
RuoJi6 ba3025d04f chore: 还原 PR #44 手写实现，准备由 Codex 按新规则重写 2026-10-24 21:17:17 +08:00
RuoJi6 341caa5e1f feat: 发现页新增类似 Burp Repeater 的请求重放功能 (#42) 
在发现详情的关联流量区提供 Repeater：可从流量证据一键预填，或空白编辑
方法/URL/头/体后由服务端代发请求并展示原始响应，便于人工验证与报告撰写。

- POST /api/repeater/send：复用 recording/global 代理出口
- 直连路径拨号层拦截环回/链路本地/元数据；字面敏感 IP 在 URL 预检拒绝
- 会话内历史（前端内存）；跨主机重定向拒绝
 2026-10-23 19:22:51 +08:00
RuoJi6 6f09b313d6 feat: 多模型 Worker 池，支持按 LLM 配置分配并发会话 
实现 #41：系统配置可设置 worker_pools，使本地模型与云端模型等各占用若干 Work Agent 会话并在同一任务内并行执行。空配置保持原 workers 遗留行为。
 2026-10-23 19:14:35 +08:00
RuoJi6 45d4e4e67b feat: 任务/模板备注展示与 Worker 运行数量配置 
- 新建任务可填写备注；详情页头部展示备注（列表原有 RemarkEditor 保留）
- 任务模板支持备注与 Worker 数量，应用/另存为模板时同步带入
- 新建任务高级设置与模板均可单独设置 Worker 运行数量（0=回落全局默认）
- schema/API/引擎贯通：tasks.worker_count、task_templates.remark/worker_count
 2026-10-23 19:01:21 +08:00
ji ruo 851e3f99ed feat: add optional credential processing with dependent switches and traffic evidence 2026-10-20 13:01:03 +08:00
ji ruo d70dd15e11 feat: add optional task intelligence recording and views 2026-10-20 11:16:04 +08:00
ji ruo de7a668b32 feat: align list editors with name hover actions 2026-10-19 09:58:32 +08:00
ji ruo 316889f76a feat: add inline remarks for tasks and schedules 2026-10-19 09:17:59 +08:00
ji ruo 6a3d39e969 feat: add optional proxy for online updates 2026-10-15 15:44:55 +08:00
ji ruo bfc5e6236e fix: enforce strict LLM HTTP request rate limits 2026-10-15 14:53:33 +08:00
ji ruo 3254c90a03 新增日历式计划任务 2026-10-09 23:05:44 +08:00
RuoJi6 e77c3ae9a3 Merge pull request #2 from RuoJi6/codex/finding-folders 
feat(findings): 同一漏洞重复上报归并与文件夹展示
 2026-10-09 11:07:16 +08:00
ji ruo 24d4726aee feat(findings): consolidate duplicate reports into expandable cases 2026-10-09 10:43:53 +08:00
ji ruo 04c8c54ff8 feat(auth): add optional HTTP Basic Auth access gate 2026-10-09 10:12:27 +08:00
Autumn-27 86729b65dc feat(intercept): 模型兜底审批单独计量 token 并在配置页展示 
兜底审批(LLM judge)调模型判定漏网命令,其 token 消耗此前无法单独查看:
usage 行要么无 worker 归属、要么被并进复用的模型 profile 桶里。

- llmrec 增加 WithWorker 上下文覆盖,reviewer 调用前标注 worker='judge'，
  让审批调用的计量行可被单独筛出(复用现有 llm_usage.worker 列,无需迁移)。
- db.JudgeUsageStats 返回累计总量 + 近 N 天每日序列(WHERE worker='judge')。
- 新增 GET /api/intercept/judge/usage。
- 配置页「模型兜底审批」开关下方新增用量卡片:调用次数 / 输入 / 输出 /
  缓存读写 五项统计 + 近 30 天每日消耗迷你柱图 + 刷新。
 2026-10-04 02:43:26 -04:00
luckoneandClaude Code f3fb37f70d feat(notify): 漏洞发现支持推送到钉钉/飞书/企业微信等六种渠道 
新增「系统 → 通知推送」页，把扫描发现的漏洞推送到钉钉、飞书、企业微信、
通用 Webhook、Telegram、邮件。同一类型可配任意多个机器人实例，每个实例独立
设启停、限流与过滤规则（最低级别 / 任务资产范围 / 漏洞类型关键词 / 是否接收
处置状态变更）。推送时机分实时与汇总两种模式，「高危实时、其余汇总」建两个
渠道即可表达，策略不写死在代码里。带投递历史与失败重发。

三个关键设计：

1. 写漏洞的事务只做一次盲 INSERT。notification_events 由 RecordFindingTx
   在同一事务内写入，保证「漏洞落库」与「推送任务存在」原子一致；这条 INSERT
   刻意不读渠道表、不跑用户的过滤规则，否则一条配错的过滤条件就能污染甚至
   中止事务，让高危漏洞存不进库。为把失败隔离在这一条语句上（PostgreSQL 中
   事务内任一语句报错会让整个事务作废、连 COMMIT 都失败），它被 SAVEPOINT
   包住，失败时只记日志。

2. 投递用租约领取而非长事务。FOR UPDATE SKIP LOCKED 领取后把行置为 sending、
   把 next_attempt_at 推到未来作为租约，提交后再做网络投递，因此投递期间不
   持有数据库锁；崩溃留下的 sending 行会被下一轮重新领取，自愈且不会无限重试。

3. 限流不消耗重试预算。先按渠道令牌桶算出本轮还能发几条，再按这个数量领取；
   顺序反过来会让被限流挡下的投递白计一次尝试，三次预算被等待耗光后落入失败。

审计并修复的四个问题：

- 推送凭据经错误信息外泄：http.Client.Do 返回的 *url.Error 会把完整 URL 打进
  错误文本，而钉钉 access_token、企业微信 key、飞书 hook id、Telegram
  /bot<token>/ 都就在 URL 里。该串流入 last_error（明文落库）、投递历史接口
  （绕过渠道掩码）、服务端日志与前端错误提示。现统一脱敏为 scheme://host
  + 底层原因，并拒绝跨主机重定向。
- 最低级别门槛打错字会让过滤器静默失效：未知级别序数为 0，判定退化成
  rank >= 0 恒真，用户以为限制「仅高危」实际全推。现于写入路径校验取值。
- 汇总批次无上限：一次领取把全部待发行读进内存、消息被渠道长度上限截掉大半
  且静默丢失。现单批上限 500 条，超出部分留库成为下一批。
- 邮件渠道把 SMTP 4xx（灰名单等临时失败）判成永久失败，导致这类最该重试的
  场景从不重试。现按应答码首位区分 4xx/5xx。

测试：notify 包 82% 覆盖（含用自建最小 SMTP 服务器驱动的完整邮件协议会话、
两种签名算法对 OpenSSL 基准值的比对、UTF-8 边界截断、以及模板能力边界的
反射断言）；db 与 server 侧共 29 个用例跑真实 PostgreSQL，其中端到端用例
真发 HTTP 到假接收端并断言消息内容与投递状态。

Co-Authored-By: Claude Code <[email protected]>
 2026-09-30 16:25:06 +08:00
Autumn-27 2f5f7c0227 feat(traffic): 流量列表新增「清空全部」，并借空库时机压实索引 
一次删除全部流量记录，忽略当前筛选条件。与按 host 删除的两条路径相比多做
两件事：

- 清理索引已不再记录的历史 host 目录。按 host 删除只能从索引反查目录，
  行已消失的孤立目录会一直留着；「清空全部」既然语义是不留残余，就直接
  扫顶层目录（跳过 _index/_blobs/_ca/_delete_staging）。
- 收尾做一次全量压实（optimize + VACUUM + wal_checkpoint(TRUNCATE)），把
  索引占用的磁盘空间还给系统，并把实际释放量返回给前端提示。

VACUUM 的耗时与临时空间只和它保留的内容成正比，所以空库是做全量压实唯一
免费的时机——也正因如此，这一步顺带成为已有实例的转换途径：auto_vacuum
只能通过 VACUUM 生效，清空一次之后旧库即转为增量回收模式，此后日常按
host 删除就能自行回收空间（TestDeleteAllConvertsLegacyIndex 覆盖）。

已绑定到漏洞的流量证据保存在独立的证据库中，不受影响——绑定时已拷出独立
副本，正是为了让热流量可以随时清空而不带走证据。确认弹窗里明确写了这点。

前端把「清空全部」做成 outline 样式而非第二个 destructive 按钮：它忽略一切
筛选条件，不该看起来和「删除该目标」只差一次误点；无流量时禁用。

测试：新增 TestDeleteAllPurgesAndCompacts（清空后索引、正文、blob 引用与
孤立目录全清，空间回收到 1/8 以下，清空后仍可继续录制）与
TestDeleteAllConvertsLegacyIndex（旧库经清空后转为增量回收，随后普通删除
即可回收）。
 2026-09-30 02:50:49 -04:00
Autumn-27 a4960b514e feat(traffic): 流量列表支持内容检索、路径/状态码/长度筛选与列排序 (#177) 
- 后端 traffic.Page 改为 PageQuery：新增响应内容(FTS)、路径(url_template)、
  状态码(精确/Nxx 分桶)、响应长度范围筛选，并支持按 ts/status/resp_len 排序
  (尾随 id DESC 保证分页稳定)；补 status/resp_len 两个索引(IF NOT EXISTS，旧库自动生效)
- server getTraffic 解析 body/path/status/resp_min/resp_max/sort/order 参数
- 前端流量页新增高级筛选行(响应内容/路径/状态码/长度范围)与可排序表头，
  排序偏好持久化到 localStorage；抽出公共组件 ui/sortable-head
- 仅改动前端页走的 Page，不动 Agent 工具的 query 契约
 2026-09-29 21:58:17 -04:00
Autumn-27 87b3c3c770 feat(tasks): 漏洞列改为按严重度分档显示 严/高/中/低 
- TaskListMetricsAll 用 COUNT(*) FILTER 按 severity 分四档统计（同一条查询）
- TaskListMetrics.Findings 及 TaskDTO.findings 由数字改为 {critical,high,medium,low}
- 列表页「漏洞」列渲染 x/x/x/x，配色沿用 severity 语义、为 0 的档位弱化
- severity 为空/白名单外的记录不计入任一档；mock 同步为对象结构
 2026-09-24 13:32:45 -04:00
Autumn-27 e65d3e5202 feat(tasks): 任务列表新增漏洞数量列，描述/目标列收窄 
- 任务列表接口 TaskListMetricsAll 批量统计每任务的漏洞数(findings 表，
  按 task_id)，经 TaskDTO.findings 下发；列表页新增「漏洞」列，>0 高亮
- 描述/目标列宽 max-w-xs → max-w-40，目标列补 title 悬浮全文
- mock data/handler 同步补 findings 字段
 2026-09-24 13:26:22 -04:00
Autumn-27 d5359e1f04 feat: 资产拦截接入执行链，新增任务级拦截/允许规则 
在 agent 下发意图(add_intent)与插入资产(insert_assets)两处接入资产闸门；
并新增任务级规则(拦截 block + 允许 allow 白名单)，创建任务时录入、任务详情
总览里可编辑。

- 匹配/执行(db/asset_intercept_match.go)：MatchAssetInterceptRules 纯匹配
  (exact/fuzzy 的 域名·IP·URL + CIDR，URL host 会拆出归类)；EvaluateAssetGate
  「先拦截后允许」闸门——命中拦截即禁止；未命中但存在启用的允许规则且都不命中→
  不允许测试；无启用允许规则则不启用白名单。附单元测试。
- 执行点：add_intent 命中即不下发意图；insert_assets 命中即跳过 Upsert 及
  AddAutoScope 副作用。均合并 全局∪任务级 规则。
- 任务级规则：表 task_intercept_rules(task_id FK CASCADE + action block/allow，
  幂等 ALTER 补旧库)；db/task_intercept.go 提供 List/Split/CRUD/事务插入；
  创建任务随 intercept_rules 提交；CRUD 路由 /api/tasks/{id}/intercept-rules。
- 前端：新建任务抽屉多行录入(拦截/允许 + 类型，用 NativeSelect 避免 Sheet 内
  下拉 portal 导致误关抽屉)；任务详情总览新增规则管理卡片(增删改+启用开关)。
 2026-09-19 09:06:22 -04:00
Autumn-27 dfc9d2fa2e feat: 新增资产拦截规则（全局黑名单）增删改查 
新增独立于命令拦截(intercept_rules)的资产拦截功能，仅提供规则的
存储与管理；具体匹配/拦截逻辑另行实现。

- db: 新增 asset_intercept_rules 表(schema.sql，幂等)与 CRUD 层
  (db/asset_intercept.go)；kind 支持全等/模糊的 域名·IP·URL 及 CIDR
- db: 首启动 seed 内置模糊拦截政府(.gov/.gov.cn)与教育(.edu/.edu.cn)
  网站，settings 标记位门控，可禁用/删除且重启不复活
- server: /api/asset-intercept/rules 的 list/create/update/delete/toggle；
  cidr、exact_ip 做格式校验
- web: 新增「资产拦截」页(/system/intercept/assets)与侧边栏入口、
  api 与类型定义
 2026-09-19 07:58:23 -04:00
Autumn-27 4756bb1c45 feat(intent): 意图删除支持假删除/真删除两种模式 
删除入口区分两种模式(待领/运行中/已暂停的意图均可删除):

- 假删除(默认):意图置 state='deleted'、删除原因记入新字段 delete_reason,
  保留节点与全部产出/血缘,不再在图上另挂 fact。
- 真删除:物理删除意图及「仅由它支撑」的独占子孙(沿 yields/derived_from
  级联到叶子),避免孤立数据;共享节点、目标、任务根事实保留。被删意图先做
  token rollup 并清理 activity/副会话,被删 finding 先删 findings 行。

两种模式都照常用 cancelled 触发通知 planner(带删除前捕获的意图摘要 + 原因),
planner 文案不再声称原因挂为事实。

- DB: 新增 SoftDeleteIntent、重写 CancelIntent 为深度独占级联;schema 加
  delete_reason 列与 intent 的 deleted 状态(含旧库迁移)。
- 前端: 删除对话框加模式切换与动态说明,状态徽章/图标新增「已删除」,
  播报板展开展示删除原因。
 2026-09-17 12:52:57 -04:00
Autumn-27 d95f0d002d feat(web): 播报板节点详情展示上游节点信息与锚定资产 
上游/下游节点从只显示 id 改为悬停弹出节点名片(类型/状态/来源/时间/摘要/payload);
展开时顺带展示该节点锚定的资产(类型标签 + 可辨识文本)。

服务端 /exploration/nodes 新增 assets 字段(节点id→资产),读 exploration_anchors
并复用发现列表的资产打标逻辑;同页节点互引时用本页 items 兜底 refs 查找表。
 2026-09-17 11:23:53 -04:00
Autumn-27 3b60191e86 refactor(engine): 移除从不执行的全局 planner/worker 空壳,就绪信号改用谓词 
权威解析器(SetAuthoritativeAgentResolver)落地后,引擎每轮规划/worker 都走
per-task 的 agentsForTask 路由;applyLLM 经 buildPlannerWorker 构建、UseLLM 装入
的全局 planner/worker 从不被执行,仅充当 Ready() 的'已配置'探针。这层空壳是
功能容易被错误接线的温床(冷节点压缩此前就误接在它上面)。

改动:
- 删除 buildPlannerWorker、providerForAgent(仅前者调用)、Engine.UseLLM/snapshot/
  Mode、Engine.planner/worker/mu 字段。
- Ready() 改为读 SetReadiness 注入的谓词(基于 s.llmOn);snapshotFor 去掉全局
  兜底,权威解析器返回 nil 即表示该任务不可用(语义不变)。
- applyLLM 不再构建全局 pair;NewServer 注入就绪谓词。
- 相应更新 3 处依赖旧注入方式的测试(改用权威解析器注入)。

生产行为不变(全局 pair 本就从不执行);go build/vet 通过,server 测试失败集合
与基线一致(均为需 DB 的既有用例),无新增失败。
 2026-09-17 09:40:06 -04:00
Autumn-27 e78b35869c chore(server): 删除已死的全局 mainAgent 与 agentsForProfile 等冗余构建 
per-task 路由(agentsForTask)落地后,这些全局副本已无人使用:
- 全局 mainAgent(字段 + applyLLM 里的构造 + mainAgentRef getter):真正在跑的是
  agentsForTask(t).main,全局那份从不被读取,mainAgentRef 无调用者。
- agentsForProfile:旧的任务 pin 路径,已被 agentsForTask 取代,无调用者。
- 随之失活的 profBundle 类型与 profAgents 缓存(仅初始化/清空、再无存取)一并移除。

均为编译器可确认的死代码,不改变任何执行路径;chat 的全局兜底(chatAgent/
chatAgentForProfile)、provider 缓存(provByProfile)等仍在用,保留不动。
全局 planner/worker 空壳与 Ready()/Mode() 改造留待第二步。
 2026-09-17 09:07:40 -04:00
Autumn-27 c03e008d7b feat(web): 任务详情页新增探索链路播报板 
按创建时间分页平铺展示探索节点,作为探索链路图的时间轴视图,
复用同一份 exploration_nodes 数据,不影响链路图。

- 后端 NodesPage/NodesByIDs/EdgesTouching:分页下推 SQL,
  支持 kind/state 过滤、payload/origin 搜索、正倒序,
  并补出当页节点的相邻边与对端节点
- 新增 GET /api/exploration/nodes(仅本任务节点,不含继承)
- 播报板:时间轴分行、按天分组、类型快筛、搜索防抖、
  自动刷新、直播位未读提示、展开看上下游与 payload
- 补 mock,NEXT_PUBLIC_MOCK=1 下可无后端预览
 2026-09-17 08:42:49 -04:00