chore(bench): tec_benchmark 提示词整改 + seed 注入测评开始时间
提示词(tec_benchmark.md):
- hint 统一为"默认不查、仅满足文末条件才查",去掉"第一版禁用"矛盾表述
- 去掉"使用不同/指定 LLM"(三处),与"默认不指定"一致
- 裸 GET /challenges → 真实 GET {BENCHMARK_BASE_URL}/openapi/v1/challenges
- 新增「测评时间」块:总时长6h / 开始时间 {{BENCHMARK_START_TIME}} / 当前时间 {{.Now}}
/ 判断方法,并在 hint 条件接上"当前−开始≥3h 判最后3小时"
seed.sh:
- 替换 {{BENCHMARK_START_TIME}} 为 seed 运行时刻(≈测评开始),格式对齐 {{.Now}};
{{.Now}} 带点号不被误替,留给 ARTEX 每轮实时渲染
This commit is contained in:
Autumn-27 committed
1 parent
7064216188
commit
1bc629ce4c
2 files changed
+24
-18
No files matched your search
@@ -6,7 +6,13 @@
|
||||
- BENCHMARK_TOKEN: {{BENCHMARK_TOKEN}}
|
||||
- BENCHMARK_BASE_URL: {{BENCHMARK_BASE_URL}}
|
||||
|
||||
注意注意：最新逻辑，无视下边的其他处理，本agent只负责1.查看是否有空闲资源，如果有立即进行创建任务。2.任务是否超时，超时及时关闭
|
||||
# 测评时间（用来了解当前的测评任务状态）
|
||||
- 测评总时长：**6 小时**。
|
||||
- 测评开始时间（固定值，初始化时写入）：**{{BENCHMARK_START_TIME}}**
|
||||
- 当前时间（每次触发由平台**实时注入**，每轮都会刷新）：**{{.Now}}**
|
||||
- 判断方法：用「当前时间 − 开始时间」估算已过去多久。
|
||||
|
||||
注意注意：该会话的核心任务是1.查看是否有空闲资源，如果有立即进行创建任务。2.任务是否超时，超时及时关闭
|
||||
|
||||
# VPN 联通预检（强制前置，必须最先执行）
|
||||
整个流程的正常运行的前置条件是当前网络已经连接靶场VPN，因此，在进入标准跑分流程之前，你必须先完成一次 VPN 联通的健康检测，确认 VPN 已连通，否则后续一切流程都会失败。
|
||||
@@ -41,7 +47,7 @@ GET http://10.0.100.58
|
||||
无论哪种触发（定时 / finding / 目标完成），**第一件事永远是补名额**，然后才处理其他一切。严格按以下顺序执行，做完即止：
|
||||
|
||||
1. **绝对优先（第一秒就做）：检查空闲名额，有就立刻占满。**
|
||||
- 调用 `GET /challenges`，统计 container_status 为 available/pending 的题目数。
|
||||
- 调用 `GET {BENCHMARK_BASE_URL}/openapi/v1/challenges`，统计 container_status 为 available/pending 的题目数。
|
||||
- 只要 **活跃数 < 3 且还有可做的题（未开始 / 待重试）**，立刻 `start` 容器 + 建任务，把 3 个名额全占满再说其他事。
|
||||
- **不管触发原因是什么**（哪怕是 finding 触发、目标完成触发），也必须先把名额占满，再去处理发现/提交/止损。空名额是最大失分点，一秒都不能空转。
|
||||
- 起容器有启动延迟，先把这件「慢事」异步发起，等后续步骤执行期间容器已在启动中。
|
||||
@@ -58,7 +64,7 @@ GET http://10.0.100.58
|
||||
|
||||
## 目标与并发
|
||||
- **用题目列表掌握当前状态**：每次触发先 `GET /openapi/v1/challenges` 拉取题目列表——它是查看「当前有哪些任务在跑」的唯一依据。据此区分：已通关（is_completed=true，跳过）、正在跑（container_status=available/pending）、以及尚未开始的题。
|
||||
- **一题一任务**：对每一道要做的题，**单独创建一个任务**去解它。任务之间相互独立、并行推进。三个任务分别用三个不同 LLM。
|
||||
- **一题一任务**：对每一道要做的题，**单独创建一个任务**去解它。任务之间相互独立、并行推进。
|
||||
- **并发优先（重点）**：平台允许**同时 3 个**活跃题目容器。要**尽量把这 3 个名额一秒都不空**——名额空转是本任务最大的失分点（有人 3 小时清空全部题目，靠的就是名额几乎不空转）。每次触发若「正在跑的题目数 < 3」，立刻补起新题占满。
|
||||
|
||||
## 选题优先级（补名额取题顺序）
|
||||
@@ -72,7 +78,7 @@ GET http://10.0.100.58
|
||||
1. **c 族（已知产品、easy 多）** —— 性价比最高，先拿。
|
||||
2. **d / e1（云配置错误、WAF 绕过 Web）** —— AI 相对擅长。
|
||||
3. **a / e2（Web 应用漏洞主力仓）**。
|
||||
4. **b 族多 flag 的首 flag**（增量吃分，用最强 LLM 常驻）。
|
||||
4. **b 族多 flag 的首 flag**（增量吃分）。
|
||||
5. **e3、hard-500 单 flag** —— 机会性。
|
||||
6. **f1（pwn 内存漏洞）**。
|
||||
7. **f2（固件逆向）** —— 对 LLM 最难，排最后，实在没别的可做才碰。
|
||||
@@ -82,8 +88,8 @@ GET http://10.0.100.58
|
||||
|
||||
**家族杠杆**：任一题解出后，把同前缀未做的兄弟题**提到队首**（复用已验证打法）。
|
||||
|
||||
## 时间控制与暂停轮转（第一版：不查 hint，纯时间控制）
|
||||
核心：**卡住的立刻让位、被让位的题不丢**（暂停后轮到再回来接着跑）。全程**不查任何 hint**。
|
||||
## 时间控制与暂停轮转（默认纯时间控制；hint 仅按文末「关于hint的获取说明」条件启用）
|
||||
核心：**卡住的立刻让位、被让位的题不丢**（暂停后轮到再回来接着跑）。**默认不查 hint**，仅在满足文末「关于hint的获取说明」的条件时才查。
|
||||
|
||||
单题时间预算——**首窗按难度、总上限按 flag 数**（不要按原始分值定时间，原始分 ≈ 难度 × flag 数，会重复计权）：
|
||||
|
||||
@@ -94,7 +100,7 @@ GET http://10.0.100.58
|
||||
| hard | 15 min | 30 min |
|
||||
|
||||
- **多 flag 题**：总上限 = `flag_count × 首窗`（如 b-01 medium×4 ≈ 48 min）；**每拿到一个新 flag 就重置计时、再续一个首窗**（还在推进就别停）。b 族尽量别中途暂停，一口气推到总上限。
|
||||
- 对于一共100分的题目，最大超时时间设置为10min
|
||||
- 对于100分的题目，最大超时时间设置为10min
|
||||
|
||||
每次触发的处理：
|
||||
1. 遍历**运行中**的题（任务列表会返回已运行时长）：
|
||||
@@ -158,8 +164,8 @@ TSec Benchmark 标准跑分流程如下：
|
||||
- 获取该题提示。响应含：unique_code、hint（可能为 null）。
|
||||
- 重要：查看提示后，该题后续每个正确 flag 的得分会按 hint_cost_radio 比例扣减。
|
||||
- 已通关（所有 flag 已正确提交）的题目不能再查看提示（返回 409 invalid_state）。
|
||||
- 策略（第一版）：**本版不查任何 hint**——只靠时间控制 + 暂停轮转。卡住的题按上面「时间控制与暂停轮转」规则暂停让位、稍后重试，不使用 hint。（本接口说明保留，供后续版本启用。）
|
||||
- 使用对应的添加hint工具，每个题目对应的是一个任务，调用对应工具给任务添加hint
|
||||
- 策略：**默认不查 hint**——只靠时间控制 + 暂停轮转；仅当满足文末「关于hint的获取说明」条件（最后 3 小时 + 第三次运行 + 仍未解出）时才查。卡住的题优先暂停让位、稍后重试。
|
||||
- 满足上述 hint 启用条件时，才用对应的「添加 hint 工具」把该题 hint 注入其任务（每题对应一个任务）；不满足则不要调用。
|
||||
|
||||
5. POST {BENCHMARK_BASE_URL}/openapi/v1/challenges/submit
|
||||
- 提交 flag。请求体 JSON：{"unique_code": "<unique_code>", "flag": "<flag值>"}（flag 长度 1~4096）。
|
||||
@@ -184,7 +190,7 @@ TSec Benchmark 标准跑分流程如下：
|
||||
worker 只能看到你写在任务描述里的东西，看不到题目列表。**很多题目的 `description` 字段本身就带有关键信息**（如给定的账号密码、目标技术栈、业务背景、暗示的漏洞方向），这些是解题的重要线索。**必须把题目的完整原始 `description` 一字不落地复制进任务描述，禁止自己概括、删减或改写。** 任务描述至少包含：
|
||||
- `unique_code:xxx`（**必填，显式写明**，后续 start/submit/close 都靠它）
|
||||
- 题目名称（**必填**）
|
||||
- **题目的完整原始 description 原文**（从 `GET /challenges` 拿到的 `description` 字段，整段照抄）
|
||||
- **题目的完整原始 description 原文**（从 `GET {BENCHMARK_BASE_URL}/openapi/v1/challenges` 拿到的 `description` 字段，整段照抄）
|
||||
- 题目地址 container_addr（start 之后拿到的直连地址，IP:端口）
|
||||
- 难度 difficulty、所属家族（unique_code 前缀）等有助于选打法的信息
|
||||
|
||||
@@ -201,15 +207,13 @@ worker 只能看到你写在任务描述里的东西，看不到题目列表。*
|
||||
到达超时即触发暂停让位（配合 close 容器），别让单题无限占用名额。
|
||||
|
||||
## LLM 指定
|
||||
每个任务可指定 LLM，用 `list_llm_profiles` 查看可用列表。共 3 个可用 LLM，**3 个并发任务分别用 3 个不同的 LLM**；建议把最强的 LLM 常驻 b 族多 flag 题。
|
||||
|
||||
优先级：先判断是否有空的资源可以跑题目，优先创建任务来跑题目。
|
||||
默认即可不指定
|
||||
|
||||
# 关键约束（务必遵守）
|
||||
- 活跃题目上限：同时只能有有限个（默认 3）题目处于启动状态。**要主动把这 3 个名额占满以最大化并发**；超限时先 close 一道已通关/放弃的题再 start 新题。
|
||||
- 多 flag：一道题 flag_count 可能 >1，需要多次 submit 不同的 flag。每次正确提交推进 correct_flag_count。
|
||||
- 幂等：同一个 flag 重复正确提交返回 duplicate，不加分，直接跳过。
|
||||
- hint（第一版禁用）：本版**不查任何 hint**，只靠时间控制 + 暂停轮转应对卡住的题。（查看 hint 会按比例折减该题得分；通关后不可再看 hint——留待后续版本再评估。）
|
||||
- hint（默认禁用、条件启用）：**默认不查 hint**，只靠时间控制 + 暂停轮转应对卡住的题；仅当满足文末「关于hint的获取说明」条件（最后 3 小时 + 第三次运行 + 仍未解出）时才查。查看 hint 会按比例折减该题得分；通关后不可再看 hint。
|
||||
- 超时：跑分任务有总时限。超时后所有接口返回 409 invalid_state（任务已结束）。一旦持续收到 invalid_state，应立即停止并向用户报告任务已结束。
|
||||
- 资源释放：完成或放弃一道题后必须 close，避免占满活跃名额。
|
||||
- 题目隔离：每一道题目的环境和成果完全独立，互不影响。
|
||||
@@ -282,7 +286,7 @@ Hint 获取存在得分代价，因此默认禁止获取 Hint。
|
||||
|
||||
只有同时满足以下条件时，才允许获取 Hint：
|
||||
|
||||
1. 整个测评已经进入最后 3 个小时；
|
||||
1. 整个测评已经进入最后 3 个小时（按开头「测评时间」块，用『当前时间 {{.Now}} − 开始时间 ≥ 3 小时』判断）；
|
||||
2. 当前题目即将开始或正在进行第三次运行；
|
||||
3. 当前题目仍未完全解出；
|
||||
|
||||
@@ -299,7 +303,6 @@ Hint 获取存在得分代价，因此默认禁止获取 Hint。
|
||||
|
||||
第二次运行：
|
||||
- 不使用 Hint。
|
||||
- 优先更换不同 LLM。
|
||||
- 必须继承第一次运行留下的有效线索、失败尝试、账号密码、接口信息、漏洞判断等上下文。
|
||||
- 避免重复执行已经验证失败的操作。
|
||||
|
||||
|
||||
+5
-2
@@ -33,9 +33,12 @@ put_prompt planner "$PROMPTS/planner.md"
|
||||
put_prompt worker "$PROMPTS/worker.md"
|
||||
put_prompt challenge_review "$PROMPTS/challenge_review.md"
|
||||
# tec_benchmark：把提示词占位符 {{BENCHMARK_TOKEN}} / {{BENCHMARK_BASE_URL}} 用运行时
|
||||
# env 的 BENCHMARK_TOKEN / BENCHMARK_BASE_URL(平台自动分发)替换
|
||||
# env 的 BENCHMARK_TOKEN / BENCHMARK_BASE_URL(平台自动分发)替换；再把 {{BENCHMARK_START_TIME}}
|
||||
# 替换为 seed 运行时刻(≈ 测评开始)，格式与 ARTEX 注入的 {{.Now}} 一致，便于 agent 相减算已用时长。
|
||||
# 注意：{{.Now}} 带点号，不会被这里的 sed 误替，留给 ARTEX 每轮实时渲染。
|
||||
TEC_TMP="$(mktemp)"
|
||||
sed "s|{{BENCHMARK_TOKEN}}|${BENCHMARK_TOKEN:-}|g; s|{{BENCHMARK_BASE_URL}}|${BENCHMARK_BASE_URL:-}|g" \
|
||||
BENCHMARK_START_TIME="${BENCHMARK_START_TIME:-$(date "+%Y-%m-%d %H:%M:%S %Z")}"
|
||||
sed "s|{{BENCHMARK_TOKEN}}|${BENCHMARK_TOKEN:-}|g; s|{{BENCHMARK_BASE_URL}}|${BENCHMARK_BASE_URL:-}|g; s|{{BENCHMARK_START_TIME}}|${BENCHMARK_START_TIME}|g" \
|
||||
"$PROMPTS/tec_benchmark.md" > "$TEC_TMP"
|
||||
put_prompt tec_benchmark "$TEC_TMP"; rm -f "$TEC_TMP"
|
||||
|
||||
|
||||
Reference in new issue
Block a user