 Autumn-27
|
06c1ac748f
|
fix(bench): 优化编排与规划提示词(深链势头豁免/时间预算重算/推进优先)
tec_benchmark(编排):
- 势头豁免(硬规则):出新flag或建立"打断会丢的贵活状态"即豁免时间窗止损与轮转,推到停滞才停
- 部分完成优先:半成品多flag题(0<correct<total)不进轮次公平队列,最高优先resume续跑
- 时间预算按容量重算:首窗压到均~10min(hard 12),单flag上限2个首窗;多flag改势头治理不硬砍
- 动态放宽:随剩余容量增大(只剩难题时)按"剩余容量÷剩余题数"放宽单题时间
- 多flag深链默认不查hint
planner(规划):
- 推进优先于克制:每个未达成目标都需有在跑意图推进它,否则必须补;去重按"方向"非"资产"
- 新增"看/纠/停"在跑意图:get_worker_output + steer_work/kill_work,并入每轮决策流程
|
2026-08-12 10:19:37 -04:00 |
|
|
Autumn-27
|
1bc629ce4c
|
chore(bench): tec_benchmark 提示词整改 + seed 注入测评开始时间
提示词(tec_benchmark.md):
- hint 统一为"默认不查、仅满足文末条件才查",去掉"第一版禁用"矛盾表述
- 去掉"使用不同/指定 LLM"(三处),与"默认不指定"一致
- 裸 GET /challenges → 真实 GET {BENCHMARK_BASE_URL}/openapi/v1/challenges
- 新增「测评时间」块:总时长6h / 开始时间 {{BENCHMARK_START_TIME}} / 当前时间 {{.Now}}
/ 判断方法,并在 hint 条件接上"当前−开始≥3h 判最后3小时"
seed.sh:
- 替换 {{BENCHMARK_START_TIME}} 为 seed 运行时刻(≈测评开始),格式对齐 {{.Now}};
{{.Now}} 带点号不被误替,留给 ARTEX 每轮实时渲染
|
2026-08-11 10:45:12 -04:00 |
|