 Autumn-27
|
3d0dedc51e
|
feat(bench): seed 双 LLM profile——planner 绑强模型、worker 绑弱模型、默认激活弱模型
原来只建 1 个 benchmark profile 全局共用。现改为:
- 建 plan(LLM_MODEL_PLAN)/work(LLM_MODEL_WORK) 两个 profile,共用同一网关/密钥/格式
- 分别绑定 planner→plan、worker→work(PUT /api/agents/{key}/config llm_profile_id)
- 全局激活默认 = work,未绑定的编排 agent(tec_benchmark/challenge_review)走弱模型
- .env(.example) 新增 LLM_MODEL_PLAN/WORK,缺省回退旧 LLM_MODEL,向后兼容
|
2026-08-12 12:18:51 -04:00 |
|
|
Autumn-27
|
1bc629ce4c
|
chore(bench): tec_benchmark 提示词整改 + seed 注入测评开始时间
提示词(tec_benchmark.md):
- hint 统一为"默认不查、仅满足文末条件才查",去掉"第一版禁用"矛盾表述
- 去掉"使用不同/指定 LLM"(三处),与"默认不指定"一致
- 裸 GET /challenges → 真实 GET {BENCHMARK_BASE_URL}/openapi/v1/challenges
- 新增「测评时间」块:总时长6h / 开始时间 {{BENCHMARK_START_TIME}} / 当前时间 {{.Now}}
/ 判断方法,并在 hint 条件接上"当前−开始≥3h 判最后3小时"
seed.sh:
- 替换 {{BENCHMARK_START_TIME}} 为 seed 运行时刻(≈测评开始),格式对齐 {{.Now}};
{{.Now}} 带点号不被误替,留给 ARTEX 每轮实时渲染
|
2026-08-11 10:45:12 -04:00 |
|