Autumn-27
0c653a2135
默认关闭。开启后「未指定模型」的 agent 在当前配置不可用(402 余额不足 /
401 key 失效 / 429 限流 / 5xx)时自动切到下一个配置;agent 绑定或任务 pin
了配置的默认不轮询(绑定即独占,可由 llm_pool_bind_fallback 打开兜底)。
链序 = 激活配置 + 其余按 priority DESC,排除 pool_exclude 的。只给
llm_profiles 加两列,不引入关联表,所以 agents/tasks/conversations 对
llm_profile_id 的四处引用一行未改。
核心约束:只在本次调用尚未 yield 出任何事件时切换成员。已经吐出
text_delta / tool_use_start 后中途断流一律原样上抛(交给 agentcore 的
resume),否则重发同一 request 会重复输出、污染会话历史。SDK 的 doStream
保证 4xx/5xx 在读 body 前返回,所以目标场景都落在这个安全窗口内。
context.Canceled / DeadlineExceeded 绝不触发切换——那是用户取消或任务
超时,误判会白烧备用 key 并污染 a6bd180 的终止原因诊断。400 也不切
(请求本身有问题,换模型结果一样)。
熔断:402/401/403/404 一次即熔断,429/5xx/网络错误连续 3 次;冷却
60s→5min→30min 退避,到期半开试探,成功清零。Registry 是进程级的,独立
于 provider 缓存,重建链路不丢状态,且全进程共享(A 任务撞见的 402,B 任务
立刻知道)。状态旁路落库,重启只恢复尚未到期的冷却窗口。
上下文窗口装不下当前请求的成员直接跳过(必然 400),不把主力模型的窗口
压到全链最小值。全员熔断时仍探链首,不让引擎停摆。
Pool 包在 llmrec 外面、每个成员自带 recorder,失败调用会以 status=error
+ 正确的 profile 名进 llm_records;切换/熔断走 log.Printf,自动出现在
系统日志页。
顺带修两个既有问题:
- DecomposeGoals 原本自己 NewProvider(),绕过限速器/录制/轮询,且每个
任务新建一个实例——改为由 server 传入共享 provider
- saveLLMConfig 会把 priority/pool_exclude 重置为零值
前端:LLM 页新增轮询卡片(总开关/兜底开关/实际链路顺序/健康徽章/冷却
倒计时/立即恢复),配置编辑区加优先级与「不参与轮询」。
只有一个配置时链长度为 1,poolChain 返回 nil 走裸 provider,行为与开关
打开前完全一致。设计见 docs/LLM轮询设计.md。
58 lines
2.2 KiB
Go
58 lines
2.2 KiB
Go
package db
|
|
|
|
import "time"
|
|
|
|
// LLM failover health: one row per profile tracking its circuit-breaker state.
|
|
// The authoritative copy lives in memory (llmpool.Registry); this table only
|
|
// survives a restart so a cooling-off window isn't silently reset by one.
|
|
|
|
// LLMHealth is one profile's circuit-breaker state.
|
|
type LLMHealth struct {
|
|
ProfileID int64 `json:"profile_id"`
|
|
Fails int `json:"fails"` // consecutive failures; cleared on success
|
|
Trips int `json:"trips"` // total trips, drives the backoff ladder
|
|
OpenUntil *time.Time `json:"open_until"` // nil/past = closed (healthy)
|
|
LastError string `json:"last_error"`
|
|
LastAt time.Time `json:"last_at"`
|
|
}
|
|
|
|
// LoadLLMHealth returns the profiles still in an UNEXPIRED cooling-off window.
|
|
// Expired rows are deliberately skipped: after a restart a profile that has
|
|
// finished cooling should be treated as healthy again and re-probed on its next
|
|
// call, not resurrected as broken.
|
|
func (d *DB) LoadLLMHealth() ([]LLMHealth, error) {
|
|
rows, err := d.Query(`SELECT profile_id,fails,trips,open_until,COALESCE(last_error,''),last_at
|
|
FROM llm_profile_health WHERE open_until IS NOT NULL AND open_until > now()`)
|
|
if err != nil {
|
|
return nil, err
|
|
}
|
|
defer rows.Close()
|
|
var out []LLMHealth
|
|
for rows.Next() {
|
|
var h LLMHealth
|
|
if err := rows.Scan(&h.ProfileID, &h.Fails, &h.Trips, &h.OpenUntil, &h.LastError, &h.LastAt); err != nil {
|
|
return nil, err
|
|
}
|
|
out = append(out, h)
|
|
}
|
|
return out, rows.Err()
|
|
}
|
|
|
|
// SaveLLMHealth upserts one profile's circuit-breaker state.
|
|
func (d *DB) SaveLLMHealth(h LLMHealth) error {
|
|
_, err := d.Exec(`
|
|
INSERT INTO llm_profile_health(profile_id,fails,trips,open_until,last_error,last_at)
|
|
VALUES ($1,$2,$3,$4,$5,now())
|
|
ON CONFLICT (profile_id) DO UPDATE SET
|
|
fails=EXCLUDED.fails, trips=EXCLUDED.trips, open_until=EXCLUDED.open_until,
|
|
last_error=EXCLUDED.last_error, last_at=now()`,
|
|
h.ProfileID, h.Fails, h.Trips, h.OpenUntil, h.LastError)
|
|
return err
|
|
}
|
|
|
|
// ClearLLMHealth drops one profile's state (manual "recover now" from the UI).
|
|
func (d *DB) ClearLLMHealth(profileID int64) error {
|
|
_, err := d.Exec(`DELETE FROM llm_profile_health WHERE profile_id=$1`, profileID)
|
|
return err
|
|
}
|