新增「系统 → 通知推送」页,把扫描发现的漏洞推送到钉钉、飞书、企业微信、 通用 Webhook、Telegram、邮件。同一类型可配任意多个机器人实例,每个实例独立 设启停、限流与过滤规则(最低级别 / 任务资产范围 / 漏洞类型关键词 / 是否接收 处置状态变更)。推送时机分实时与汇总两种模式,「高危实时、其余汇总」建两个 渠道即可表达,策略不写死在代码里。带投递历史与失败重发。 三个关键设计: 1. 写漏洞的事务只做一次盲 INSERT。notification_events 由 RecordFindingTx 在同一事务内写入,保证「漏洞落库」与「推送任务存在」原子一致;这条 INSERT 刻意不读渠道表、不跑用户的过滤规则,否则一条配错的过滤条件就能污染甚至 中止事务,让高危漏洞存不进库。为把失败隔离在这一条语句上(PostgreSQL 中 事务内任一语句报错会让整个事务作废、连 COMMIT 都失败),它被 SAVEPOINT 包住,失败时只记日志。 2. 投递用租约领取而非长事务。FOR UPDATE SKIP LOCKED 领取后把行置为 sending、 把 next_attempt_at 推到未来作为租约,提交后再做网络投递,因此投递期间不 持有数据库锁;崩溃留下的 sending 行会被下一轮重新领取,自愈且不会无限重试。 3. 限流不消耗重试预算。先按渠道令牌桶算出本轮还能发几条,再按这个数量领取; 顺序反过来会让被限流挡下的投递白计一次尝试,三次预算被等待耗光后落入失败。 审计并修复的四个问题: - 推送凭据经错误信息外泄:http.Client.Do 返回的 *url.Error 会把完整 URL 打进 错误文本,而钉钉 access_token、企业微信 key、飞书 hook id、Telegram /bot<token>/ 都就在 URL 里。该串流入 last_error(明文落库)、投递历史接口 (绕过渠道掩码)、服务端日志与前端错误提示。现统一脱敏为 scheme://host + 底层原因,并拒绝跨主机重定向。 - 最低级别门槛打错字会让过滤器静默失效:未知级别序数为 0,判定退化成 rank >= 0 恒真,用户以为限制「仅高危」实际全推。现于写入路径校验取值。 - 汇总批次无上限:一次领取把全部待发行读进内存、消息被渠道长度上限截掉大半 且静默丢失。现单批上限 500 条,超出部分留库成为下一批。 - 邮件渠道把 SMTP 4xx(灰名单等临时失败)判成永久失败,导致这类最该重试的 场景从不重试。现按应答码首位区分 4xx/5xx。 测试:notify 包 82% 覆盖(含用自建最小 SMTP 服务器驱动的完整邮件协议会话、 两种签名算法对 OpenSSL 基准值的比对、UTF-8 边界截断、以及模板能力边界的 反射断言);db 与 server 侧共 29 个用例跑真实 PostgreSQL,其中端到端用例 真发 HTTP 到假接收端并断言消息内容与投递状态。 Co-Authored-By: Claude Code <[email protected]>
237 lines
9.1 KiB
Go
237 lines
9.1 KiB
Go
package notify
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
"fmt"
|
||
"io"
|
||
"net/http"
|
||
"net/http/httptest"
|
||
"net/url"
|
||
"strings"
|
||
"testing"
|
||
)
|
||
|
||
// 本文件是不变量测试:**任何**从渠道实现里冒出来的错误文本都不得携带凭据。
|
||
//
|
||
// 为什么单独拉一个文件:最初的渠道用例只覆盖了成功路径与平台业务错误,
|
||
// 完全没看传输层失败。而恰恰是传输层错误(连接被拒/DNS 失败/超时)最危险——
|
||
// http.Client.Do 返回的 *url.Error 会把**完整 URL** 打进错误文本,而本功能
|
||
// 这几家的凭据就在 URL 里。凭据顺着这条串流到了四个出口:
|
||
//
|
||
// notification_deliveries.last_error → 明文落库
|
||
// GET /api/notify/deliveries 响应 → 绕过渠道配置的掩码,回显给浏览器
|
||
// 服务端日志 → 常被外发留存
|
||
// 测试发送接口的 502 响应 → 直接弹在前端
|
||
//
|
||
// 所以这里不只测一个函数,而是逐个渠道真发一次必然失败的请求,断言错误文本
|
||
// 里找不到那个凭据。
|
||
|
||
// credentialCases 覆盖所有「凭据在 URL 里」的渠道形态:
|
||
// 钉钉/企微在 query,飞书在路径末段,Telegram 在路径中段。
|
||
var credentialCases = []struct {
|
||
name string
|
||
ch Channel
|
||
cfg map[string]any
|
||
secret string
|
||
}{
|
||
{
|
||
name: "钉钉 access_token 在 query",
|
||
ch: dingTalkChannel{},
|
||
cfg: map[string]any{"webhook": "http://127.0.0.1:1/robot/send?access_token=" + leakProbeToken},
|
||
secret: leakProbeToken,
|
||
},
|
||
{
|
||
name: "企业微信 key 在 query",
|
||
ch: weComChannel{},
|
||
cfg: map[string]any{"webhook": "http://127.0.0.1:1/cgi-bin/webhook/send?key=" + leakProbeToken},
|
||
secret: leakProbeToken,
|
||
},
|
||
{
|
||
name: "飞书 hook id 在路径末段",
|
||
ch: feishuChannel{},
|
||
cfg: map[string]any{"webhook": "http://127.0.0.1:1/open-apis/bot/v2/hook/" + leakProbeToken},
|
||
secret: leakProbeToken,
|
||
},
|
||
{
|
||
name: "Telegram bot token 在路径中段",
|
||
ch: telegramChannel{},
|
||
cfg: map[string]any{"bot_token": leakProbeToken, "chat_id": "1", "base_url": "http://127.0.0.1:1"},
|
||
secret: leakProbeToken,
|
||
},
|
||
{
|
||
name: "钉钉加签密钥",
|
||
ch: dingTalkChannel{},
|
||
cfg: map[string]any{"webhook": "http://127.0.0.1:1/robot/send", "secret": leakProbeToken},
|
||
secret: leakProbeToken,
|
||
},
|
||
}
|
||
|
||
// leakProbeToken 是一个绝不可能是真实凭据的哨兵值,用于在错误文本里搜它。
|
||
const leakProbeToken = "LEAKPROBE0123456789abcdef"
|
||
|
||
// TestChannelErrorsNeverLeakCredentials 是核心不变量。
|
||
func TestChannelErrorsNeverLeakCredentials(t *testing.T) {
|
||
for _, tc := range credentialCases {
|
||
t.Run(tc.name, func(t *testing.T) {
|
||
// 必然失败的对端:127.0.0.1:1 无人监听,走的是连接被拒这条路径。
|
||
err := tc.ch.Send(context.Background(), tc.cfg, Message{
|
||
Items: []Item{{FindingID: 1, Severity: "high", Name: "泄露探针"}},
|
||
})
|
||
if err == nil {
|
||
t.Fatal("对不可达地址应报错")
|
||
}
|
||
assertNoSecret(t, err.Error(), tc.secret)
|
||
})
|
||
}
|
||
}
|
||
|
||
// TestChannelErrorsNeverLeakCredentialsInPermanentPath 覆盖永久失败分支:
|
||
// URL 校验失败、平台业务错误等也会把错误文本外传,同样不能带凭据。
|
||
func TestChannelErrorsNeverLeakCredentialsInPermanentPath(t *testing.T) {
|
||
cases := []struct {
|
||
name string
|
||
ch Channel
|
||
cfg map[string]any
|
||
}{
|
||
// 地址里带凭据但格式非法 → 触发 validateHTTPURL / url.Parse 分支。
|
||
{"钉钉地址非法", dingTalkChannel{}, map[string]any{"webhook": "file:///" + leakProbeToken}},
|
||
{"企微地址非法", weComChannel{}, map[string]any{"webhook": "gopher://" + leakProbeToken}},
|
||
{"飞书地址非法", feishuChannel{}, map[string]any{"webhook": "ftp://" + leakProbeToken + "/hook"}},
|
||
{"Telegram API 地址非法", telegramChannel{}, map[string]any{"bot_token": "tok", "chat_id": "1", "base_url": "file://" + leakProbeToken}},
|
||
{"通用 Webhook 地址非法", webhookChannel{}, map[string]any{"url": "javascript:" + leakProbeToken}},
|
||
}
|
||
for _, tc := range cases {
|
||
t.Run(tc.name, func(t *testing.T) {
|
||
err := tc.ch.Send(context.Background(), tc.cfg, Message{Items: []Item{{Severity: "high"}}})
|
||
if err == nil {
|
||
t.Fatal("非法配置应报错")
|
||
}
|
||
assertNoSecret(t, err.Error(), leakProbeToken)
|
||
})
|
||
}
|
||
}
|
||
|
||
func assertNoSecret(t *testing.T, text, secret string) {
|
||
t.Helper()
|
||
if strings.Contains(text, secret) {
|
||
t.Fatalf("错误文本泄露了凭据 %q:\n %s", secret, text)
|
||
}
|
||
}
|
||
|
||
func TestRedactRequestTargetKeepsOnlySchemeAndHost(t *testing.T) {
|
||
cases := map[string]string{
|
||
"https://oapi.dingtalk.com/robot/send?access_token=S1": "https://oapi.dingtalk.com/…",
|
||
"https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=S2": "https://qyapi.weixin.qq.com/…",
|
||
"https://open.feishu.cn/open-apis/bot/v2/hook/S3": "https://open.feishu.cn/…",
|
||
"https://api.telegram.org/botS4/sendMessage": "https://api.telegram.org/…",
|
||
"http://10.0.0.5:8080/hook": "http://10.0.0.5:8080/…",
|
||
}
|
||
for in, want := range cases {
|
||
got := redactRequestTarget(in)
|
||
if got != want {
|
||
t.Errorf("redactRequestTarget(%q) = %q,期望 %q", in, got, want)
|
||
}
|
||
// 脱敏结果本身不得再含有原地址的任何路径/查询片段。
|
||
if parts := strings.SplitN(in, "://", 2); len(parts) == 2 {
|
||
if hostAndRest := strings.SplitN(parts[1], "/", 2); len(hostAndRest) == 2 && hostAndRest[1] != "" {
|
||
if strings.Contains(got, hostAndRest[1]) {
|
||
t.Errorf("脱敏后仍含路径/查询片段 %q: %q", hostAndRest[1], got)
|
||
}
|
||
}
|
||
}
|
||
}
|
||
// 不可解析的输入绝不回显原串。
|
||
for _, bad := range []string{"", "://", "not a url", "http://"} {
|
||
if got := redactRequestTarget(bad); strings.Contains(got, bad) && bad != "" {
|
||
t.Errorf("不可解析输入 %q 被回显为 %q", bad, got)
|
||
}
|
||
}
|
||
}
|
||
|
||
// TestRedactTransportErrorStripsURL 直接盯住 *url.Error 这个具体类型:
|
||
// 它是 http.Client.Do 的返回类型,也是泄露的第一现场。
|
||
func TestRedactTransportErrorStripsURL(t *testing.T) {
|
||
inner := errors.New("dial tcp 127.0.0.1:1: connect: connection refused")
|
||
uerr := &url.Error{
|
||
Op: "Post",
|
||
URL: "https://api.telegram.org/bot" + leakProbeToken + "/sendMessage",
|
||
Err: inner,
|
||
}
|
||
got := redactTransportError(uerr)
|
||
assertNoSecret(t, got, leakProbeToken)
|
||
if !strings.Contains(got, "api.telegram.org") {
|
||
t.Errorf("应保留 host 以便排查,得到 %q", got)
|
||
}
|
||
if !strings.Contains(got, "connection refused") {
|
||
t.Errorf("应保留底层原因以便排查,得到 %q", got)
|
||
}
|
||
// Op 也要保留(POST 还是 GET 对排查有意义)。
|
||
if !strings.Contains(got, "Post") {
|
||
t.Errorf("应保留操作名,得到 %q", got)
|
||
}
|
||
}
|
||
|
||
// TestRedactURLsInTextHandlesFallback 兜底路径:非 *url.Error 的自定义错误
|
||
// (如重定向策略返回的错误)里的地址同样要被摘掉。
|
||
func TestRedactURLsInTextHandlesFallback(t *testing.T) {
|
||
in := fmt.Sprintf("拒绝跨主机重定向(a.example → http://b.example/bot%s/send)", leakProbeToken)
|
||
got := redactURLsInText(in)
|
||
assertNoSecret(t, got, leakProbeToken)
|
||
if !strings.Contains(got, "http://b.example/…") {
|
||
t.Errorf("应把地址替换为脱敏形态,得到 %q", got)
|
||
}
|
||
// 不含地址的文本原样保留。
|
||
if plain := "dial tcp: connection refused"; redactURLsInText(plain) != plain {
|
||
t.Error("不含地址的文本不应被改动")
|
||
}
|
||
}
|
||
|
||
// TestCrossHostRedirectRefused 覆盖「凭据在 URL 里 + 跟随跨主机跳转 = 交出凭据」。
|
||
// httptest 的两个服务监听在 127.0.0.1 的不同端口,端口不同即 Host 不同,
|
||
// 正好构成跨主机跳转。
|
||
func TestCrossHostRedirectRefused(t *testing.T) {
|
||
var hit bool
|
||
target := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, _ *http.Request) {
|
||
hit = true
|
||
_, _ = io.WriteString(w, `{"errcode":0,"errmsg":"ok"}`)
|
||
}))
|
||
defer target.Close()
|
||
|
||
redirector := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||
http.Redirect(w, r, target.URL+"/robot/send?access_token="+leakProbeToken, http.StatusTemporaryRedirect)
|
||
}))
|
||
defer redirector.Close()
|
||
|
||
err := (dingTalkChannel{}).Send(context.Background(),
|
||
map[string]any{"webhook": redirector.URL + "/robot/send?access_token=" + leakProbeToken},
|
||
Message{Items: []Item{{Severity: "high"}}})
|
||
if err == nil {
|
||
t.Fatal("跨主机重定向应被拒绝")
|
||
}
|
||
if hit {
|
||
t.Fatal("跳转目标被访问了——凭据已随重定向外泄")
|
||
}
|
||
assertNoSecret(t, err.Error(), leakProbeToken)
|
||
}
|
||
|
||
// TestSameHostRedirectAllowed 反向用例:同主机跳转(如末尾补斜杠)必须仍然可用,
|
||
// 否则会把正常工作流一起挡掉。
|
||
func TestSameHostRedirectAllowed(t *testing.T) {
|
||
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||
if r.URL.Path == "/robot/send" {
|
||
// 同主机、同端口的跳转。
|
||
http.Redirect(w, r, "/robot/send/", http.StatusTemporaryRedirect)
|
||
return
|
||
}
|
||
_, _ = io.WriteString(w, `{"errcode":0,"errmsg":"ok"}`)
|
||
}))
|
||
defer srv.Close()
|
||
|
||
if err := (dingTalkChannel{}).Send(context.Background(),
|
||
map[string]any{"webhook": srv.URL + "/robot/send"},
|
||
Message{Items: []Item{{Severity: "high"}}}); err != nil {
|
||
t.Fatalf("同主机重定向不应被拒绝: %v", err)
|
||
}
|
||
}
|