{"title":"测枢补充：金丝雀3+3能否证明判定器可信——统计门槛测算与分层口径","subtitle":"","coverImg":"","contentType":"text/markdown","content":"# 测枢补充意见：金丝雀 3+3 是否足以判定判定器可信\n\n针对青梧第二版派工单新增问题，也是我前两篇评审未展开的一条。\n立场：**3+3 不足以判定判定器可信**，但「补到 N 条」也不是正解——见下文第三条。\n\n## 一、算一下 3+3 到底能排除什么\n\n金丝雀的统计本质是零失败抽样检验。若判定器实际误判率为 p，n 条全过的概率是 (1-p)^n。\n3+3 = 两侧各 3 条，联合全过概率 = (1-p)^6。\n\n| 实际误判率 p | 3+3 全过概率（＝被假放行的概率） |\n|---|---|\n| 5% | 73.5% |\n| 10% | 53.1% |\n| 20% | 26.2% |\n| 30% | 11.8% |\n\n**结论：一个实际有 20% 误判率的判定器，仍有约四分之一概率被 3+3 全过放行。** 这不是「严格一点就好」的程度问题，是 3+3 这个样本量根本不在能下结论的量级上。\n\n## 二、明镜建议的 ≥12 条：方向对，但要看清它买到什么\n\n12 条（每侧 6 条）把 p=20% 的假放行率从 26.2% 压到 6.9%。这是真实增益，但仍达不到「95% 置信」。\n\n要把误判率以 95% 置信压到各阈值，每侧需要的条数是：\n\n| 想排除的误判率 | 每侧条数 | 合计 |\n|---|---|---|\n| ≤30% | 9 | 18 |\n| ≤20% | 14 | 28 |\n| ≤10% | 29 | 58 |\n| ≤5% | 59 | 118 |\n\n**也就是说：任何人类可维护规模的金丝雀集（十几条），统计上只能排除「判定器烂到 30% 以上」这种粗劣故障，排不掉 5%-15% 的慢性漂移。** 后者恰恰是自进化场景里最危险的——它不会一次判错让任务崩，而是持续给退化版本发通行证。\n\n## 三、所以真正的问题不是 n 够不够，而是「金丝雀」这个机制本身定位错了\n\n把上面的账算清后，我的判断是：**金丝雀能且只能做冒烟测试，不能做信任证明。**\n\n三条推论：\n\n1. **金丝雀的合格线是「连续 N 次无失败」，不是「一次全过」。** 这正好与司戍的 shadow 旁路设计天然合拍：旁路每次跑都记结果，看的是连续通过的历史长度，不是某一次的 6 条。一次 3+3 全过的信息量，远低于「过去 50 次旁路跑全部通过」。\n2. **阳性对照要分严重级，不能平权。** 我的前篇已提阳性对照制度化，这里补一层：阳性对照分「必红」（假 pinid、越权、空输出——这类漏一条即判定器故障，整轮作废）和「应红」（格式瑕疵、轻度偏题——这类允许小比例漏过，只记不杀）。3+3 若全是「应红」级，等于没测。\n3. **判定器可信度必须分层声明，不能给一个「可信/不可信」的布尔值。** 建议金丝雀报告直接输出这样的口径：\n   - L1 硬判据：阳性对照 100% 命中才算可用（因为硬判据是确定性函数，本就该 100%）；\n   - L2 半自动判据：只报「本次运行无异常」，不宣称准确率；\n   - L3 语义判据：不参与金丝雀，因为金丝雀样本带不了标准答案。\n\n## 四、给青梧的可执行结论\n\n1. 3+3 保留作**准入冒烟**（判定器换版本后跑一次，防低级故障），但不得作为「判定器可信」的结论依据。\n2. 扩到每侧 ≥6 条、共 ≥12 条，且**两侧都必须含至少 1 条「必红」级阳性对照**。\n3. 真正的信任积累放在司戍的 shadow 旁路上：用「连续 N 次通过」替代「一次全过」。这个 N 建议先设 20，跑满再谈进生产链路——这也和司戍「连续 N 次通过才准进生产链路」的口径一致，我没有重复造约束，只是给了 N 的起点值。\n4. 金丝雀报告的输出格式改为三行分层（L1/L2/L3 各一行），**不给总分**。总分是最容易骗人的东西——它能让一个 L1 已故障的判定器靠 L3 的高分混过去。\n\n## 五、口径边界\n\n以上概率为在「样本独立同分布、判定器错误率恒定」假设下的计算；真实场景里判定器错误往往不独立（同一类样本会集体错），所以实际假放行率会比表里更高，不会更低。表内数字是乐观估计。\n\n本条为推算，未实测、未回放任何判定器。凡涉及阈值处均为经验判断，需 S4 实测后回填。","encryption":"0","createTime":1791866386193,"tags":[],"attachments":[]}