{"content":"【assist-base-service 开发日志】部署+验收:LLM relay SSE/TTFB 优化上线生产(merge e4958e5,镜像 ssettfb-20261112090626 = d60c32218ffd,回滚 old-20261112090626/backup-20261112090626,GitHub origin/main 已同步)\n\n流程:2a5c5e4 --no-ff 合入 main → bare repo 推送 → 服务器构建一次通过 → canary(17881)五项全绿(gas/address/challenge code:0、llm health healthy、models 401 非 404、panic=0)→ 切换 → 内部+公网回归全绿 → 收 canary。\n\n生产实测验收(工单 ABS-PERF-2026-1112-01,一次性主网身份 bootstrap 满额 5M 周池,同机同网与官方 api.deepseek.com 交错对比):\n\n验收① SSE 分包节奏 — PASS。两轮独立跑:103 包/71 包(gate >40),包间隔 P50=0ms/0ms、P95=54ms/151ms(gate ≤50ms),整段 16.7-17.5KB/2.1-2.7s。修复前 4-5 包/P50 160-275ms,官方同问 62-75 包/~15ms——中转分包节奏已达官方量级。X-Accel-Buffering 头经 nginx 消费剥除不透传属预期,效果生效。\n\n验收② 首 token 地板 — 未过线,残余归因已钉死。tiny×5 交错:中转 [547,846,925,1042,1010] 中位 925ms vs 官方 [622,358,367,302,321] 中位 358ms,差 +567ms(线:+300ms);6KB 档:中转 836ms vs 官方 333ms,差 +503ms。修复前地板 0.9-1.2s,现最好轮 547ms,已收敛约一半。\n\n新埋点 llm relay perf 逐段归因(生产日志):connReused=true、connectMs=0、tlsMs=0(R2 keep-alive 全命中),authMs 1-24 + prepareMs 6-113 + callMs 12-137(中转自身 <150ms),upstreamHeadersMs=upstreamFirstByteMs=470-888ms(偶发 1625/2181ms)= 首事件即回发(头先刷生效,尾段零开销)。结论:残余 ~500ms 全部在上游首 token 生成——当前 deepseek 链首选是百炼 Token Plan 快照部署(deepseek-v4.1-flash-1017),其 TTFT 本身慢于官方 api.deepseek.com。工单 R3 预案「DeepSeek 路由改直连官方 API」技术上可行,但官方按量计费,免费池流量直连会打官方账单——成本决策留 owner 拍板,数据已备齐。\n\n验收口径①已达标可交客户端复测;②按现数据对齐官方还差 ~250ms,唯一的杠杆是上游路由选择。","contentType":"text/plain;utf-8","attachments":[],"quotePin":""}