From 0729e1587551e19a5bc2d7ffb28d2d509cad0098 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Mon, 28 Sep 2026 10:44:27 +0800 Subject: [PATCH] =?UTF-8?q?docs(=E8=BF=90=E7=BB=B4):=20=E8=AE=A4=E9=A2=86?= =?UTF-8?q?=E9=82=A3=E6=9D=A1=2026ms=20=E5=85=AC=E7=BD=91=E4=BE=9D?= =?UTF-8?q?=E8=B5=96=3D1688=20=E5=95=86=E5=93=81=E5=9B=BE=20CDN=EF=BC=8C?= =?UTF-8?q?=E5=BD=92=E4=B8=BA=E4=B8=8D=E5=8F=AF=E6=94=B9=E9=80=A0=E9=A1=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 前一版只写到"认不出属于哪个业务调用"。现在用"在 A 本机解析外部 CDN 域名"补齐了: 47.115.192.140 是 cbu01.alicdn.com 的 8 条 A 记录之一(工作站解析拿不到这批节点, 所以按 IP 反查会漏,也因此解释了它时有时无)。代码侧四处注释互证为货源图片下载链路。 结论是外部 CDN、没有切内网的选项,抬并发只会抢 5-8Mbps 公网出口,归入"不动"。 顺带纠正自己上一版把 0.405ms 当成其中一条连接 rtt 的取数错误。 --- docs/ops/prod-decisions-2026-09-28.md | 24 ++++++++++++++++++------ 1 file changed, 18 insertions(+), 6 deletions(-) diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md index 9a511c10d..aa8aeb29e 100644 --- a/docs/ops/prod-decisions-2026-09-28.md +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -356,7 +356,7 @@ A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻): | `192.168.0.171:9000` | 主 MinIO(内网,今晚新走的路) | 0.334–0.823 ms | 37MB 上传中 `retrans:0/31`、重传字节 41,632/**37,662,303 ≈ 0.11%** | | `192.168.0.170:9000` | 设备日志 MinIO | 0.28 ms | 累计收 536MB / 发 156MB,`busy 77s`,无重传 | | `192.168.0.170:9876 / 10911` | namesrv / broker | 0.20–0.63 ms | 今晚切私网后新增 | -| `47.115.192.140:443` | 某个外部 HTTPS 依赖 | **26.1–27.3 ms** | 全场唯一的高 RTT,跨region 出公网 | +| `47.115.192.140:443` | **已认领:`cbu01.alicdn.com`(1688 商品图 CDN)** | **26.1–27.3 ms** | 全场唯一的高 RTT,杭州机 → 阿里深圳 CDN 节点 | 三条结论: @@ -367,11 +367,23 @@ A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻): 看着像 1632 次重传。原始行是 `bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23`, 即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 `TcpRetransSegs` 在 10 秒窗口里**一次都没涨**。 以后从 `ss -ti` 取重传,要么取 `retrans:` 那个字段,要么先把整行贴出来再判。 -3. 唯一值得记的是那个 **26 ms 的公网依赖**:`ss -tni` 里 A 的 java 到 `47.115.192.140:443` 同时有 **4 条 established** - (rtt 0.405 / 26.104 / 26.303 / 27.314 ms,只有一条是刚握完手),是整张表里唯一跳出亚毫秒的。 - 但在近 30 分钟的 java 日志里 grep 这个 IP 是 **0 条**,**所以本次没认出它属于哪个业务调用, - 不下"它就是 LLM 代理"的结论**。下次查外部调用慢时从这条线认领(把 `printenv` 里逐个 URL 值对上去, - 或用 `ss -tnp` 看属主进程再回到代码)。 +3. **那个 26 ms 的公网依赖已在 10:5x 认领:`cbu01.alicdn.com`(1688 商品图 CDN),货源链路**。 + 过程与证据(前一版写"认不出属于哪个业务调用",现在补上): + - 先按 IP 找:在 A 上逐个解析 java 配置里能抽到的外部主机,**没命中**;再换成"在 A 本机解析外部 CDN 域名" + (关键区别:CDN 按就近返回,我工作站上解析 `cbu01.alicdn.com` 拿到的不是这批 IP), + A 的解析结果是 `47.115.192.140 / 47.115.192.141 / 8.141.190.160 / 8.147.229.178 / 8.160.215.133 …` 共 **8 条 A 记录** + —— 目标 IP 是其中第一条。**这同时解释了它为什么时有时无**:我 10:5x 复查时 netns 里 established 共 20 条、 + 命中这个 IP **0 条**,因为客户端换了一批连接池里的另一个节点。 + - 代码侧对得上:`SimilarAsinImageEmbedder.java:80`、`SimilarAsinLlmService.java:549`、`PuzzleImageMerger.java:218`、 + `SimilarAsinProperties.java:52` 四处注释都在说 `cbu01.alicdn.com` 是**慢源**("带外站 Referer 稳定 403、 + 无 Referer 直接 200"、"会一直挂 8s 才进入 retry")→ 就是货源图片下载/内嵌那条路。 + - 日志侧对不上是正常的:`grep -c alicdn` 近 20 分钟 java 日志 **0 条**(日志里不打完整图片 URL,只打 jobId/行数), + 这条**不能当反证**;同一窗口 `media-amazon` 有 39 条,说明图片下载确实在跑。 + - **结论:这不是我们能改造的东西** —— 它是外部 CDN,不存在"切内网"的选项,26 ms 是杭州→深圳节点的物理距离。 + 真要提速只有两档:图片已在库里的别重下(缓存命中),或把下载并发从 `image-download-pool-size=8` 往上抬 + ——但**公网出口只有 5–8 Mbps,抬并发只会互相抢带宽**,所以这条归入"不动"。 + - 顺带纠正我自己前一版的取数:那组 rtt 写成 `0.405 / 26.104 / 26.303 / 27.314`,其中 `0.405` 与同 IP 的其它三条 + 差 60 倍,更像是 `ss -tni` 多行记录被我按行抓串了位,**不要拿它当"有一条快连接"的依据**。 ## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配