fix(货源): 主图重试换备用域名绕开被钉死的坏 CDN 节点

根因不是"瞬时抖动":m.media-amazon.com 的多 CDN 池里 Akamai 系边缘没配这个
虚拟主机名,带该 SNI 一律 RST(同 IP 不带 SNI 或用 images-na.ssl-images-amazon.com
则正常),而 JVM 正向 DNS 缓存会把坏节点钉住一整批 → 秒级重试三次全打在它身上。
实测最近 20 条失败 URL 走备用域名 20/20 成功且 md5 与原域名逐字节相同。
This commit is contained in:
2026-09-28 12:29:39 +08:00
parent 8f3b879d80
commit e5b79b71e1
5 changed files with 169 additions and 8 deletions
+35
View File
@@ -498,6 +498,41 @@ health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SE
现在的数据只够说明"秒级重试≈聊胜于无",**不够说明 (a) 有用**——
要做 (a) 得先按 ASIN 关联"同一 URL 第一次失败 → 后来成功"的时间差分布,这个还没测。
### 6.2 真根因:解析到的 CDN 边缘不认 `m.media-amazon.com` 这个 SNI,直接 RST(已修:备用域名)
12:08 回读时它**还在掉数据**(窗口总行数 7,029 自证,不是"翻到几条算几条"):
`main download fail` 109 条、`retry-success` 只有 3 条、`row failed asin=` 35 条、非 200 仍是 0 条,
失败 host **109/109 全是 `m.media-amazon.com`**。往下查了四层,结论是第五节开头那句"瞬时抖动"只对了一半。
- **第一层:按节点固定 IP 打(`curl --resolve`,每节点 5 次)** —— 失败不是均匀分布,是**整族失败**:
`184.27.207.231` 0/5、`184.27.207.245` 0/5(Akamai 系,全 `code=000`,0.2s 内被重置);
`3.161.83.53` 5/5、`65.8.31.143` 5/5、`99.84.157.65` 5/5、`18.245.30.82`/`18.64.1.220`/`54.192.34.54` 200(CloudFront 系)。
- **第二层:是不是节点本身死了 / 被墙了?都不是。** 同一个坏 IP 上:
带 SNI `m.media-amazon.com` → `openssl s_client` 3/3 `write:errno=104`;
**不带 SNI → 3/3 握手成功**(`TLSv1.3 / TLS_AES_256_GCM_SHA384`);
**换 SNI 为 `images-na.ssl-images-amazon.com` → 同一 IP 直接 200**。
TCP 443 两边都能连(`/dev/tcp` 都 yes)→ 复位发生在 ClientHello 之后 = **这台边缘没配这个虚拟主机名**,
不是封禁、不是限流、不是 TLS 版本/套件问题。
- **第三层:为什么会"整批一起挂"** —— 解析本身在抽奖:宿主机 24 次查询里 **15 次(62%)**给的是坏族、
容器内 12 次里 **4 次(33%)**;而 JVM 的正向 DNS 缓存会把抽到的节点钉住一段时间
(`java.security:347` 那行是注释态 → 无 SecurityManager 时按 JDK 默认 30 秒,**这个 30s 没实测**,
但"至少钉住一整批"是被数据证明的:同批 10 行在同一 200ms 内全挂、秒级重试 3/3 同败)。
→ §6.1 那 17% 就此得到机械解释:**250ms/500ms 的三次重试全打在同一个坏节点上**,
只有踩在换期边界上的 3 段被救回;把 backoff 抬到 30s 以上确实能行,但要占住并发只有 5 的行 worker,不划算。
- **改法(本次上线)**:连接级失败后的第 2、3 次尝试改用**备用域名** `images-na.ssl-images-amazon.com`,
首试仍用原 URL;只换 host,端口/path/query 逐字符保留。换名等于换一批解析结果,**不等待、不占 worker**。
- 为什么是这个名字:最近 20 条失败 URL 走它 **20/20 成功**,且与原域名取到的字节 **md5 零不一致(20 次比对)**;
反例 `images-amazon.com` **6/6 全 000** —— 所以这是**白名单映射**,不是"随便换个 amazon 域名"。
- 新键 `aiimage.similar-asin.llm-image-host-alias-map`(`application.yml:381`,
默认 `m.media-amazon.com=images-na.ssl-images-amazon.com`,多组用 `;` 分隔),
**置空即关掉这条**、退回 §6.1 那版行为;回滚同样是 `/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_HOST_ALIAS_MAP=""` 后重启 java。
- 日志可分辨:救回来的那条会长成 `main download retry-success url=https://images-na.ssl-images-amazon.com/...`。
- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例 → **10 例**(首试必须原域名+二次换域名且路径不变 /
映射置空完全退回 / 映射外域名(alicdn)不受影响 / 带端口与 query 的 URL 只换 host),原 6 例语义未改仍全绿。
- **发版后要看的数**:`row failed asin=` 的占比应从 ~14% 往下走;`retry-success` 里 host=images-na 的占比
就是这条的命中量。若失败仍高,说明坏的不止这一族或不止这一个名字,再按同一套逐节点方法复查,
不要直接加 retry 次数。
## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板)