From e5b79b71e10acaff41355f50fcd536b3f1fb19df Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com>
Date: Mon, 28 Sep 2026 12:29:39 +0800
Subject: [PATCH] =?UTF-8?q?fix(=E8=B4=A7=E6=BA=90):=20=E4=B8=BB=E5=9B=BE?=
=?UTF-8?q?=E9=87=8D=E8=AF=95=E6=8D=A2=E5=A4=87=E7=94=A8=E5=9F=9F=E5=90=8D?=
=?UTF-8?q?=E7=BB=95=E5=BC=80=E8=A2=AB=E9=92=89=E6=AD=BB=E7=9A=84=E5=9D=8F?=
=?UTF-8?q?=20CDN=20=E8=8A=82=E7=82=B9?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
根因不是"瞬时抖动":m.media-amazon.com 的多 CDN 池里 Akamai 系边缘没配这个
虚拟主机名,带该 SNI 一律 RST(同 IP 不带 SNI 或用 images-na.ssl-images-amazon.com
则正常),而 JVM 正向 DNS 缓存会把坏节点钉住一整批 → 秒级重试三次全打在它身上。
实测最近 20 条失败 URL 走备用域名 20/20 成功且 md5 与原域名逐字节相同。
---
.../aiimage/config/SimilarAsinProperties.java | 18 ++++-
.../service/SimilarAsinLlmService.java | 58 +++++++++++++++--
.../src/main/resources/application.yml | 1 +
...SimilarAsinMainImageDownloadRetryTest.java | 65 +++++++++++++++++++
docs/ops/prod-decisions-2026-09-28.md | 35 ++++++++++
5 files changed, 169 insertions(+), 8 deletions(-)
diff --git a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java
index 29d671f94..9760932f8 100644
--- a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java
+++ b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java
@@ -192,10 +192,22 @@ public class SimilarAsinProperties {
* 依据 2026-09-28 生产取证:主机A 近 3 小时 252 条主图下载失败全部是
* {@code m.media-amazon.com} 的 "Remote host terminated the handshake"(瞬时握手被 RST,
* 事后 curl 8 条里 7 条直接 200),而旧实现一次都不重试、真实异常还被丢掉。
- * 发版后实测(同文档 §6.1):恢复窗口是分钟级,当前秒级 backoff 只救回 3/18=17% 段抖动,
- * 行失败率 14.0% vs 旧代码 14.6% 基本没动 —— 确定收益是行失败日志自带真实原因、
- * 以及非 200 与连接级失败被分开计数。抬到秒级以上前先测恢复窗口分布(会占住并发仅 5 的行 worker)。
+ * 发版后实测(同文档 §6.1):秒级 backoff 只救回 3/18=17%,行失败率 14.0% vs 旧代码 14.6% 基本没动,
+ * 确定收益是行失败日志自带真实原因、以及非 200 与连接级失败被分开计数。
+ * 原因见下一条 §6.2:三次重试打在同一个被钉住的坏 CDN 节点上,所以等再久也不如换域名。
* 设 0 可退回旧行为。
*/
private int llmImageDownloadRetryTimes = 2;
+
+ /**
+ * 主图下载的备用域名映射,格式 {@code from=to},多组用 {@code ;} 分隔;置空即完全关闭。
+ * 仅在连接级失败后的重试里生效(首试仍用原 URL)。
+ * 依据 2026-09-28 主机A 取证:{@code m.media-amazon.com} 由多 CDN 池解析,
+ * 其中 Akamai 系(184.27.207.231/245)与 Fastly(199.232.113.16)对
+ * SNI=m.media-amazon.com 一律 RST(同一 IP 不带 SNI 则 TLSv1.3 握手成功),
+ * 而 JVM 正向 DNS 缓存会把选中的节点钉住一段时间(JDK 默认 30 秒,此处未实测)→ 整批 10 行一起挂,
+ * 这正是上一条秒级 backoff 只救回 17% 的原因(三次都打在同一个坏节点上)。
+ * 实测最近 20 条失败 URL 换 {@code images-na.ssl-images-amazon.com}:20/20 成功且 md5 逐字节相同。
+ */
+ private String llmImageHostAliasMap = "m.media-amazon.com=images-na.ssl-images-amazon.com";
}
diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java
index 319761209..c5099a96e 100644
--- a/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java
+++ b/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java
@@ -549,7 +549,8 @@ public class SimilarAsinLlmService {
}
/**
- * 主图下载:连接级异常按 {@code aiimage.similar-asin.llm-image-download-retry-times} 重试(默认额外 2 次)。
+ * 主图下载:连接级异常按 {@code aiimage.similar-asin.llm-image-download-retry-times} 重试(默认额外 2 次),
+ * 且第 2 次起换到 {@code aiimage.similar-asin.llm-image-host-alias-map} 里的备用域名。
* 只重试连接级失败——非 200 是源站的确定答复,重试只是白等超时。
* 总耗时受 {@link #MAIN_DOWNLOAD_BUDGET_MILLIS} 约束:慢源 hang 住时不放大尾延迟
* (同模块的 alicdn 拼图已被这条咬过,见 SimilarAsinProperties#imageDownloadTimeoutSeconds 注释)。
@@ -564,12 +565,15 @@ public class SimilarAsinLlmService {
long deadline = System.currentTimeMillis() + MAIN_DOWNLOAD_BUDGET_MILLIS;
IOException last = null;
for (int attempt = 0; attempt <= retryTimes; attempt++) {
+ // 首试保持原域名;连接级失败后换备用域名 —— 坏的是解析到的那个 CDN 节点,
+ // 同一个名字重试三次还是它,换个名字才等于换一批节点。
+ String target = attempt == 0 ? trimmed : defaultToAlias(aliasedUrl(trimmed), trimmed);
if (attempt > 0 && (System.currentTimeMillis() > deadline || !sleepBeforeRetry(attempt))) {
break;
}
try {
HttpRequest request = HttpRequest.newBuilder()
- .uri(URI.create(trimmed))
+ .uri(URI.create(target))
.timeout(Duration.ofSeconds(timeoutSeconds))
.header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)")
// 刻意不发 Referer:阿里图床按 Referer 白名单防盗链,外链域名会被判 403
@@ -580,11 +584,11 @@ public class SimilarAsinLlmService {
if (response.statusCode() == 200 && response.body() != null && response.body().length > 0) {
if (attempt > 0) {
log.info("[similar-asin][llm] main download retry-success url={} attempt={}/{}",
- abbreviate(trimmed, 160), attempt + 1, retryTimes + 1);
+ abbreviate(target, 160), attempt + 1, retryTimes + 1);
}
return response.body();
}
- log.warn("[similar-asin][llm] main download http {} url={}", response.statusCode(), abbreviate(trimmed, 160));
+ log.warn("[similar-asin][llm] main download http {} url={}", response.statusCode(), abbreviate(target, 160));
return null;
} catch (InterruptedException ex) {
Thread.currentThread().interrupt();
@@ -592,7 +596,7 @@ public class SimilarAsinLlmService {
} catch (Exception ex) {
last = new IOException("主图下载失败(" + failureMessage(ex) + ")", ex);
log.warn("[similar-asin][llm] main download fail url={} attempt={}/{} err={}",
- abbreviate(trimmed, 160), attempt + 1, retryTimes + 1, failureMessage(ex));
+ abbreviate(target, 160), attempt + 1, retryTimes + 1, failureMessage(ex));
if (Thread.currentThread().isInterrupted()) {
break;
}
@@ -601,6 +605,50 @@ public class SimilarAsinLlmService {
throw last == null ? new IOException("主图下载失败: " + abbreviate(trimmed, 160)) : last;
}
+ private static String defaultToAlias(String alias, String fallback) {
+ return alias == null ? fallback : alias;
+ }
+
+ /** 按 {@code aiimage.similar-asin.llm-image-host-alias-map} 换 host,其余部分逐字符保留。 */
+ private String aliasedUrl(String url) {
+ String map = properties.getLlmImageHostAliasMap();
+ if (map == null || map.isBlank()) {
+ return null;
+ }
+ URI uri;
+ try {
+ uri = URI.create(url);
+ } catch (Exception ex) {
+ return null;
+ }
+ String host = uri.getHost();
+ if (host == null || host.isEmpty()) {
+ return null;
+ }
+ String text = uri.toString();
+ int at = text.indexOf("//" + host);
+ if (at < 0) {
+ return null;
+ }
+ int end = at + 2 + host.length();
+ char after = end < text.length() ? text.charAt(end) : '/';
+ if (after != ':' && after != '/' && after != '?' && after != '#') {
+ return null;
+ }
+ for (String pair : map.split(";")) {
+ int eq = pair.indexOf('=');
+ if (eq <= 0 || eq >= pair.length() - 1) {
+ continue;
+ }
+ String from = pair.substring(0, eq).trim();
+ String to = pair.substring(eq + 1).trim();
+ if (from.equalsIgnoreCase(host) && !to.isEmpty()) {
+ return text.substring(0, at + 2) + to + text.substring(end);
+ }
+ }
+ return null;
+ }
+
private static boolean sleepBeforeRetry(int attempt) {
try {
Thread.sleep(Math.min(1000L, 250L * attempt));
diff --git a/backend-java/src/main/resources/application.yml b/backend-java/src/main/resources/application.yml
index 33e0dc153..0606f7841 100644
--- a/backend-java/src/main/resources/application.yml
+++ b/backend-java/src/main/resources/application.yml
@@ -378,6 +378,7 @@ aiimage:
llm-row-concurrency: ${AIIMAGE_SIMILAR_ASIN_LLM_ROW_CONCURRENCY:5}
llm-image-download-timeout-seconds: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_TIMEOUT_SECONDS:10}
llm-image-download-retry-times: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES:2}
+ llm-image-host-alias-map: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_HOST_ALIAS_MAP:m.media-amazon.com=images-na.ssl-images-amazon.com}
collect-data:
stale-timeout-minutes: ${AIIMAGE_COLLECT_DATA_STALE_TIMEOUT_MINUTES:30}
no-result-upload-timeout-minutes: ${AIIMAGE_COLLECT_DATA_NO_RESULT_UPLOAD_TIMEOUT_MINUTES:180}
diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java
index 9236fcbcf..e6f335070 100644
--- a/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java
+++ b/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java
@@ -174,6 +174,71 @@ class SimilarAsinMainImageDownloadRetryTest {
verify(client, never()).send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class));
}
+ /**
+ * 按调用顺序记录请求 URI;前 {@code failTimes} 次抛连接级异常,之后返回 200。
+ */
+ private HttpClient recordingClient(int failTimes, List uris) {
+ HttpClient client = mock(HttpClient.class);
+ try {
+ when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class)))
+ .thenAnswer(invocation -> {
+ uris.add(invocation.getArgument(0, HttpRequest.class).uri().toString());
+ if (uris.size() <= failTimes) {
+ throw new IOException(RESET);
+ }
+ return new StubResponse(200, BODY);
+ });
+ } catch (Exception ex) {
+ throw new IllegalStateException(ex);
+ }
+ return client;
+ }
+
+ @Test
+ void 连接级失败后改用备用域名重试() throws Throwable {
+ List uris = new java.util.ArrayList<>();
+ SimilarAsinLlmService svc = service(new SimilarAsinProperties(), recordingClient(1, uris));
+
+ assertArrayEquals(BODY, (byte[]) invokeDownload(svc, URL));
+
+ assertEquals(2, uris.size());
+ assertTrue(uris.get(0).contains("m.media-amazon.com"), "首试必须用原域名,不改变正常路径行为: " + uris.get(0));
+ assertTrue(uris.get(1).contains("images-na.ssl-images-amazon.com"), "第二次必须换到备用域名: " + uris.get(1));
+ assertTrue(uris.get(1).endsWith("/images/I/61Yh2j3VZmL._AC_SX679_.jpg"), "只换 host,路径与尺寸后缀必须原样: " + uris.get(1));
+ }
+
+ @Test
+ void 备用域名映射置空时不换域名() throws Throwable {
+ SimilarAsinProperties props = new SimilarAsinProperties();
+ props.setLlmImageHostAliasMap("");
+ List uris = new java.util.ArrayList<>();
+
+ assertArrayEquals(BODY, (byte[]) invokeDownload(service(props, recordingClient(2, uris)), URL));
+
+ assertEquals(3, uris.size());
+ assertTrue(uris.stream().allMatch(u -> u.equals(URL)), "置空即完全退回旧行为: " + uris);
+ }
+
+ @Test
+ void 映射外的域名不受影响() throws Throwable {
+ List uris = new java.util.ArrayList<>();
+ String alicdn = "https://cbu01.alicdn.com/img/ibank/x.jpg";
+
+ assertArrayEquals(BODY, (byte[]) invokeDownload(service(new SimilarAsinProperties(), recordingClient(1, uris)), alicdn));
+
+ assertEquals(List.of(alicdn, alicdn), uris, "阿里图床没有备用域名,不该被动到");
+ }
+
+ @Test
+ void 带端口与query的URL换域名后其余部分不变() throws Throwable {
+ List uris = new java.util.ArrayList<>();
+ String url = "https://m.media-amazon.com:443/images/I/x.jpg?foo=bar%20baz";
+
+ assertArrayEquals(BODY, (byte[]) invokeDownload(service(new SimilarAsinProperties(), recordingClient(1, uris)), url));
+
+ assertEquals("https://images-na.ssl-images-amazon.com:443/images/I/x.jpg?foo=bar%20baz", uris.get(1));
+ }
+
private static final class StubResponse implements HttpResponse {
private final int statusCode;
private final byte[] body;
diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md
index a967cf17f..55ccce6cf 100644
--- a/docs/ops/prod-decisions-2026-09-28.md
+++ b/docs/ops/prod-decisions-2026-09-28.md
@@ -498,6 +498,41 @@ health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SE
现在的数据只够说明"秒级重试≈聊胜于无",**不够说明 (a) 有用**——
要做 (a) 得先按 ASIN 关联"同一 URL 第一次失败 → 后来成功"的时间差分布,这个还没测。
+### 6.2 真根因:解析到的 CDN 边缘不认 `m.media-amazon.com` 这个 SNI,直接 RST(已修:备用域名)
+
+12:08 回读时它**还在掉数据**(窗口总行数 7,029 自证,不是"翻到几条算几条"):
+`main download fail` 109 条、`retry-success` 只有 3 条、`row failed asin=` 35 条、非 200 仍是 0 条,
+失败 host **109/109 全是 `m.media-amazon.com`**。往下查了四层,结论是第五节开头那句"瞬时抖动"只对了一半。
+
+- **第一层:按节点固定 IP 打(`curl --resolve`,每节点 5 次)** —— 失败不是均匀分布,是**整族失败**:
+ `184.27.207.231` 0/5、`184.27.207.245` 0/5(Akamai 系,全 `code=000`,0.2s 内被重置);
+ `3.161.83.53` 5/5、`65.8.31.143` 5/5、`99.84.157.65` 5/5、`18.245.30.82`/`18.64.1.220`/`54.192.34.54` 200(CloudFront 系)。
+- **第二层:是不是节点本身死了 / 被墙了?都不是。** 同一个坏 IP 上:
+ 带 SNI `m.media-amazon.com` → `openssl s_client` 3/3 `write:errno=104`;
+ **不带 SNI → 3/3 握手成功**(`TLSv1.3 / TLS_AES_256_GCM_SHA384`);
+ **换 SNI 为 `images-na.ssl-images-amazon.com` → 同一 IP 直接 200**。
+ TCP 443 两边都能连(`/dev/tcp` 都 yes)→ 复位发生在 ClientHello 之后 = **这台边缘没配这个虚拟主机名**,
+ 不是封禁、不是限流、不是 TLS 版本/套件问题。
+- **第三层:为什么会"整批一起挂"** —— 解析本身在抽奖:宿主机 24 次查询里 **15 次(62%)**给的是坏族、
+ 容器内 12 次里 **4 次(33%)**;而 JVM 的正向 DNS 缓存会把抽到的节点钉住一段时间
+ (`java.security:347` 那行是注释态 → 无 SecurityManager 时按 JDK 默认 30 秒,**这个 30s 没实测**,
+ 但"至少钉住一整批"是被数据证明的:同批 10 行在同一 200ms 内全挂、秒级重试 3/3 同败)。
+ → §6.1 那 17% 就此得到机械解释:**250ms/500ms 的三次重试全打在同一个坏节点上**,
+ 只有踩在换期边界上的 3 段被救回;把 backoff 抬到 30s 以上确实能行,但要占住并发只有 5 的行 worker,不划算。
+- **改法(本次上线)**:连接级失败后的第 2、3 次尝试改用**备用域名** `images-na.ssl-images-amazon.com`,
+ 首试仍用原 URL;只换 host,端口/path/query 逐字符保留。换名等于换一批解析结果,**不等待、不占 worker**。
+ - 为什么是这个名字:最近 20 条失败 URL 走它 **20/20 成功**,且与原域名取到的字节 **md5 零不一致(20 次比对)**;
+ 反例 `images-amazon.com` **6/6 全 000** —— 所以这是**白名单映射**,不是"随便换个 amazon 域名"。
+ - 新键 `aiimage.similar-asin.llm-image-host-alias-map`(`application.yml:381`,
+ 默认 `m.media-amazon.com=images-na.ssl-images-amazon.com`,多组用 `;` 分隔),
+ **置空即关掉这条**、退回 §6.1 那版行为;回滚同样是 `/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_HOST_ALIAS_MAP=""` 后重启 java。
+ - 日志可分辨:救回来的那条会长成 `main download retry-success url=https://images-na.ssl-images-amazon.com/...`。
+- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例 → **10 例**(首试必须原域名+二次换域名且路径不变 /
+ 映射置空完全退回 / 映射外域名(alicdn)不受影响 / 带端口与 query 的 URL 只换 host),原 6 例语义未改仍全绿。
+- **发版后要看的数**:`row failed asin=` 的占比应从 ~14% 往下走;`retry-success` 里 host=images-na 的占比
+ 就是这条的命中量。若失败仍高,说明坏的不止这一族或不止这一个名字,再按同一套逐节点方法复查,
+ 不要直接加 retry 次数。
+
## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板)