diff --git a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java
index 9f8fa2b45..f8ad7726d 100644
--- a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java
+++ b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java
@@ -186,4 +186,13 @@ public class SimilarAsinProperties {
/** 拼接图/主图下载超时(秒),慢源图片较多时放大该值。 */
private int llmImageDownloadTimeoutSeconds = 10;
+
+ /**
+ * 主图转存的额外重试次数(0=不重试,与原行为一致)。
+ * 依据 2026-09-28 生产取证:主机A 近 3 小时 252 条主图下载失败全部是
+ * {@code m.media-amazon.com} 的 "Remote host terminated the handshake",
+ * 而这些 URL 事后 curl 8 条里 7 条直接 200 —— 瞬时抖动,重试就能救回整行
+ * (不重试则整行判失败并重发一轮流程)。设 0 可退回旧行为。
+ */
+ private int llmImageDownloadRetryTimes = 2;
}
diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java
index f978d2d64..319761209 100644
--- a/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java
+++ b/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java
@@ -16,6 +16,7 @@ import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;
+import java.io.IOException;
import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
@@ -58,6 +59,9 @@ public class SimilarAsinLlmService {
private static final String STATUS_NOT_EXISTS = "不存在";
private static final String NO_MATCH = "无";
+ /** 单行主图下载(含重试)的耗时上限,超过就带着最后一次异常退出重试。 */
+ private static final long MAIN_DOWNLOAD_BUDGET_MILLIS = 25_000L;
+
/**
* 一级/二级类目合并匹配系统提示词(工作流 109409/1544733 两次调用合一):
* 候选以「一级 → 其下二级」的两层清单一次给出,ID 字段仍不进输出契约
@@ -318,7 +322,13 @@ public class SimilarAsinLlmService {
row.setMainUrl("");
return;
}
- String stored = uploadExternalUrlToSupplyImages(primaryUrl);
+ String stored;
+ try {
+ stored = uploadExternalUrlToSupplyImages(primaryUrl);
+ } catch (IOException ex) {
+ throw new IllegalStateException("主图转存失败: " + abbreviate(primaryUrl, 160)
+ + " 原因: " + failureMessage(ex), ex);
+ }
if (stored == null) {
throw new IllegalStateException("主图转存失败: " + abbreviate(primaryUrl, 160));
}
@@ -499,8 +509,12 @@ public class SimilarAsinLlmService {
return ossStorageService.getPublicUrl(objectKey);
}
- /** 下载外部图片并转存到 MinIO supply_images,失败返回 null。 */
- private String uploadExternalUrlToSupplyImages(String url) {
+ /**
+ * 下载外部图片并转存到 MinIO supply_images。
+ * 返回 null="这张图确实取不到"(URL 为空或源站给了非 200);连接级失败重试耗尽后抛 IOException,
+ * 让行失败原因带上真实错误(旧实现只回 null,日志里塌成一句"主图转存失败: <url>",看不出是可重试的抖动)。
+ */
+ private String uploadExternalUrlToSupplyImages(String url) throws IOException {
byte[] bytes = downloadBytes(url);
if (bytes == null) {
return null;
@@ -534,30 +548,66 @@ public class SimilarAsinLlmService {
return raw;
}
- private byte[] downloadBytes(String url) {
+ /**
+ * 主图下载:连接级异常按 {@code aiimage.similar-asin.llm-image-download-retry-times} 重试(默认额外 2 次)。
+ * 只重试连接级失败——非 200 是源站的确定答复,重试只是白等超时。
+ * 总耗时受 {@link #MAIN_DOWNLOAD_BUDGET_MILLIS} 约束:慢源 hang 住时不放大尾延迟
+ * (同模块的 alicdn 拼图已被这条咬过,见 SimilarAsinProperties#imageDownloadTimeoutSeconds 注释)。
+ */
+ private byte[] downloadBytes(String url) throws IOException {
String trimmed = url == null ? "" : url.trim();
if (trimmed.isBlank()) {
return null;
}
int timeoutSeconds = Math.max(1, properties.getLlmImageDownloadTimeoutSeconds());
- try {
- HttpRequest request = HttpRequest.newBuilder()
- .uri(URI.create(trimmed))
- .timeout(Duration.ofSeconds(timeoutSeconds))
- .header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)")
- // 刻意不发 Referer:阿里图床按 Referer 白名单防盗链,外链域名会被判 403
- // (实测 cbu01.alicdn.com 带外站 Referer 稳定 403、无 Referer 直接 200)。
- .GET()
- .build();
- HttpResponse response = downloadHttpClient().send(request, HttpResponse.BodyHandlers.ofByteArray());
- if (response.statusCode() == 200 && response.body() != null && response.body().length > 0) {
- return response.body();
+ int retryTimes = Math.max(0, properties.getLlmImageDownloadRetryTimes());
+ long deadline = System.currentTimeMillis() + MAIN_DOWNLOAD_BUDGET_MILLIS;
+ IOException last = null;
+ for (int attempt = 0; attempt <= retryTimes; attempt++) {
+ if (attempt > 0 && (System.currentTimeMillis() > deadline || !sleepBeforeRetry(attempt))) {
+ break;
}
- log.warn("[similar-asin][llm] main download http {} url={}", response.statusCode(), abbreviate(trimmed, 160));
- return null;
- } catch (Exception ex) {
- log.warn("[similar-asin][llm] main download fail url={} err={}", abbreviate(trimmed, 160), failureMessage(ex));
- return null;
+ try {
+ HttpRequest request = HttpRequest.newBuilder()
+ .uri(URI.create(trimmed))
+ .timeout(Duration.ofSeconds(timeoutSeconds))
+ .header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)")
+ // 刻意不发 Referer:阿里图床按 Referer 白名单防盗链,外链域名会被判 403
+ // (实测 cbu01.alicdn.com 带外站 Referer 稳定 403、无 Referer 直接 200)。
+ .GET()
+ .build();
+ HttpResponse response = downloadHttpClient().send(request, HttpResponse.BodyHandlers.ofByteArray());
+ if (response.statusCode() == 200 && response.body() != null && response.body().length > 0) {
+ if (attempt > 0) {
+ log.info("[similar-asin][llm] main download retry-success url={} attempt={}/{}",
+ abbreviate(trimmed, 160), attempt + 1, retryTimes + 1);
+ }
+ return response.body();
+ }
+ log.warn("[similar-asin][llm] main download http {} url={}", response.statusCode(), abbreviate(trimmed, 160));
+ return null;
+ } catch (InterruptedException ex) {
+ Thread.currentThread().interrupt();
+ return null;
+ } catch (Exception ex) {
+ last = new IOException("主图下载失败(" + failureMessage(ex) + ")", ex);
+ log.warn("[similar-asin][llm] main download fail url={} attempt={}/{} err={}",
+ abbreviate(trimmed, 160), attempt + 1, retryTimes + 1, failureMessage(ex));
+ if (Thread.currentThread().isInterrupted()) {
+ break;
+ }
+ }
+ }
+ throw last == null ? new IOException("主图下载失败: " + abbreviate(trimmed, 160)) : last;
+ }
+
+ private static boolean sleepBeforeRetry(int attempt) {
+ try {
+ Thread.sleep(Math.min(1000L, 250L * attempt));
+ return true;
+ } catch (InterruptedException ex) {
+ Thread.currentThread().interrupt();
+ return false;
}
}
diff --git a/backend-java/src/main/resources/application.yml b/backend-java/src/main/resources/application.yml
index 0a265499f..33e0dc153 100644
--- a/backend-java/src/main/resources/application.yml
+++ b/backend-java/src/main/resources/application.yml
@@ -377,6 +377,7 @@ aiimage:
llm-retry-times: ${AIIMAGE_SIMILAR_ASIN_LLM_RETRY_TIMES:3}
llm-row-concurrency: ${AIIMAGE_SIMILAR_ASIN_LLM_ROW_CONCURRENCY:5}
llm-image-download-timeout-seconds: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_TIMEOUT_SECONDS:10}
+ llm-image-download-retry-times: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES:2}
collect-data:
stale-timeout-minutes: ${AIIMAGE_COLLECT_DATA_STALE_TIMEOUT_MINUTES:30}
no-result-upload-timeout-minutes: ${AIIMAGE_COLLECT_DATA_NO_RESULT_UPLOAD_TIMEOUT_MINUTES:180}
diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java
new file mode 100644
index 000000000..9236fcbcf
--- /dev/null
+++ b/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java
@@ -0,0 +1,226 @@
+package com.nanri.aiimage.modules.similarasin.service;
+
+import com.nanri.aiimage.config.OssProperties;
+import com.nanri.aiimage.config.SimilarAsinProperties;
+import com.nanri.aiimage.modules.file.service.oss.OssStorageService;
+import com.nanri.aiimage.modules.productcategory.service.ProductCategoryService;
+import com.nanri.aiimage.modules.similarasin.client.SimilarAsinLlmClient;
+import com.nanri.aiimage.modules.similarasin.util.PuzzleImageMerger;
+import com.nanri.aiimage.modules.similarasin.util.SimilarAsinImageEmbedder;
+import org.junit.jupiter.api.AfterEach;
+import org.junit.jupiter.api.Test;
+import org.mockito.Mockito;
+
+import java.io.IOException;
+import java.lang.reflect.InvocationTargetException;
+import java.lang.reflect.Method;
+import java.net.http.HttpClient;
+import java.net.http.HttpRequest;
+import java.net.http.HttpResponse;
+import java.util.List;
+import java.util.concurrent.atomic.AtomicInteger;
+
+import static org.junit.jupiter.api.Assertions.assertArrayEquals;
+import static org.junit.jupiter.api.Assertions.assertEquals;
+import static org.junit.jupiter.api.Assertions.assertNull;
+import static org.junit.jupiter.api.Assertions.assertThrows;
+import static org.junit.jupiter.api.Assertions.assertTrue;
+import static org.mockito.ArgumentMatchers.any;
+import static org.mockito.Mockito.mock;
+import static org.mockito.Mockito.never;
+import static org.mockito.Mockito.times;
+import static org.mockito.Mockito.verify;
+import static org.mockito.Mockito.when;
+
+/**
+ * 主图下载重试语义。动因是 2026-09-28 生产取证:主机A 近 3 小时 252 条
+ * "err=Remote host terminated the handshake" 全部来自 m.media-amazon.com,
+ * 而这些 URL 事后能直接取到 —— 旧实现一次都不重试,整行因此被判失败并重发。
+ */
+class SimilarAsinMainImageDownloadRetryTest {
+
+ private static final String URL = "https://m.media-amazon.com/images/I/61Yh2j3VZmL._AC_SX679_.jpg";
+ private static final String RESET = "Remote host terminated the handshake";
+ private static final byte[] BODY = new byte[]{1, 2, 3, 4, 5, 6, 7, 8};
+
+ @AfterEach
+ void clearInterruptFlag() {
+ // 中断用例会把标志位留在测试线程上,不清会污染后续测试。
+ Thread.interrupted();
+ }
+
+ private SimilarAsinLlmService service(SimilarAsinProperties props, HttpClient client) {
+ SimilarAsinLlmService svc = new SimilarAsinLlmService(
+ mock(SimilarAsinLlmClient.class),
+ props,
+ mock(OssProperties.class),
+ mock(ProductCategoryService.class),
+ mock(PuzzleImageMerger.class),
+ mock(OssStorageService.class),
+ mock(SimilarAsinImageEmbedder.class));
+ svc.setDownloadHttpClientForTest(client);
+ return svc;
+ }
+
+ private Object invokeDownload(SimilarAsinLlmService svc, String url) throws Throwable {
+ Method m = SimilarAsinLlmService.class.getDeclaredMethod("downloadBytes", String.class);
+ m.setAccessible(true);
+ try {
+ return m.invoke(svc, url);
+ } catch (InvocationTargetException ex) {
+ throw ex.getCause();
+ }
+ }
+
+ /** 前 {@code failTimes} 次连接级异常,之后返回 200。 */
+ private HttpClient flakyClient(int failTimes, AtomicInteger calls) {
+ HttpClient client = mock(HttpClient.class);
+ try {
+ when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class)))
+ .thenAnswer(invocation -> {
+ int n = calls.incrementAndGet();
+ if (n <= failTimes) {
+ throw new IOException(RESET);
+ }
+ return new StubResponse(200, BODY);
+ });
+ } catch (Exception ex) {
+ throw new IllegalStateException(ex);
+ }
+ return client;
+ }
+
+ @Test
+ void 抖动两次后第三次成功_不再丢整行() throws Throwable {
+ AtomicInteger calls = new AtomicInteger();
+ SimilarAsinLlmService svc = service(new SimilarAsinProperties(), flakyClient(2, calls));
+
+ byte[] bytes = (byte[]) invokeDownload(svc, URL);
+
+ assertArrayEquals(BODY, bytes);
+ assertEquals(3, calls.get(), "默认额外重试 2 次 → 第三次应成功");
+ }
+
+ @Test
+ void 重试耗尽后抛出带真实原因的IOException() throws Throwable {
+ AtomicInteger calls = new AtomicInteger();
+ SimilarAsinLlmService svc = service(new SimilarAsinProperties(), flakyClient(99, calls));
+
+ IOException ex = assertThrows(IOException.class, () -> invokeDownload(svc, URL));
+
+ assertTrue(ex.getMessage().contains(RESET), "要把真实异常带出来,不能再塌成一句「主图转存失败」");
+ assertEquals(3, calls.get());
+ }
+
+ @Test
+ void 源站明确回非200时不重试() throws Throwable {
+ AtomicInteger calls = new AtomicInteger();
+ HttpClient client = mock(HttpClient.class);
+ try {
+ when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class)))
+ .thenAnswer(invocation -> {
+ calls.incrementAndGet();
+ return new StubResponse(403, new byte[0]);
+ });
+ } catch (Exception ex) {
+ throw new IllegalStateException(ex);
+ }
+
+ assertNull(invokeDownload(service(new SimilarAsinProperties(), client), URL));
+ assertEquals(1, calls.get(), "403 是确定答复,重试只是白等超时");
+ }
+
+ @Test
+ void retryTimes置0退回单次尝试旧行为() throws Throwable {
+ SimilarAsinProperties props = new SimilarAsinProperties();
+ props.setLlmImageDownloadRetryTimes(0);
+ AtomicInteger calls = new AtomicInteger();
+
+ IOException ex = assertThrows(IOException.class,
+ () -> invokeDownload(service(props, flakyClient(99, calls)), URL));
+
+ assertTrue(ex.getMessage().contains(RESET));
+ assertEquals(1, calls.get());
+ }
+
+ @Test
+ void 线程被中断时立刻停止重试() throws Throwable {
+ AtomicInteger calls = new AtomicInteger();
+ HttpClient client = mock(HttpClient.class);
+ try {
+ when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class)))
+ .thenAnswer(invocation -> {
+ calls.incrementAndGet();
+ Thread.currentThread().interrupt();
+ throw new IOException(RESET);
+ });
+ } catch (Exception ex) {
+ throw new IllegalStateException(ex);
+ }
+
+ assertThrows(IOException.class, () -> invokeDownload(service(new SimilarAsinProperties(), client), URL));
+
+ assertEquals(1, calls.get(), "中断后不该再排下一次重试");
+ assertTrue(Thread.currentThread().isInterrupted(), "中断标志必须回设,不能吞掉");
+ }
+
+ @Test
+ void 空URL仍按取不到处理不抛异常() throws Throwable {
+ HttpClient client = mock(HttpClient.class);
+ SimilarAsinLlmService svc = service(new SimilarAsinProperties(), client);
+
+ assertNull(invokeDownload(svc, " "));
+ assertNull(invokeDownload(svc, null));
+ verify(client, never()).send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class));
+ }
+
+ private static final class StubResponse implements HttpResponse {
+ private final int statusCode;
+ private final byte[] body;
+
+ private StubResponse(int statusCode, byte[] body) {
+ this.statusCode = statusCode;
+ this.body = body;
+ }
+
+ @Override
+ public int statusCode() {
+ return statusCode;
+ }
+
+ @Override
+ public HttpRequest request() {
+ return Mockito.mock(HttpRequest.class);
+ }
+
+ @Override
+ public java.util.Optional> previousResponse() {
+ return java.util.Optional.empty();
+ }
+
+ @Override
+ public java.net.http.HttpHeaders headers() {
+ return java.net.http.HttpHeaders.of(java.util.Map.of(), (a, b) -> true);
+ }
+
+ @Override
+ public byte[] body() {
+ return body;
+ }
+
+ @Override
+ public java.net.URI uri() {
+ return java.net.URI.create(URL);
+ }
+
+ @Override
+ public HttpClient.Version version() {
+ return HttpClient.Version.HTTP_1_1;
+ }
+
+ @Override
+ public java.util.Optional sslSession() {
+ return java.util.Optional.empty();
+ }
+ }
+}
diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md
index ad8a19809..69aaa9d79 100644
--- a/docs/ops/prod-decisions-2026-09-28.md
+++ b/docs/ops/prod-decisions-2026-09-28.md
@@ -424,3 +424,135 @@ A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻):
先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。
VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 ——
今晚已实测三个私网地址全通。
+
+## 六、货源主图转存:252 条失败全是瞬时 TLS 重置(11:3x 查出并已修)
+
+这条不是"中间件调优",是查别的东西时撞出来的**真在掉数据的口子**,所以记全取证链。
+
+- **现象与量级**(主机A,`docker logs --since 180m java-server`,窗口内总行数 20,846 行):
+ `main download fail` **252 条**、`row failed asin=` **247 条**;失败原因 252 条**全是同一句**
+ `Remote host terminated the handshake`;源分布 **247 条全部是 `m.media-amazon.com`**(其它源 0 条),
+ 且 `main download http `(非 200)**0 条** —— 也就是没有任何一次是源站正常答复的错。
+- **失败是按批整片出现的**:按分钟分桶是 `08:21=10 / 08:26=10 / 08:31=20 / 08:33=10 …10:01=10 / 10:43=20 / 10:49=10`,
+ 一批 10 行一起挂,同批三条时间戳 `10:01:12.805 / .852 / .993` 相差不到 200ms。
+- **证明是瞬时的**:把当时失败的 8 条 URL 原样再取一次,**7 条 200(9.6KB–22KB 不等)**、
+ 1 条 `000`(curl 也连不上,那条多半是真死了)。
+- **三个假说逐个验掉**:
+ 1. "出口 IP 被 Amazon 封了" —— 同机 `curl` HTTP/1.1 与 HTTP/2 都 200、`openssl s_client` 完成
+ TLSv1.3 握手(`TLS_AES_128_GCM_SHA256`),解析到的节点 `54.192.34.54`;B 机同样 200。
+ 2. "JDK 21 的 TLS 栈有问题" —— 在 A 的容器里直接跑单文件程序 `java /tmp/TlsProbe.java`:
+ HTTP/1.1 串行 200、复用同一 client 再发 200、HTTP/2 200、**共享 client 24 并发 `{OK=24}`**、
+ 每请求新建 client 12 并发 `{OK=12}`、低频 4 并发 8 条全 200(jdk=21.0.7)。
+ 3. "并发打爆了 CDN" —— 配置上峰值只有 `llmRowConcurrency=5` 路主图 + 拼图池 `imageDownloadPoolSize=8`,
+ 而我 24 并发都一次没失败。
+ → 落到第四点:**旧实现一次都不重试**。`SimilarAsinLlmService.downloadBytes` 单发,握手被 RST 就 `return null`,
+ `prepareImages` 随即抛 `主图转存失败: `,**真实异常被丢掉**(我为了知道原因只能去翻紧邻的上一行日志)。
+- **代价的准确形状**(别夸大也别缩小):`prepareImages` 是 `inspectRowInternal` 的**第 1 步**,
+ 在类目匹配/合规/图片对比这些 LLM 调用**之前** → 失败**不烧 token**;
+ 但整行被 `markFailed` → 按现在的重发语义下一轮再来,**白占一轮行位**,最终在结果 Excel 里就是一行失败。
+- **改动**:`downloadBytes` 加有界重试。
+ - 新键 `aiimage.similar-asin.llm-image-download-retry-times`,默认 **2(额外次数,总 3 次尝试)**;置 **0 即完全退回旧行为**。
+ - **只重试连接级异常**;非 200 直接返回 null 不重试(源站的确定答复,重试只是白等超时)。
+ - 加 25 秒总预算常量护栏:慢源 hang 住时不放大尾延迟(同模块 alicdn 已被这件事咬过,
+ 见 `SimilarAsinImageEmbedder` 里"8s + retry=1 → 改回 5s + retry=2"那条注释)。
+ - 重试成功打 `main download retry-success url=… attempt=n/N`;耗尽后抛 `IOException("主图下载失败(<真实原因>)")`,
+ `prepareImages` 再拼成 `主图转存失败: 原因: <真实原因>` → **行失败日志从此自带原因**。
+- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例全绿(抖动两次第三次成功 / 耗尽后异常里带真实原因 /
+ 403 只发一次 / retryTimes=0 退回单次 / 线程中断立刻停止重试且标志回设 / 空 URL 不抛),
+ 原有 `SimilarAsinLlmServiceTest` 8 例未受影响。
+- **回滚不用回退 jar**:`/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES="0"` 后重启 java 即可。
+ 该键已按本仓库惯例写进 `application.yml:380`(`llm-image-download-retry-times: ${AIIMAGE_..._RETRY_TIMES:2}`),
+ 所以运维在 yml 里就能看见它,回滚走的是 **yml 占位符**而不是 relaxed binding —— 这条是确定性的。
+ (补记:第一版我只把默认值写在 Java 字段里,yml 没这一行,那样 env 覆盖就只能靠命名松散绑定;打包后自查发现 `yml has retry key: False` 才补上,
+ 补完必须重打包,因为 yml 在 jar 内。)
+- **发版后要看的数**:`main download retry-success` 与 `main download fail` 的比值。
+ 若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的,
+ 那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。
+
+## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板)
+
+- 实测 `du -m /var/lib/docker/containers/*/*-json.log` 的前几名**及归属**(id 取目录名,别用 `basename $f -- '-json.log'`,
+ 那写法会把 id 取空、`docker inspect` 报错,然后被我自己的兜底文案伪装成"残留目录"这个假结论):
+
+ | 主机 | 当前体积 | 容器 | 容器创建时间 | **实测日均**(近 2 万行的时间跨度折算) |
+ |---|---|---|---|---|
+ | B | **3591 MB** | `1Panel-openresty-iXP2` | 2026-04-09 | **184 MB/天**(619,577 行/天) |
+ | A | **2666 MB** | `java-server` | 2026-09-16 | **180 MB/天**(385,887 行/天) |
+ | B | 1063 MB | `1Panel-gitea-AgMc` | 2026-08-12 | 53 MB/天(158,025 行/天) |
+ | B | 318 MB | `java-server` | 2026-09-16 | 41 MB/天(144,687 行/天) |
+ | A | 1820 MB | `1Panel-openresty-8XvI` | 2026-04-09 | 9 MB/天(31,926 行/天) |
+ | A | 1684 MB | `shufu-redis-master` | 2026-08-25 | **0.2 MB/天(1,742 行/天)** |
+
+ ⚠ **第一版这张表我是拿"体积 ÷ 存活天数"摊的,几乎每行都错**(redis 摊出 "~50 MB/天"、B openresty 摊出 "~21 MB/天")。
+ 正确做法是 `tail -n 20000` 的首尾两条 `"time"` 求跨度,再用 `tail -n 20000 | wc -c` 求字节量 —— 摊出来的平均会把
+ 历史上的突发当成常态,还会把"最近才变快的"(B openresty)压平。
+- **redis 那 1.68GB 已经查清了,不是"速率异常",是一次 9 分钟的重连风暴**:
+ 全文共 10,617,262 行 / 平均行长 165 字节,而按行号采样时间戳,
+ **第 1 行 = `2026-08-25T05:34:16`(容器刚创建)、第 10,070,001 行 = `2026-08-25T05:43:27`**
+ → 95% 的体积是**创建后头 9 分钟**写出来的,之后到 09-18 才又爬了 53 万行。
+ 那 9 分钟在刷什么:`Master replied to PING, replica…` / `Non blocking connect for SYNC fa…` /
+ `Retrying with SYNC…` / `(Non critical) Master does not …` / `Trying a partial resynchroniz…` /
+ `Unexpected reply to PSYNC from …` / `MASTER aborted replication with…` / `Reconnecting to MASTER 192.168.…`
+ —— 典型的**副本对主库的 PSYNC 被拒 → 立刻重连**紧循环(10.07M 行 ÷ 551 秒 ≈ **1.8 万行/秒**),不是 crash。
+ 当前这台的实际写入量是 **2.9 字节/秒 ≈ 0.25 MB/天**(就是每 5 分钟一次 BGSAVE 那三行),
+ 所以这条从"值得单独取证"降级为"历史一次性事件,止血时随别的一起 truncate 即可"。
+- **但顺带查到一条会误导人的事实:redis 容器名与实际角色是反的**(`docker logs | grep -oE '[0-9]+:[SMX] [0-9]{2} [A-Za-z]{3}' | tail -1` 实测):
+ A 上叫 **`shufu-redis-master`** 的容器今天的前缀是 **`1:S`(slave)**,B 上叫 **`shufu-redis-replica`** 的容器是 **`1:M`(master)**,
+ 两边 sentinel 日志里都留着 `25 Aug 06:32:56 +switch-master mymaster 192.168.0.171 16379 → 192.168.0.170 16379`
+ —— 也就是 8-25 那次故障切换之后角色就固定在"名字相反"的状态了(上面那场 SYNC 风暴正是那次切换前后发生的)。
+ **看名字判断主从会判反**,要认角色读日志前缀或 `INFO replication`。这也和第六节 java 侧实测一致:数据连接落在 `.170`。
+- **B openresty 为什么涨到 193 MB/天 —— 已定性,是客户端轮询而不是攻击**:
+ 按行号采样时间戳看增长曲线,`2026-04-09` 到 `2026-09-11` 才写到第 90 万行(约 6 千行/天),
+ 之后每 90 万行只花 1~2 天 → **9-11 前后涨了约 100 倍**。近 2 万行的构成:
+ `/newApi/api/collect-data/tasks/progress/light` 5,073 + `price-track` 1,471 + `appearance-patent` 1,325 +
+ 其余各 `progress/light` 合计约 8,400 行(**42%**)、`/api/tasks/pull-pending` 3,201(16%)、
+ `/newApi/api/notifications/summary` 2,947(15%)→ **约 73% 的访问日志是这三个轮询接口**。
+ 状态码:20,000 行里匹配到状态码的有 19,878 条,其中 **200 = 19,784、304 = 94,4xx/5xx = 0**
+ (剩 122 行是 nginx 自己的 notice/error 行,不带状态码)→ 不是被打,是自己人在轮询。
+ **可选的低成本止血**(本轮没做,属要人拍板:会损失这些接口的访问记录):
+ 在 B 的 openresty 站点配置里对 `progress/light`、`pull-pending`、`notifications/summary` 三条 location 加
+ `access_log off;`(或单独降级到一个可轮转的日志文件),按上面的占比**能砍掉约 7 成的 193 MB/天**,
+ 且 `nginx -s reload` 是 graceful、**不重启容器、不断长连接**。
+ 反过来说:如果以后要靠访问日志查"某次轮询有没有返回过 304/401",这条就查不到了 —— 所以先问要不要留样。
+- **来源构成(同一批 20,000 行里数 `{"log":"` 后面的 IP,注意宿主机 `ss` 与 `grep '^[0-9]'` 两种写法都取不到,因为每行以 JSON 开头)**:
+ 一共只有 **10 个来源 IP**,`8.149.69.98` 一个占 **12,843 行(64%)**,`8.139.247.224` 2,875、`8.139.195.39` 2,201、
+ `183.253.114.241` 441、`8.139.170.222` 413、`183.220.59.30` 407、`120.33.224.243` 296、`121.205.250.173` 166、
+ **`47.110.241.161` 68(= 主机A 自己的 EIP)**。UA 分布:`Mozilla/5.0 Windows` 12,904、`python-requests/2.32.5` 6,698、
+ `python-requests/2.32.3` 153、`Mozilla WOW64` 35(合计 19,790,其余是 nginx 自己的 notice 行)。
+ `python-requests` 那批打的是 `/api/tasks/pull-pending`(3,203) + `/api/internal/device-logs/upload`(834) +
+ `device-logs/config`(658) + `user-secret-usage`(136) + `similar-asin/tasks//result` + `tasks//heartbeat`
+ → **是采集端在领任务/回报,不是外部扫描**,所以 193 MB/天是"自家轮询设计"的账单,要降量得从轮询频率/日志策略两侧挑一边。
+- **顺带发现一条真实的公网绕行,但调用方没认领到(不要当成已定性)**:`47.110.241.161`(主机A 的 EIP)作为**客户端**出现了 68 次,
+ UA 是 `axios/1.20.0`,打的是 `GET /newApi/check_login` 和 `POST /newApi/login`(10:59:48–49 连续一串,全 200)。
+ 那一刻 A 宿主机与各容器 netns 里到 `121.196.149.225` 的 ESTAB 都是 **0 条**(短连接,采样撞不上)。
+ A 上常驻两个 node 进程(`/www/wwwroot/jlyj.ditiansui.online/server/video-api.js` 跑了 18 天、`dist/server/main.js` 跑了 5 天)
+ **只是候选,我没证到是它俩之一** —— 想认领就在 A 上 `tcpdump -i eth0 -nn host 121.196.149.225 and port 443 -c 3` 拿源端口,
+ 再 `ss -tnp 'sport = :<端口>'` 取 pid。**注意这是 Node 侧发出的 axios(浏览器发的 axios 会带 Mozilla UA)**,
+ 所以是服务器上的脚本在按域名登录自己的 API,不是用户在刷页面。
+ 量级 68/20,000 = 0.34%,**不是性能问题**,本轮没动。
+ 它给 §4.4 那句"两台之间业务链路无公网残留"划了个边界:**那句的范围是 java↔MySQL/redis/MQ/OSS**(已实测走私网),
+ 不含"A 上还可能有别的进程按 `api.aishufu.top` 域名绕回 B"。
+- **磁盘不紧张**(A 用 33% 剩 317G、B 用 18% 剩 388G),真正的代价是**取证速度**,而且我一开始把这条判错了:
+ 实测同一台 A 上 `docker logs --tail 5` = **12 ms**(docker 从文件尾部反向取),
+ 而 `docker logs --since 1m` = **19,631 ms**、`docker logs`(全量 6,286,829 行)= 22,063 ms
+ → **`--since` 一点都省不了,它仍然从头解析整个 2.6GB 文件**;省的是输出量,不是时间。
+ 本轮我所有探测都用 `--since`,等于每次白付 ~20 秒。
+ **以后探测一律优先 `--tail N` + 本地按时间戳过滤**,只有真的要看"某个绝对时间点之后"才用 `--since`。
+- 想加 `log-opts: {max-size, max-file}` 要改 `/etc/docker/daemon.json` 并 `systemctl restart docker`,而
+ **两台的 daemon.json 里只有 `registry-mirrors`、没有 `live-restore`**(docker 默认 false)→
+ **重启 dockerd 会把该机上所有容器一起重启**,包括 MySQL 主库、MinIO、redis 四件套、两台 java。这是本条没做的直接原因。
+- 还有一层:`log-opts` 只对**新建容器**生效,现有容器得 recreate 才吃到 ——
+ 而 recreate 又会把今晚 `docker update` 抬的三处内存限额打回(见第一节附的表)。
+- 所以顺序建议:① 先把三处限额写进 1Panel 控制台(持久化)→ ② 开 `live-restore: true`(这一次重启仍会连带重启容器,
+ 但**之后**重启 dockerd 就不再影响业务)→ ③ 最后逐台加 `log-opts` 并按 recreate 窗口滚动生效。
+- 期间可以做的**低风险止血**(不需要决策,但要写文件,本轮没动):把已经确认不需要的历史 json.log 用
+ `truncate -s 0` 清零(docker 以 O_APPEND 持有 fd,清零后继续写、不会破坏文件),
+ 一次能回收 2.6GB/1.7GB/3.6GB。**代价是那段历史读不回来了** —— 今晚的取证全靠这些日志,
+ 所以我倾向于先给 java 的日志降量或先把关键窗口 dump 出来,再清零。这条留给用户定。
+- **如果只做一次 `truncate`,先做 A 的 `shufu-redis-master`**:它的文件 17.65 亿字节里有
+ **10.07M/10.62M 行(95%)是 2026-08-25 05:34:16–05:43:27 那 9 分钟的一次性风暴**,
+ 当前只写 0.25 MB/天 —— 清掉它几乎不损失任何"以后可能还要看"的东西,一次回收 1.7GB。
+ 相比之下 java/B-openresty 那两坨是**持续的**(180–193 MB/天),清完三天就长回来,属于必须配 `log-opts` 才解决的那类。
+
+ 清的顺序按**实测增速**而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级;
+ redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。