From 3a39c36bde4f7efd0be0fcfb29029f2fe1628b15 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Mon, 28 Sep 2026 11:52:11 +0800 Subject: [PATCH] =?UTF-8?q?fix(=E8=B4=A7=E6=BA=90):=20=E4=B8=BB=E5=9B=BE?= =?UTF-8?q?=E8=BD=AC=E5=AD=98=E5=AF=B9=E7=9E=AC=E6=97=B6=20TLS=20=E9=87=8D?= =?UTF-8?q?=E7=BD=AE=E5=81=9A=E6=9C=89=E7=95=8C=E9=87=8D=E8=AF=95=EF=BC=8C?= =?UTF-8?q?=E5=A4=B1=E8=B4=A5=E8=A1=8C=E6=97=A5=E5=BF=97=E5=B8=A6=E4=B8=8A?= =?UTF-8?q?=E7=9C=9F=E5=AE=9E=E5=8E=9F=E5=9B=A0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 生产取证:主机A 近 3 小时 252 条 `main download fail` 全是 m.media-amazon.com 的 "Remote host terminated the handshake",而这些 URL 事后重取 8 条里 7 条直接 200。 旧实现单发、握手被 RST 就 return null 并丢掉真实异常,导致整行白占一轮重发。 新增 aiimage.similar-asin.llm-image-download-retry-times(默认额外 2 次,置 0 退回旧行为), 只重试连接级异常,非 200 不重试;25 秒总预算防慢源放大尾延迟;重试耗尽抛 IOException 让行失败原因上行到日志。 --- .../aiimage/config/SimilarAsinProperties.java | 9 + .../service/SimilarAsinLlmService.java | 92 +++++-- .../src/main/resources/application.yml | 1 + ...SimilarAsinMainImageDownloadRetryTest.java | 226 ++++++++++++++++++ docs/ops/prod-decisions-2026-09-28.md | 132 ++++++++++ 5 files changed, 439 insertions(+), 21 deletions(-) create mode 100644 backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java diff --git a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java index 9f8fa2b45..f8ad7726d 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java +++ b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java @@ -186,4 +186,13 @@ public class SimilarAsinProperties { /** 拼接图/主图下载超时(秒),慢源图片较多时放大该值。 */ private int llmImageDownloadTimeoutSeconds = 10; + + /** + * 主图转存的额外重试次数(0=不重试,与原行为一致)。 + * 依据 2026-09-28 生产取证:主机A 近 3 小时 252 条主图下载失败全部是 + * {@code m.media-amazon.com} 的 "Remote host terminated the handshake", + * 而这些 URL 事后 curl 8 条里 7 条直接 200 —— 瞬时抖动,重试就能救回整行 + * (不重试则整行判失败并重发一轮流程)。设 0 可退回旧行为。 + */ + private int llmImageDownloadRetryTimes = 2; } diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java index f978d2d64..319761209 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinLlmService.java @@ -16,6 +16,7 @@ import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Service; +import java.io.IOException; import java.net.URI; import java.net.http.HttpClient; import java.net.http.HttpRequest; @@ -58,6 +59,9 @@ public class SimilarAsinLlmService { private static final String STATUS_NOT_EXISTS = "不存在"; private static final String NO_MATCH = "无"; + /** 单行主图下载(含重试)的耗时上限,超过就带着最后一次异常退出重试。 */ + private static final long MAIN_DOWNLOAD_BUDGET_MILLIS = 25_000L; + /** * 一级/二级类目合并匹配系统提示词(工作流 109409/1544733 两次调用合一): * 候选以「一级 → 其下二级」的两层清单一次给出,ID 字段仍不进输出契约 @@ -318,7 +322,13 @@ public class SimilarAsinLlmService { row.setMainUrl(""); return; } - String stored = uploadExternalUrlToSupplyImages(primaryUrl); + String stored; + try { + stored = uploadExternalUrlToSupplyImages(primaryUrl); + } catch (IOException ex) { + throw new IllegalStateException("主图转存失败: " + abbreviate(primaryUrl, 160) + + " 原因: " + failureMessage(ex), ex); + } if (stored == null) { throw new IllegalStateException("主图转存失败: " + abbreviate(primaryUrl, 160)); } @@ -499,8 +509,12 @@ public class SimilarAsinLlmService { return ossStorageService.getPublicUrl(objectKey); } - /** 下载外部图片并转存到 MinIO supply_images,失败返回 null。 */ - private String uploadExternalUrlToSupplyImages(String url) { + /** + * 下载外部图片并转存到 MinIO supply_images。 + * 返回 null="这张图确实取不到"(URL 为空或源站给了非 200);连接级失败重试耗尽后抛 IOException, + * 让行失败原因带上真实错误(旧实现只回 null,日志里塌成一句"主图转存失败: <url>",看不出是可重试的抖动)。 + */ + private String uploadExternalUrlToSupplyImages(String url) throws IOException { byte[] bytes = downloadBytes(url); if (bytes == null) { return null; @@ -534,30 +548,66 @@ public class SimilarAsinLlmService { return raw; } - private byte[] downloadBytes(String url) { + /** + * 主图下载:连接级异常按 {@code aiimage.similar-asin.llm-image-download-retry-times} 重试(默认额外 2 次)。 + * 只重试连接级失败——非 200 是源站的确定答复,重试只是白等超时。 + * 总耗时受 {@link #MAIN_DOWNLOAD_BUDGET_MILLIS} 约束:慢源 hang 住时不放大尾延迟 + * (同模块的 alicdn 拼图已被这条咬过,见 SimilarAsinProperties#imageDownloadTimeoutSeconds 注释)。 + */ + private byte[] downloadBytes(String url) throws IOException { String trimmed = url == null ? "" : url.trim(); if (trimmed.isBlank()) { return null; } int timeoutSeconds = Math.max(1, properties.getLlmImageDownloadTimeoutSeconds()); - try { - HttpRequest request = HttpRequest.newBuilder() - .uri(URI.create(trimmed)) - .timeout(Duration.ofSeconds(timeoutSeconds)) - .header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)") - // 刻意不发 Referer:阿里图床按 Referer 白名单防盗链,外链域名会被判 403 - // (实测 cbu01.alicdn.com 带外站 Referer 稳定 403、无 Referer 直接 200)。 - .GET() - .build(); - HttpResponse response = downloadHttpClient().send(request, HttpResponse.BodyHandlers.ofByteArray()); - if (response.statusCode() == 200 && response.body() != null && response.body().length > 0) { - return response.body(); + int retryTimes = Math.max(0, properties.getLlmImageDownloadRetryTimes()); + long deadline = System.currentTimeMillis() + MAIN_DOWNLOAD_BUDGET_MILLIS; + IOException last = null; + for (int attempt = 0; attempt <= retryTimes; attempt++) { + if (attempt > 0 && (System.currentTimeMillis() > deadline || !sleepBeforeRetry(attempt))) { + break; } - log.warn("[similar-asin][llm] main download http {} url={}", response.statusCode(), abbreviate(trimmed, 160)); - return null; - } catch (Exception ex) { - log.warn("[similar-asin][llm] main download fail url={} err={}", abbreviate(trimmed, 160), failureMessage(ex)); - return null; + try { + HttpRequest request = HttpRequest.newBuilder() + .uri(URI.create(trimmed)) + .timeout(Duration.ofSeconds(timeoutSeconds)) + .header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)") + // 刻意不发 Referer:阿里图床按 Referer 白名单防盗链,外链域名会被判 403 + // (实测 cbu01.alicdn.com 带外站 Referer 稳定 403、无 Referer 直接 200)。 + .GET() + .build(); + HttpResponse response = downloadHttpClient().send(request, HttpResponse.BodyHandlers.ofByteArray()); + if (response.statusCode() == 200 && response.body() != null && response.body().length > 0) { + if (attempt > 0) { + log.info("[similar-asin][llm] main download retry-success url={} attempt={}/{}", + abbreviate(trimmed, 160), attempt + 1, retryTimes + 1); + } + return response.body(); + } + log.warn("[similar-asin][llm] main download http {} url={}", response.statusCode(), abbreviate(trimmed, 160)); + return null; + } catch (InterruptedException ex) { + Thread.currentThread().interrupt(); + return null; + } catch (Exception ex) { + last = new IOException("主图下载失败(" + failureMessage(ex) + ")", ex); + log.warn("[similar-asin][llm] main download fail url={} attempt={}/{} err={}", + abbreviate(trimmed, 160), attempt + 1, retryTimes + 1, failureMessage(ex)); + if (Thread.currentThread().isInterrupted()) { + break; + } + } + } + throw last == null ? new IOException("主图下载失败: " + abbreviate(trimmed, 160)) : last; + } + + private static boolean sleepBeforeRetry(int attempt) { + try { + Thread.sleep(Math.min(1000L, 250L * attempt)); + return true; + } catch (InterruptedException ex) { + Thread.currentThread().interrupt(); + return false; } } diff --git a/backend-java/src/main/resources/application.yml b/backend-java/src/main/resources/application.yml index 0a265499f..33e0dc153 100644 --- a/backend-java/src/main/resources/application.yml +++ b/backend-java/src/main/resources/application.yml @@ -377,6 +377,7 @@ aiimage: llm-retry-times: ${AIIMAGE_SIMILAR_ASIN_LLM_RETRY_TIMES:3} llm-row-concurrency: ${AIIMAGE_SIMILAR_ASIN_LLM_ROW_CONCURRENCY:5} llm-image-download-timeout-seconds: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_TIMEOUT_SECONDS:10} + llm-image-download-retry-times: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES:2} collect-data: stale-timeout-minutes: ${AIIMAGE_COLLECT_DATA_STALE_TIMEOUT_MINUTES:30} no-result-upload-timeout-minutes: ${AIIMAGE_COLLECT_DATA_NO_RESULT_UPLOAD_TIMEOUT_MINUTES:180} diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java new file mode 100644 index 000000000..9236fcbcf --- /dev/null +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/similarasin/service/SimilarAsinMainImageDownloadRetryTest.java @@ -0,0 +1,226 @@ +package com.nanri.aiimage.modules.similarasin.service; + +import com.nanri.aiimage.config.OssProperties; +import com.nanri.aiimage.config.SimilarAsinProperties; +import com.nanri.aiimage.modules.file.service.oss.OssStorageService; +import com.nanri.aiimage.modules.productcategory.service.ProductCategoryService; +import com.nanri.aiimage.modules.similarasin.client.SimilarAsinLlmClient; +import com.nanri.aiimage.modules.similarasin.util.PuzzleImageMerger; +import com.nanri.aiimage.modules.similarasin.util.SimilarAsinImageEmbedder; +import org.junit.jupiter.api.AfterEach; +import org.junit.jupiter.api.Test; +import org.mockito.Mockito; + +import java.io.IOException; +import java.lang.reflect.InvocationTargetException; +import java.lang.reflect.Method; +import java.net.http.HttpClient; +import java.net.http.HttpRequest; +import java.net.http.HttpResponse; +import java.util.List; +import java.util.concurrent.atomic.AtomicInteger; + +import static org.junit.jupiter.api.Assertions.assertArrayEquals; +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertNull; +import static org.junit.jupiter.api.Assertions.assertThrows; +import static org.junit.jupiter.api.Assertions.assertTrue; +import static org.mockito.ArgumentMatchers.any; +import static org.mockito.Mockito.mock; +import static org.mockito.Mockito.never; +import static org.mockito.Mockito.times; +import static org.mockito.Mockito.verify; +import static org.mockito.Mockito.when; + +/** + * 主图下载重试语义。动因是 2026-09-28 生产取证:主机A 近 3 小时 252 条 + * "err=Remote host terminated the handshake" 全部来自 m.media-amazon.com, + * 而这些 URL 事后能直接取到 —— 旧实现一次都不重试,整行因此被判失败并重发。 + */ +class SimilarAsinMainImageDownloadRetryTest { + + private static final String URL = "https://m.media-amazon.com/images/I/61Yh2j3VZmL._AC_SX679_.jpg"; + private static final String RESET = "Remote host terminated the handshake"; + private static final byte[] BODY = new byte[]{1, 2, 3, 4, 5, 6, 7, 8}; + + @AfterEach + void clearInterruptFlag() { + // 中断用例会把标志位留在测试线程上,不清会污染后续测试。 + Thread.interrupted(); + } + + private SimilarAsinLlmService service(SimilarAsinProperties props, HttpClient client) { + SimilarAsinLlmService svc = new SimilarAsinLlmService( + mock(SimilarAsinLlmClient.class), + props, + mock(OssProperties.class), + mock(ProductCategoryService.class), + mock(PuzzleImageMerger.class), + mock(OssStorageService.class), + mock(SimilarAsinImageEmbedder.class)); + svc.setDownloadHttpClientForTest(client); + return svc; + } + + private Object invokeDownload(SimilarAsinLlmService svc, String url) throws Throwable { + Method m = SimilarAsinLlmService.class.getDeclaredMethod("downloadBytes", String.class); + m.setAccessible(true); + try { + return m.invoke(svc, url); + } catch (InvocationTargetException ex) { + throw ex.getCause(); + } + } + + /** 前 {@code failTimes} 次连接级异常,之后返回 200。 */ + private HttpClient flakyClient(int failTimes, AtomicInteger calls) { + HttpClient client = mock(HttpClient.class); + try { + when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class))) + .thenAnswer(invocation -> { + int n = calls.incrementAndGet(); + if (n <= failTimes) { + throw new IOException(RESET); + } + return new StubResponse(200, BODY); + }); + } catch (Exception ex) { + throw new IllegalStateException(ex); + } + return client; + } + + @Test + void 抖动两次后第三次成功_不再丢整行() throws Throwable { + AtomicInteger calls = new AtomicInteger(); + SimilarAsinLlmService svc = service(new SimilarAsinProperties(), flakyClient(2, calls)); + + byte[] bytes = (byte[]) invokeDownload(svc, URL); + + assertArrayEquals(BODY, bytes); + assertEquals(3, calls.get(), "默认额外重试 2 次 → 第三次应成功"); + } + + @Test + void 重试耗尽后抛出带真实原因的IOException() throws Throwable { + AtomicInteger calls = new AtomicInteger(); + SimilarAsinLlmService svc = service(new SimilarAsinProperties(), flakyClient(99, calls)); + + IOException ex = assertThrows(IOException.class, () -> invokeDownload(svc, URL)); + + assertTrue(ex.getMessage().contains(RESET), "要把真实异常带出来,不能再塌成一句「主图转存失败」"); + assertEquals(3, calls.get()); + } + + @Test + void 源站明确回非200时不重试() throws Throwable { + AtomicInteger calls = new AtomicInteger(); + HttpClient client = mock(HttpClient.class); + try { + when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class))) + .thenAnswer(invocation -> { + calls.incrementAndGet(); + return new StubResponse(403, new byte[0]); + }); + } catch (Exception ex) { + throw new IllegalStateException(ex); + } + + assertNull(invokeDownload(service(new SimilarAsinProperties(), client), URL)); + assertEquals(1, calls.get(), "403 是确定答复,重试只是白等超时"); + } + + @Test + void retryTimes置0退回单次尝试旧行为() throws Throwable { + SimilarAsinProperties props = new SimilarAsinProperties(); + props.setLlmImageDownloadRetryTimes(0); + AtomicInteger calls = new AtomicInteger(); + + IOException ex = assertThrows(IOException.class, + () -> invokeDownload(service(props, flakyClient(99, calls)), URL)); + + assertTrue(ex.getMessage().contains(RESET)); + assertEquals(1, calls.get()); + } + + @Test + void 线程被中断时立刻停止重试() throws Throwable { + AtomicInteger calls = new AtomicInteger(); + HttpClient client = mock(HttpClient.class); + try { + when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class))) + .thenAnswer(invocation -> { + calls.incrementAndGet(); + Thread.currentThread().interrupt(); + throw new IOException(RESET); + }); + } catch (Exception ex) { + throw new IllegalStateException(ex); + } + + assertThrows(IOException.class, () -> invokeDownload(service(new SimilarAsinProperties(), client), URL)); + + assertEquals(1, calls.get(), "中断后不该再排下一次重试"); + assertTrue(Thread.currentThread().isInterrupted(), "中断标志必须回设,不能吞掉"); + } + + @Test + void 空URL仍按取不到处理不抛异常() throws Throwable { + HttpClient client = mock(HttpClient.class); + SimilarAsinLlmService svc = service(new SimilarAsinProperties(), client); + + assertNull(invokeDownload(svc, " ")); + assertNull(invokeDownload(svc, null)); + verify(client, never()).send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class)); + } + + private static final class StubResponse implements HttpResponse { + private final int statusCode; + private final byte[] body; + + private StubResponse(int statusCode, byte[] body) { + this.statusCode = statusCode; + this.body = body; + } + + @Override + public int statusCode() { + return statusCode; + } + + @Override + public HttpRequest request() { + return Mockito.mock(HttpRequest.class); + } + + @Override + public java.util.Optional> previousResponse() { + return java.util.Optional.empty(); + } + + @Override + public java.net.http.HttpHeaders headers() { + return java.net.http.HttpHeaders.of(java.util.Map.of(), (a, b) -> true); + } + + @Override + public byte[] body() { + return body; + } + + @Override + public java.net.URI uri() { + return java.net.URI.create(URL); + } + + @Override + public HttpClient.Version version() { + return HttpClient.Version.HTTP_1_1; + } + + @Override + public java.util.Optional sslSession() { + return java.util.Optional.empty(); + } + } +} diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md index ad8a19809..69aaa9d79 100644 --- a/docs/ops/prod-decisions-2026-09-28.md +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -424,3 +424,135 @@ A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻): 先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。 VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 —— 今晚已实测三个私网地址全通。 + +## 六、货源主图转存:252 条失败全是瞬时 TLS 重置(11:3x 查出并已修) + +这条不是"中间件调优",是查别的东西时撞出来的**真在掉数据的口子**,所以记全取证链。 + +- **现象与量级**(主机A,`docker logs --since 180m java-server`,窗口内总行数 20,846 行): + `main download fail` **252 条**、`row failed asin=` **247 条**;失败原因 252 条**全是同一句** + `Remote host terminated the handshake`;源分布 **247 条全部是 `m.media-amazon.com`**(其它源 0 条), + 且 `main download http `(非 200)**0 条** —— 也就是没有任何一次是源站正常答复的错。 +- **失败是按批整片出现的**:按分钟分桶是 `08:21=10 / 08:26=10 / 08:31=20 / 08:33=10 …10:01=10 / 10:43=20 / 10:49=10`, + 一批 10 行一起挂,同批三条时间戳 `10:01:12.805 / .852 / .993` 相差不到 200ms。 +- **证明是瞬时的**:把当时失败的 8 条 URL 原样再取一次,**7 条 200(9.6KB–22KB 不等)**、 + 1 条 `000`(curl 也连不上,那条多半是真死了)。 +- **三个假说逐个验掉**: + 1. "出口 IP 被 Amazon 封了" —— 同机 `curl` HTTP/1.1 与 HTTP/2 都 200、`openssl s_client` 完成 + TLSv1.3 握手(`TLS_AES_128_GCM_SHA256`),解析到的节点 `54.192.34.54`;B 机同样 200。 + 2. "JDK 21 的 TLS 栈有问题" —— 在 A 的容器里直接跑单文件程序 `java /tmp/TlsProbe.java`: + HTTP/1.1 串行 200、复用同一 client 再发 200、HTTP/2 200、**共享 client 24 并发 `{OK=24}`**、 + 每请求新建 client 12 并发 `{OK=12}`、低频 4 并发 8 条全 200(jdk=21.0.7)。 + 3. "并发打爆了 CDN" —— 配置上峰值只有 `llmRowConcurrency=5` 路主图 + 拼图池 `imageDownloadPoolSize=8`, + 而我 24 并发都一次没失败。 + → 落到第四点:**旧实现一次都不重试**。`SimilarAsinLlmService.downloadBytes` 单发,握手被 RST 就 `return null`, + `prepareImages` 随即抛 `主图转存失败: `,**真实异常被丢掉**(我为了知道原因只能去翻紧邻的上一行日志)。 +- **代价的准确形状**(别夸大也别缩小):`prepareImages` 是 `inspectRowInternal` 的**第 1 步**, + 在类目匹配/合规/图片对比这些 LLM 调用**之前** → 失败**不烧 token**; + 但整行被 `markFailed` → 按现在的重发语义下一轮再来,**白占一轮行位**,最终在结果 Excel 里就是一行失败。 +- **改动**:`downloadBytes` 加有界重试。 + - 新键 `aiimage.similar-asin.llm-image-download-retry-times`,默认 **2(额外次数,总 3 次尝试)**;置 **0 即完全退回旧行为**。 + - **只重试连接级异常**;非 200 直接返回 null 不重试(源站的确定答复,重试只是白等超时)。 + - 加 25 秒总预算常量护栏:慢源 hang 住时不放大尾延迟(同模块 alicdn 已被这件事咬过, + 见 `SimilarAsinImageEmbedder` 里"8s + retry=1 → 改回 5s + retry=2"那条注释)。 + - 重试成功打 `main download retry-success url=… attempt=n/N`;耗尽后抛 `IOException("主图下载失败(<真实原因>)")`, + `prepareImages` 再拼成 `主图转存失败: 原因: <真实原因>` → **行失败日志从此自带原因**。 +- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例全绿(抖动两次第三次成功 / 耗尽后异常里带真实原因 / + 403 只发一次 / retryTimes=0 退回单次 / 线程中断立刻停止重试且标志回设 / 空 URL 不抛), + 原有 `SimilarAsinLlmServiceTest` 8 例未受影响。 +- **回滚不用回退 jar**:`/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES="0"` 后重启 java 即可。 + 该键已按本仓库惯例写进 `application.yml:380`(`llm-image-download-retry-times: ${AIIMAGE_..._RETRY_TIMES:2}`), + 所以运维在 yml 里就能看见它,回滚走的是 **yml 占位符**而不是 relaxed binding —— 这条是确定性的。 + (补记:第一版我只把默认值写在 Java 字段里,yml 没这一行,那样 env 覆盖就只能靠命名松散绑定;打包后自查发现 `yml has retry key: False` 才补上, + 补完必须重打包,因为 yml 在 jar 内。) +- **发版后要看的数**:`main download retry-success` 与 `main download fail` 的比值。 + 若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的, + 那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。 + +## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板) + +- 实测 `du -m /var/lib/docker/containers/*/*-json.log` 的前几名**及归属**(id 取目录名,别用 `basename $f -- '-json.log'`, + 那写法会把 id 取空、`docker inspect` 报错,然后被我自己的兜底文案伪装成"残留目录"这个假结论): + + | 主机 | 当前体积 | 容器 | 容器创建时间 | **实测日均**(近 2 万行的时间跨度折算) | + |---|---|---|---|---| + | B | **3591 MB** | `1Panel-openresty-iXP2` | 2026-04-09 | **184 MB/天**(619,577 行/天) | + | A | **2666 MB** | `java-server` | 2026-09-16 | **180 MB/天**(385,887 行/天) | + | B | 1063 MB | `1Panel-gitea-AgMc` | 2026-08-12 | 53 MB/天(158,025 行/天) | + | B | 318 MB | `java-server` | 2026-09-16 | 41 MB/天(144,687 行/天) | + | A | 1820 MB | `1Panel-openresty-8XvI` | 2026-04-09 | 9 MB/天(31,926 行/天) | + | A | 1684 MB | `shufu-redis-master` | 2026-08-25 | **0.2 MB/天(1,742 行/天)** | + + ⚠ **第一版这张表我是拿"体积 ÷ 存活天数"摊的,几乎每行都错**(redis 摊出 "~50 MB/天"、B openresty 摊出 "~21 MB/天")。 + 正确做法是 `tail -n 20000` 的首尾两条 `"time"` 求跨度,再用 `tail -n 20000 | wc -c` 求字节量 —— 摊出来的平均会把 + 历史上的突发当成常态,还会把"最近才变快的"(B openresty)压平。 +- **redis 那 1.68GB 已经查清了,不是"速率异常",是一次 9 分钟的重连风暴**: + 全文共 10,617,262 行 / 平均行长 165 字节,而按行号采样时间戳, + **第 1 行 = `2026-08-25T05:34:16`(容器刚创建)、第 10,070,001 行 = `2026-08-25T05:43:27`** + → 95% 的体积是**创建后头 9 分钟**写出来的,之后到 09-18 才又爬了 53 万行。 + 那 9 分钟在刷什么:`Master replied to PING, replica…` / `Non blocking connect for SYNC fa…` / + `Retrying with SYNC…` / `(Non critical) Master does not …` / `Trying a partial resynchroniz…` / + `Unexpected reply to PSYNC from …` / `MASTER aborted replication with…` / `Reconnecting to MASTER 192.168.…` + —— 典型的**副本对主库的 PSYNC 被拒 → 立刻重连**紧循环(10.07M 行 ÷ 551 秒 ≈ **1.8 万行/秒**),不是 crash。 + 当前这台的实际写入量是 **2.9 字节/秒 ≈ 0.25 MB/天**(就是每 5 分钟一次 BGSAVE 那三行), + 所以这条从"值得单独取证"降级为"历史一次性事件,止血时随别的一起 truncate 即可"。 +- **但顺带查到一条会误导人的事实:redis 容器名与实际角色是反的**(`docker logs | grep -oE '[0-9]+:[SMX] [0-9]{2} [A-Za-z]{3}' | tail -1` 实测): + A 上叫 **`shufu-redis-master`** 的容器今天的前缀是 **`1:S`(slave)**,B 上叫 **`shufu-redis-replica`** 的容器是 **`1:M`(master)**, + 两边 sentinel 日志里都留着 `25 Aug 06:32:56 +switch-master mymaster 192.168.0.171 16379 → 192.168.0.170 16379` + —— 也就是 8-25 那次故障切换之后角色就固定在"名字相反"的状态了(上面那场 SYNC 风暴正是那次切换前后发生的)。 + **看名字判断主从会判反**,要认角色读日志前缀或 `INFO replication`。这也和第六节 java 侧实测一致:数据连接落在 `.170`。 +- **B openresty 为什么涨到 193 MB/天 —— 已定性,是客户端轮询而不是攻击**: + 按行号采样时间戳看增长曲线,`2026-04-09` 到 `2026-09-11` 才写到第 90 万行(约 6 千行/天), + 之后每 90 万行只花 1~2 天 → **9-11 前后涨了约 100 倍**。近 2 万行的构成: + `/newApi/api/collect-data/tasks/progress/light` 5,073 + `price-track` 1,471 + `appearance-patent` 1,325 + + 其余各 `progress/light` 合计约 8,400 行(**42%**)、`/api/tasks/pull-pending` 3,201(16%)、 + `/newApi/api/notifications/summary` 2,947(15%)→ **约 73% 的访问日志是这三个轮询接口**。 + 状态码:20,000 行里匹配到状态码的有 19,878 条,其中 **200 = 19,784、304 = 94,4xx/5xx = 0** + (剩 122 行是 nginx 自己的 notice/error 行,不带状态码)→ 不是被打,是自己人在轮询。 + **可选的低成本止血**(本轮没做,属要人拍板:会损失这些接口的访问记录): + 在 B 的 openresty 站点配置里对 `progress/light`、`pull-pending`、`notifications/summary` 三条 location 加 + `access_log off;`(或单独降级到一个可轮转的日志文件),按上面的占比**能砍掉约 7 成的 193 MB/天**, + 且 `nginx -s reload` 是 graceful、**不重启容器、不断长连接**。 + 反过来说:如果以后要靠访问日志查"某次轮询有没有返回过 304/401",这条就查不到了 —— 所以先问要不要留样。 +- **来源构成(同一批 20,000 行里数 `{"log":"` 后面的 IP,注意宿主机 `ss` 与 `grep '^[0-9]'` 两种写法都取不到,因为每行以 JSON 开头)**: + 一共只有 **10 个来源 IP**,`8.149.69.98` 一个占 **12,843 行(64%)**,`8.139.247.224` 2,875、`8.139.195.39` 2,201、 + `183.253.114.241` 441、`8.139.170.222` 413、`183.220.59.30` 407、`120.33.224.243` 296、`121.205.250.173` 166、 + **`47.110.241.161` 68(= 主机A 自己的 EIP)**。UA 分布:`Mozilla/5.0 Windows` 12,904、`python-requests/2.32.5` 6,698、 + `python-requests/2.32.3` 153、`Mozilla WOW64` 35(合计 19,790,其余是 nginx 自己的 notice 行)。 + `python-requests` 那批打的是 `/api/tasks/pull-pending`(3,203) + `/api/internal/device-logs/upload`(834) + + `device-logs/config`(658) + `user-secret-usage`(136) + `similar-asin/tasks//result` + `tasks//heartbeat` + → **是采集端在领任务/回报,不是外部扫描**,所以 193 MB/天是"自家轮询设计"的账单,要降量得从轮询频率/日志策略两侧挑一边。 +- **顺带发现一条真实的公网绕行,但调用方没认领到(不要当成已定性)**:`47.110.241.161`(主机A 的 EIP)作为**客户端**出现了 68 次, + UA 是 `axios/1.20.0`,打的是 `GET /newApi/check_login` 和 `POST /newApi/login`(10:59:48–49 连续一串,全 200)。 + 那一刻 A 宿主机与各容器 netns 里到 `121.196.149.225` 的 ESTAB 都是 **0 条**(短连接,采样撞不上)。 + A 上常驻两个 node 进程(`/www/wwwroot/jlyj.ditiansui.online/server/video-api.js` 跑了 18 天、`dist/server/main.js` 跑了 5 天) + **只是候选,我没证到是它俩之一** —— 想认领就在 A 上 `tcpdump -i eth0 -nn host 121.196.149.225 and port 443 -c 3` 拿源端口, + 再 `ss -tnp 'sport = :<端口>'` 取 pid。**注意这是 Node 侧发出的 axios(浏览器发的 axios 会带 Mozilla UA)**, + 所以是服务器上的脚本在按域名登录自己的 API,不是用户在刷页面。 + 量级 68/20,000 = 0.34%,**不是性能问题**,本轮没动。 + 它给 §4.4 那句"两台之间业务链路无公网残留"划了个边界:**那句的范围是 java↔MySQL/redis/MQ/OSS**(已实测走私网), + 不含"A 上还可能有别的进程按 `api.aishufu.top` 域名绕回 B"。 +- **磁盘不紧张**(A 用 33% 剩 317G、B 用 18% 剩 388G),真正的代价是**取证速度**,而且我一开始把这条判错了: + 实测同一台 A 上 `docker logs --tail 5` = **12 ms**(docker 从文件尾部反向取), + 而 `docker logs --since 1m` = **19,631 ms**、`docker logs`(全量 6,286,829 行)= 22,063 ms + → **`--since` 一点都省不了,它仍然从头解析整个 2.6GB 文件**;省的是输出量,不是时间。 + 本轮我所有探测都用 `--since`,等于每次白付 ~20 秒。 + **以后探测一律优先 `--tail N` + 本地按时间戳过滤**,只有真的要看"某个绝对时间点之后"才用 `--since`。 +- 想加 `log-opts: {max-size, max-file}` 要改 `/etc/docker/daemon.json` 并 `systemctl restart docker`,而 + **两台的 daemon.json 里只有 `registry-mirrors`、没有 `live-restore`**(docker 默认 false)→ + **重启 dockerd 会把该机上所有容器一起重启**,包括 MySQL 主库、MinIO、redis 四件套、两台 java。这是本条没做的直接原因。 +- 还有一层:`log-opts` 只对**新建容器**生效,现有容器得 recreate 才吃到 —— + 而 recreate 又会把今晚 `docker update` 抬的三处内存限额打回(见第一节附的表)。 +- 所以顺序建议:① 先把三处限额写进 1Panel 控制台(持久化)→ ② 开 `live-restore: true`(这一次重启仍会连带重启容器, + 但**之后**重启 dockerd 就不再影响业务)→ ③ 最后逐台加 `log-opts` 并按 recreate 窗口滚动生效。 +- 期间可以做的**低风险止血**(不需要决策,但要写文件,本轮没动):把已经确认不需要的历史 json.log 用 + `truncate -s 0` 清零(docker 以 O_APPEND 持有 fd,清零后继续写、不会破坏文件), + 一次能回收 2.6GB/1.7GB/3.6GB。**代价是那段历史读不回来了** —— 今晚的取证全靠这些日志, + 所以我倾向于先给 java 的日志降量或先把关键窗口 dump 出来,再清零。这条留给用户定。 +- **如果只做一次 `truncate`,先做 A 的 `shufu-redis-master`**:它的文件 17.65 亿字节里有 + **10.07M/10.62M 行(95%)是 2026-08-25 05:34:16–05:43:27 那 9 分钟的一次性风暴**, + 当前只写 0.25 MB/天 —— 清掉它几乎不损失任何"以后可能还要看"的东西,一次回收 1.7GB。 + 相比之下 java/B-openresty 那两坨是**持续的**(180–193 MB/天),清完三天就长回来,属于必须配 `log-opts` 才解决的那类。 + + 清的顺序按**实测增速**而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级; + redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。