fix(货源): 主图转存对瞬时 TLS 重置做有界重试,失败行日志带上真实原因
生产取证:主机A 近 3 小时 252 条 `main download fail` 全是 m.media-amazon.com 的 "Remote host terminated the handshake",而这些 URL 事后重取 8 条里 7 条直接 200。 旧实现单发、握手被 RST 就 return null 并丢掉真实异常,导致整行白占一轮重发。 新增 aiimage.similar-asin.llm-image-download-retry-times(默认额外 2 次,置 0 退回旧行为), 只重试连接级异常,非 200 不重试;25 秒总预算防慢源放大尾延迟;重试耗尽抛 IOException 让行失败原因上行到日志。
This commit is contained in:
@@ -186,4 +186,13 @@ public class SimilarAsinProperties {
|
||||
|
||||
/** 拼接图/主图下载超时(秒),慢源图片较多时放大该值。 */
|
||||
private int llmImageDownloadTimeoutSeconds = 10;
|
||||
|
||||
/**
|
||||
* 主图转存的<b>额外</b>重试次数(0=不重试,与原行为一致)。
|
||||
* 依据 2026-09-28 生产取证:主机A 近 3 小时 252 条主图下载失败全部是
|
||||
* {@code m.media-amazon.com} 的 "Remote host terminated the handshake",
|
||||
* 而这些 URL 事后 curl 8 条里 7 条直接 200 —— 瞬时抖动,重试就能救回整行
|
||||
* (不重试则整行判失败并重发一轮流程)。设 0 可退回旧行为。
|
||||
*/
|
||||
private int llmImageDownloadRetryTimes = 2;
|
||||
}
|
||||
|
||||
+71
-21
@@ -16,6 +16,7 @@ import lombok.RequiredArgsConstructor;
|
||||
import lombok.extern.slf4j.Slf4j;
|
||||
import org.springframework.stereotype.Service;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.net.URI;
|
||||
import java.net.http.HttpClient;
|
||||
import java.net.http.HttpRequest;
|
||||
@@ -58,6 +59,9 @@ public class SimilarAsinLlmService {
|
||||
private static final String STATUS_NOT_EXISTS = "不存在";
|
||||
private static final String NO_MATCH = "无";
|
||||
|
||||
/** 单行主图下载(含重试)的耗时上限,超过就带着最后一次异常退出重试。 */
|
||||
private static final long MAIN_DOWNLOAD_BUDGET_MILLIS = 25_000L;
|
||||
|
||||
/**
|
||||
* 一级/二级类目合并匹配系统提示词(工作流 109409/1544733 两次调用合一):
|
||||
* 候选以「一级 → 其下二级」的两层清单一次给出,ID 字段仍不进输出契约
|
||||
@@ -318,7 +322,13 @@ public class SimilarAsinLlmService {
|
||||
row.setMainUrl("");
|
||||
return;
|
||||
}
|
||||
String stored = uploadExternalUrlToSupplyImages(primaryUrl);
|
||||
String stored;
|
||||
try {
|
||||
stored = uploadExternalUrlToSupplyImages(primaryUrl);
|
||||
} catch (IOException ex) {
|
||||
throw new IllegalStateException("主图转存失败: " + abbreviate(primaryUrl, 160)
|
||||
+ " 原因: " + failureMessage(ex), ex);
|
||||
}
|
||||
if (stored == null) {
|
||||
throw new IllegalStateException("主图转存失败: " + abbreviate(primaryUrl, 160));
|
||||
}
|
||||
@@ -499,8 +509,12 @@ public class SimilarAsinLlmService {
|
||||
return ossStorageService.getPublicUrl(objectKey);
|
||||
}
|
||||
|
||||
/** 下载外部图片并转存到 MinIO supply_images,失败返回 null。 */
|
||||
private String uploadExternalUrlToSupplyImages(String url) {
|
||||
/**
|
||||
* 下载外部图片并转存到 MinIO supply_images。
|
||||
* 返回 null="这张图确实取不到"(URL 为空或源站给了非 200);连接级失败重试耗尽后抛 IOException,
|
||||
* 让行失败原因带上真实错误(旧实现只回 null,日志里塌成一句"主图转存失败: <url>",看不出是可重试的抖动)。
|
||||
*/
|
||||
private String uploadExternalUrlToSupplyImages(String url) throws IOException {
|
||||
byte[] bytes = downloadBytes(url);
|
||||
if (bytes == null) {
|
||||
return null;
|
||||
@@ -534,30 +548,66 @@ public class SimilarAsinLlmService {
|
||||
return raw;
|
||||
}
|
||||
|
||||
private byte[] downloadBytes(String url) {
|
||||
/**
|
||||
* 主图下载:连接级异常按 {@code aiimage.similar-asin.llm-image-download-retry-times} 重试(默认额外 2 次)。
|
||||
* 只重试连接级失败——非 200 是源站的确定答复,重试只是白等超时。
|
||||
* 总耗时受 {@link #MAIN_DOWNLOAD_BUDGET_MILLIS} 约束:慢源 hang 住时不放大尾延迟
|
||||
* (同模块的 alicdn 拼图已被这条咬过,见 SimilarAsinProperties#imageDownloadTimeoutSeconds 注释)。
|
||||
*/
|
||||
private byte[] downloadBytes(String url) throws IOException {
|
||||
String trimmed = url == null ? "" : url.trim();
|
||||
if (trimmed.isBlank()) {
|
||||
return null;
|
||||
}
|
||||
int timeoutSeconds = Math.max(1, properties.getLlmImageDownloadTimeoutSeconds());
|
||||
try {
|
||||
HttpRequest request = HttpRequest.newBuilder()
|
||||
.uri(URI.create(trimmed))
|
||||
.timeout(Duration.ofSeconds(timeoutSeconds))
|
||||
.header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)")
|
||||
// 刻意不发 Referer:阿里图床按 Referer 白名单防盗链,外链域名会被判 403
|
||||
// (实测 cbu01.alicdn.com 带外站 Referer 稳定 403、无 Referer 直接 200)。
|
||||
.GET()
|
||||
.build();
|
||||
HttpResponse<byte[]> response = downloadHttpClient().send(request, HttpResponse.BodyHandlers.ofByteArray());
|
||||
if (response.statusCode() == 200 && response.body() != null && response.body().length > 0) {
|
||||
return response.body();
|
||||
int retryTimes = Math.max(0, properties.getLlmImageDownloadRetryTimes());
|
||||
long deadline = System.currentTimeMillis() + MAIN_DOWNLOAD_BUDGET_MILLIS;
|
||||
IOException last = null;
|
||||
for (int attempt = 0; attempt <= retryTimes; attempt++) {
|
||||
if (attempt > 0 && (System.currentTimeMillis() > deadline || !sleepBeforeRetry(attempt))) {
|
||||
break;
|
||||
}
|
||||
log.warn("[similar-asin][llm] main download http {} url={}", response.statusCode(), abbreviate(trimmed, 160));
|
||||
return null;
|
||||
} catch (Exception ex) {
|
||||
log.warn("[similar-asin][llm] main download fail url={} err={}", abbreviate(trimmed, 160), failureMessage(ex));
|
||||
return null;
|
||||
try {
|
||||
HttpRequest request = HttpRequest.newBuilder()
|
||||
.uri(URI.create(trimmed))
|
||||
.timeout(Duration.ofSeconds(timeoutSeconds))
|
||||
.header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)")
|
||||
// 刻意不发 Referer:阿里图床按 Referer 白名单防盗链,外链域名会被判 403
|
||||
// (实测 cbu01.alicdn.com 带外站 Referer 稳定 403、无 Referer 直接 200)。
|
||||
.GET()
|
||||
.build();
|
||||
HttpResponse<byte[]> response = downloadHttpClient().send(request, HttpResponse.BodyHandlers.ofByteArray());
|
||||
if (response.statusCode() == 200 && response.body() != null && response.body().length > 0) {
|
||||
if (attempt > 0) {
|
||||
log.info("[similar-asin][llm] main download retry-success url={} attempt={}/{}",
|
||||
abbreviate(trimmed, 160), attempt + 1, retryTimes + 1);
|
||||
}
|
||||
return response.body();
|
||||
}
|
||||
log.warn("[similar-asin][llm] main download http {} url={}", response.statusCode(), abbreviate(trimmed, 160));
|
||||
return null;
|
||||
} catch (InterruptedException ex) {
|
||||
Thread.currentThread().interrupt();
|
||||
return null;
|
||||
} catch (Exception ex) {
|
||||
last = new IOException("主图下载失败(" + failureMessage(ex) + ")", ex);
|
||||
log.warn("[similar-asin][llm] main download fail url={} attempt={}/{} err={}",
|
||||
abbreviate(trimmed, 160), attempt + 1, retryTimes + 1, failureMessage(ex));
|
||||
if (Thread.currentThread().isInterrupted()) {
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
throw last == null ? new IOException("主图下载失败: " + abbreviate(trimmed, 160)) : last;
|
||||
}
|
||||
|
||||
private static boolean sleepBeforeRetry(int attempt) {
|
||||
try {
|
||||
Thread.sleep(Math.min(1000L, 250L * attempt));
|
||||
return true;
|
||||
} catch (InterruptedException ex) {
|
||||
Thread.currentThread().interrupt();
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
@@ -377,6 +377,7 @@ aiimage:
|
||||
llm-retry-times: ${AIIMAGE_SIMILAR_ASIN_LLM_RETRY_TIMES:3}
|
||||
llm-row-concurrency: ${AIIMAGE_SIMILAR_ASIN_LLM_ROW_CONCURRENCY:5}
|
||||
llm-image-download-timeout-seconds: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_TIMEOUT_SECONDS:10}
|
||||
llm-image-download-retry-times: ${AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES:2}
|
||||
collect-data:
|
||||
stale-timeout-minutes: ${AIIMAGE_COLLECT_DATA_STALE_TIMEOUT_MINUTES:30}
|
||||
no-result-upload-timeout-minutes: ${AIIMAGE_COLLECT_DATA_NO_RESULT_UPLOAD_TIMEOUT_MINUTES:180}
|
||||
|
||||
+226
@@ -0,0 +1,226 @@
|
||||
package com.nanri.aiimage.modules.similarasin.service;
|
||||
|
||||
import com.nanri.aiimage.config.OssProperties;
|
||||
import com.nanri.aiimage.config.SimilarAsinProperties;
|
||||
import com.nanri.aiimage.modules.file.service.oss.OssStorageService;
|
||||
import com.nanri.aiimage.modules.productcategory.service.ProductCategoryService;
|
||||
import com.nanri.aiimage.modules.similarasin.client.SimilarAsinLlmClient;
|
||||
import com.nanri.aiimage.modules.similarasin.util.PuzzleImageMerger;
|
||||
import com.nanri.aiimage.modules.similarasin.util.SimilarAsinImageEmbedder;
|
||||
import org.junit.jupiter.api.AfterEach;
|
||||
import org.junit.jupiter.api.Test;
|
||||
import org.mockito.Mockito;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.lang.reflect.InvocationTargetException;
|
||||
import java.lang.reflect.Method;
|
||||
import java.net.http.HttpClient;
|
||||
import java.net.http.HttpRequest;
|
||||
import java.net.http.HttpResponse;
|
||||
import java.util.List;
|
||||
import java.util.concurrent.atomic.AtomicInteger;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertArrayEquals;
|
||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
import static org.junit.jupiter.api.Assertions.assertNull;
|
||||
import static org.junit.jupiter.api.Assertions.assertThrows;
|
||||
import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||
import static org.mockito.ArgumentMatchers.any;
|
||||
import static org.mockito.Mockito.mock;
|
||||
import static org.mockito.Mockito.never;
|
||||
import static org.mockito.Mockito.times;
|
||||
import static org.mockito.Mockito.verify;
|
||||
import static org.mockito.Mockito.when;
|
||||
|
||||
/**
|
||||
* 主图下载重试语义。动因是 2026-09-28 生产取证:主机A 近 3 小时 252 条
|
||||
* "err=Remote host terminated the handshake" 全部来自 m.media-amazon.com,
|
||||
* 而这些 URL 事后能直接取到 —— 旧实现一次都不重试,整行因此被判失败并重发。
|
||||
*/
|
||||
class SimilarAsinMainImageDownloadRetryTest {
|
||||
|
||||
private static final String URL = "https://m.media-amazon.com/images/I/61Yh2j3VZmL._AC_SX679_.jpg";
|
||||
private static final String RESET = "Remote host terminated the handshake";
|
||||
private static final byte[] BODY = new byte[]{1, 2, 3, 4, 5, 6, 7, 8};
|
||||
|
||||
@AfterEach
|
||||
void clearInterruptFlag() {
|
||||
// 中断用例会把标志位留在测试线程上,不清会污染后续测试。
|
||||
Thread.interrupted();
|
||||
}
|
||||
|
||||
private SimilarAsinLlmService service(SimilarAsinProperties props, HttpClient client) {
|
||||
SimilarAsinLlmService svc = new SimilarAsinLlmService(
|
||||
mock(SimilarAsinLlmClient.class),
|
||||
props,
|
||||
mock(OssProperties.class),
|
||||
mock(ProductCategoryService.class),
|
||||
mock(PuzzleImageMerger.class),
|
||||
mock(OssStorageService.class),
|
||||
mock(SimilarAsinImageEmbedder.class));
|
||||
svc.setDownloadHttpClientForTest(client);
|
||||
return svc;
|
||||
}
|
||||
|
||||
private Object invokeDownload(SimilarAsinLlmService svc, String url) throws Throwable {
|
||||
Method m = SimilarAsinLlmService.class.getDeclaredMethod("downloadBytes", String.class);
|
||||
m.setAccessible(true);
|
||||
try {
|
||||
return m.invoke(svc, url);
|
||||
} catch (InvocationTargetException ex) {
|
||||
throw ex.getCause();
|
||||
}
|
||||
}
|
||||
|
||||
/** 前 {@code failTimes} 次连接级异常,之后返回 200。 */
|
||||
private HttpClient flakyClient(int failTimes, AtomicInteger calls) {
|
||||
HttpClient client = mock(HttpClient.class);
|
||||
try {
|
||||
when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class)))
|
||||
.thenAnswer(invocation -> {
|
||||
int n = calls.incrementAndGet();
|
||||
if (n <= failTimes) {
|
||||
throw new IOException(RESET);
|
||||
}
|
||||
return new StubResponse(200, BODY);
|
||||
});
|
||||
} catch (Exception ex) {
|
||||
throw new IllegalStateException(ex);
|
||||
}
|
||||
return client;
|
||||
}
|
||||
|
||||
@Test
|
||||
void 抖动两次后第三次成功_不再丢整行() throws Throwable {
|
||||
AtomicInteger calls = new AtomicInteger();
|
||||
SimilarAsinLlmService svc = service(new SimilarAsinProperties(), flakyClient(2, calls));
|
||||
|
||||
byte[] bytes = (byte[]) invokeDownload(svc, URL);
|
||||
|
||||
assertArrayEquals(BODY, bytes);
|
||||
assertEquals(3, calls.get(), "默认额外重试 2 次 → 第三次应成功");
|
||||
}
|
||||
|
||||
@Test
|
||||
void 重试耗尽后抛出带真实原因的IOException() throws Throwable {
|
||||
AtomicInteger calls = new AtomicInteger();
|
||||
SimilarAsinLlmService svc = service(new SimilarAsinProperties(), flakyClient(99, calls));
|
||||
|
||||
IOException ex = assertThrows(IOException.class, () -> invokeDownload(svc, URL));
|
||||
|
||||
assertTrue(ex.getMessage().contains(RESET), "要把真实异常带出来,不能再塌成一句「主图转存失败」");
|
||||
assertEquals(3, calls.get());
|
||||
}
|
||||
|
||||
@Test
|
||||
void 源站明确回非200时不重试() throws Throwable {
|
||||
AtomicInteger calls = new AtomicInteger();
|
||||
HttpClient client = mock(HttpClient.class);
|
||||
try {
|
||||
when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class)))
|
||||
.thenAnswer(invocation -> {
|
||||
calls.incrementAndGet();
|
||||
return new StubResponse(403, new byte[0]);
|
||||
});
|
||||
} catch (Exception ex) {
|
||||
throw new IllegalStateException(ex);
|
||||
}
|
||||
|
||||
assertNull(invokeDownload(service(new SimilarAsinProperties(), client), URL));
|
||||
assertEquals(1, calls.get(), "403 是确定答复,重试只是白等超时");
|
||||
}
|
||||
|
||||
@Test
|
||||
void retryTimes置0退回单次尝试旧行为() throws Throwable {
|
||||
SimilarAsinProperties props = new SimilarAsinProperties();
|
||||
props.setLlmImageDownloadRetryTimes(0);
|
||||
AtomicInteger calls = new AtomicInteger();
|
||||
|
||||
IOException ex = assertThrows(IOException.class,
|
||||
() -> invokeDownload(service(props, flakyClient(99, calls)), URL));
|
||||
|
||||
assertTrue(ex.getMessage().contains(RESET));
|
||||
assertEquals(1, calls.get());
|
||||
}
|
||||
|
||||
@Test
|
||||
void 线程被中断时立刻停止重试() throws Throwable {
|
||||
AtomicInteger calls = new AtomicInteger();
|
||||
HttpClient client = mock(HttpClient.class);
|
||||
try {
|
||||
when(client.send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class)))
|
||||
.thenAnswer(invocation -> {
|
||||
calls.incrementAndGet();
|
||||
Thread.currentThread().interrupt();
|
||||
throw new IOException(RESET);
|
||||
});
|
||||
} catch (Exception ex) {
|
||||
throw new IllegalStateException(ex);
|
||||
}
|
||||
|
||||
assertThrows(IOException.class, () -> invokeDownload(service(new SimilarAsinProperties(), client), URL));
|
||||
|
||||
assertEquals(1, calls.get(), "中断后不该再排下一次重试");
|
||||
assertTrue(Thread.currentThread().isInterrupted(), "中断标志必须回设,不能吞掉");
|
||||
}
|
||||
|
||||
@Test
|
||||
void 空URL仍按取不到处理不抛异常() throws Throwable {
|
||||
HttpClient client = mock(HttpClient.class);
|
||||
SimilarAsinLlmService svc = service(new SimilarAsinProperties(), client);
|
||||
|
||||
assertNull(invokeDownload(svc, " "));
|
||||
assertNull(invokeDownload(svc, null));
|
||||
verify(client, never()).send(any(HttpRequest.class), any(HttpResponse.BodyHandler.class));
|
||||
}
|
||||
|
||||
private static final class StubResponse implements HttpResponse<byte[]> {
|
||||
private final int statusCode;
|
||||
private final byte[] body;
|
||||
|
||||
private StubResponse(int statusCode, byte[] body) {
|
||||
this.statusCode = statusCode;
|
||||
this.body = body;
|
||||
}
|
||||
|
||||
@Override
|
||||
public int statusCode() {
|
||||
return statusCode;
|
||||
}
|
||||
|
||||
@Override
|
||||
public HttpRequest request() {
|
||||
return Mockito.mock(HttpRequest.class);
|
||||
}
|
||||
|
||||
@Override
|
||||
public java.util.Optional<HttpResponse<byte[]>> previousResponse() {
|
||||
return java.util.Optional.empty();
|
||||
}
|
||||
|
||||
@Override
|
||||
public java.net.http.HttpHeaders headers() {
|
||||
return java.net.http.HttpHeaders.of(java.util.Map.of(), (a, b) -> true);
|
||||
}
|
||||
|
||||
@Override
|
||||
public byte[] body() {
|
||||
return body;
|
||||
}
|
||||
|
||||
@Override
|
||||
public java.net.URI uri() {
|
||||
return java.net.URI.create(URL);
|
||||
}
|
||||
|
||||
@Override
|
||||
public HttpClient.Version version() {
|
||||
return HttpClient.Version.HTTP_1_1;
|
||||
}
|
||||
|
||||
@Override
|
||||
public java.util.Optional<javax.net.ssl.SSLSession> sslSession() {
|
||||
return java.util.Optional.empty();
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -424,3 +424,135 @@ A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻):
|
||||
先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。
|
||||
VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 ——
|
||||
今晚已实测三个私网地址全通。
|
||||
|
||||
## 六、货源主图转存:252 条失败全是瞬时 TLS 重置(11:3x 查出并已修)
|
||||
|
||||
这条不是"中间件调优",是查别的东西时撞出来的**真在掉数据的口子**,所以记全取证链。
|
||||
|
||||
- **现象与量级**(主机A,`docker logs --since 180m java-server`,窗口内总行数 20,846 行):
|
||||
`main download fail` **252 条**、`row failed asin=` **247 条**;失败原因 252 条**全是同一句**
|
||||
`Remote host terminated the handshake`;源分布 **247 条全部是 `m.media-amazon.com`**(其它源 0 条),
|
||||
且 `main download http `(非 200)**0 条** —— 也就是没有任何一次是源站正常答复的错。
|
||||
- **失败是按批整片出现的**:按分钟分桶是 `08:21=10 / 08:26=10 / 08:31=20 / 08:33=10 …10:01=10 / 10:43=20 / 10:49=10`,
|
||||
一批 10 行一起挂,同批三条时间戳 `10:01:12.805 / .852 / .993` 相差不到 200ms。
|
||||
- **证明是瞬时的**:把当时失败的 8 条 URL 原样再取一次,**7 条 200(9.6KB–22KB 不等)**、
|
||||
1 条 `000`(curl 也连不上,那条多半是真死了)。
|
||||
- **三个假说逐个验掉**:
|
||||
1. "出口 IP 被 Amazon 封了" —— 同机 `curl` HTTP/1.1 与 HTTP/2 都 200、`openssl s_client` 完成
|
||||
TLSv1.3 握手(`TLS_AES_128_GCM_SHA256`),解析到的节点 `54.192.34.54`;B 机同样 200。
|
||||
2. "JDK 21 的 TLS 栈有问题" —— 在 A 的容器里直接跑单文件程序 `java /tmp/TlsProbe.java`:
|
||||
HTTP/1.1 串行 200、复用同一 client 再发 200、HTTP/2 200、**共享 client 24 并发 `{OK=24}`**、
|
||||
每请求新建 client 12 并发 `{OK=12}`、低频 4 并发 8 条全 200(jdk=21.0.7)。
|
||||
3. "并发打爆了 CDN" —— 配置上峰值只有 `llmRowConcurrency=5` 路主图 + 拼图池 `imageDownloadPoolSize=8`,
|
||||
而我 24 并发都一次没失败。
|
||||
→ 落到第四点:**旧实现一次都不重试**。`SimilarAsinLlmService.downloadBytes` 单发,握手被 RST 就 `return null`,
|
||||
`prepareImages` 随即抛 `主图转存失败: <url>`,**真实异常被丢掉**(我为了知道原因只能去翻紧邻的上一行日志)。
|
||||
- **代价的准确形状**(别夸大也别缩小):`prepareImages` 是 `inspectRowInternal` 的**第 1 步**,
|
||||
在类目匹配/合规/图片对比这些 LLM 调用**之前** → 失败**不烧 token**;
|
||||
但整行被 `markFailed` → 按现在的重发语义下一轮再来,**白占一轮行位**,最终在结果 Excel 里就是一行失败。
|
||||
- **改动**:`downloadBytes` 加有界重试。
|
||||
- 新键 `aiimage.similar-asin.llm-image-download-retry-times`,默认 **2(额外次数,总 3 次尝试)**;置 **0 即完全退回旧行为**。
|
||||
- **只重试连接级异常**;非 200 直接返回 null 不重试(源站的确定答复,重试只是白等超时)。
|
||||
- 加 25 秒总预算常量护栏:慢源 hang 住时不放大尾延迟(同模块 alicdn 已被这件事咬过,
|
||||
见 `SimilarAsinImageEmbedder` 里"8s + retry=1 → 改回 5s + retry=2"那条注释)。
|
||||
- 重试成功打 `main download retry-success url=… attempt=n/N`;耗尽后抛 `IOException("主图下载失败(<真实原因>)")`,
|
||||
`prepareImages` 再拼成 `主图转存失败: <url> 原因: <真实原因>` → **行失败日志从此自带原因**。
|
||||
- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例全绿(抖动两次第三次成功 / 耗尽后异常里带真实原因 /
|
||||
403 只发一次 / retryTimes=0 退回单次 / 线程中断立刻停止重试且标志回设 / 空 URL 不抛),
|
||||
原有 `SimilarAsinLlmServiceTest` 8 例未受影响。
|
||||
- **回滚不用回退 jar**:`/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES="0"` 后重启 java 即可。
|
||||
该键已按本仓库惯例写进 `application.yml:380`(`llm-image-download-retry-times: ${AIIMAGE_..._RETRY_TIMES:2}`),
|
||||
所以运维在 yml 里就能看见它,回滚走的是 **yml 占位符**而不是 relaxed binding —— 这条是确定性的。
|
||||
(补记:第一版我只把默认值写在 Java 字段里,yml 没这一行,那样 env 覆盖就只能靠命名松散绑定;打包后自查发现 `yml has retry key: False` 才补上,
|
||||
补完必须重打包,因为 yml 在 jar 内。)
|
||||
- **发版后要看的数**:`main download retry-success` 与 `main download fail` 的比值。
|
||||
若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的,
|
||||
那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。
|
||||
|
||||
## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板)
|
||||
|
||||
- 实测 `du -m /var/lib/docker/containers/*/*-json.log` 的前几名**及归属**(id 取目录名,别用 `basename $f -- '-json.log'`,
|
||||
那写法会把 id 取空、`docker inspect` 报错,然后被我自己的兜底文案伪装成"残留目录"这个假结论):
|
||||
|
||||
| 主机 | 当前体积 | 容器 | 容器创建时间 | **实测日均**(近 2 万行的时间跨度折算) |
|
||||
|---|---|---|---|---|
|
||||
| B | **3591 MB** | `1Panel-openresty-iXP2` | 2026-04-09 | **184 MB/天**(619,577 行/天) |
|
||||
| A | **2666 MB** | `java-server` | 2026-09-16 | **180 MB/天**(385,887 行/天) |
|
||||
| B | 1063 MB | `1Panel-gitea-AgMc` | 2026-08-12 | 53 MB/天(158,025 行/天) |
|
||||
| B | 318 MB | `java-server` | 2026-09-16 | 41 MB/天(144,687 行/天) |
|
||||
| A | 1820 MB | `1Panel-openresty-8XvI` | 2026-04-09 | 9 MB/天(31,926 行/天) |
|
||||
| A | 1684 MB | `shufu-redis-master` | 2026-08-25 | **0.2 MB/天(1,742 行/天)** |
|
||||
|
||||
⚠ **第一版这张表我是拿"体积 ÷ 存活天数"摊的,几乎每行都错**(redis 摊出 "~50 MB/天"、B openresty 摊出 "~21 MB/天")。
|
||||
正确做法是 `tail -n 20000` 的首尾两条 `"time"` 求跨度,再用 `tail -n 20000 | wc -c` 求字节量 —— 摊出来的平均会把
|
||||
历史上的突发当成常态,还会把"最近才变快的"(B openresty)压平。
|
||||
- **redis 那 1.68GB 已经查清了,不是"速率异常",是一次 9 分钟的重连风暴**:
|
||||
全文共 10,617,262 行 / 平均行长 165 字节,而按行号采样时间戳,
|
||||
**第 1 行 = `2026-08-25T05:34:16`(容器刚创建)、第 10,070,001 行 = `2026-08-25T05:43:27`**
|
||||
→ 95% 的体积是**创建后头 9 分钟**写出来的,之后到 09-18 才又爬了 53 万行。
|
||||
那 9 分钟在刷什么:`Master replied to PING, replica…` / `Non blocking connect for SYNC fa…` /
|
||||
`Retrying with SYNC…` / `(Non critical) Master does not …` / `Trying a partial resynchroniz…` /
|
||||
`Unexpected reply to PSYNC from …` / `MASTER aborted replication with…` / `Reconnecting to MASTER 192.168.…`
|
||||
—— 典型的**副本对主库的 PSYNC 被拒 → 立刻重连**紧循环(10.07M 行 ÷ 551 秒 ≈ **1.8 万行/秒**),不是 crash。
|
||||
当前这台的实际写入量是 **2.9 字节/秒 ≈ 0.25 MB/天**(就是每 5 分钟一次 BGSAVE 那三行),
|
||||
所以这条从"值得单独取证"降级为"历史一次性事件,止血时随别的一起 truncate 即可"。
|
||||
- **但顺带查到一条会误导人的事实:redis 容器名与实际角色是反的**(`docker logs | grep -oE '[0-9]+:[SMX] [0-9]{2} [A-Za-z]{3}' | tail -1` 实测):
|
||||
A 上叫 **`shufu-redis-master`** 的容器今天的前缀是 **`1:S`(slave)**,B 上叫 **`shufu-redis-replica`** 的容器是 **`1:M`(master)**,
|
||||
两边 sentinel 日志里都留着 `25 Aug 06:32:56 +switch-master mymaster 192.168.0.171 16379 → 192.168.0.170 16379`
|
||||
—— 也就是 8-25 那次故障切换之后角色就固定在"名字相反"的状态了(上面那场 SYNC 风暴正是那次切换前后发生的)。
|
||||
**看名字判断主从会判反**,要认角色读日志前缀或 `INFO replication`。这也和第六节 java 侧实测一致:数据连接落在 `.170`。
|
||||
- **B openresty 为什么涨到 193 MB/天 —— 已定性,是客户端轮询而不是攻击**:
|
||||
按行号采样时间戳看增长曲线,`2026-04-09` 到 `2026-09-11` 才写到第 90 万行(约 6 千行/天),
|
||||
之后每 90 万行只花 1~2 天 → **9-11 前后涨了约 100 倍**。近 2 万行的构成:
|
||||
`/newApi/api/collect-data/tasks/progress/light` 5,073 + `price-track` 1,471 + `appearance-patent` 1,325 +
|
||||
其余各 `progress/light` 合计约 8,400 行(**42%**)、`/api/tasks/pull-pending` 3,201(16%)、
|
||||
`/newApi/api/notifications/summary` 2,947(15%)→ **约 73% 的访问日志是这三个轮询接口**。
|
||||
状态码:20,000 行里匹配到状态码的有 19,878 条,其中 **200 = 19,784、304 = 94,4xx/5xx = 0**
|
||||
(剩 122 行是 nginx 自己的 notice/error 行,不带状态码)→ 不是被打,是自己人在轮询。
|
||||
**可选的低成本止血**(本轮没做,属要人拍板:会损失这些接口的访问记录):
|
||||
在 B 的 openresty 站点配置里对 `progress/light`、`pull-pending`、`notifications/summary` 三条 location 加
|
||||
`access_log off;`(或单独降级到一个可轮转的日志文件),按上面的占比**能砍掉约 7 成的 193 MB/天**,
|
||||
且 `nginx -s reload` 是 graceful、**不重启容器、不断长连接**。
|
||||
反过来说:如果以后要靠访问日志查"某次轮询有没有返回过 304/401",这条就查不到了 —— 所以先问要不要留样。
|
||||
- **来源构成(同一批 20,000 行里数 `{"log":"` 后面的 IP,注意宿主机 `ss` 与 `grep '^[0-9]'` 两种写法都取不到,因为每行以 JSON 开头)**:
|
||||
一共只有 **10 个来源 IP**,`8.149.69.98` 一个占 **12,843 行(64%)**,`8.139.247.224` 2,875、`8.139.195.39` 2,201、
|
||||
`183.253.114.241` 441、`8.139.170.222` 413、`183.220.59.30` 407、`120.33.224.243` 296、`121.205.250.173` 166、
|
||||
**`47.110.241.161` 68(= 主机A 自己的 EIP)**。UA 分布:`Mozilla/5.0 Windows` 12,904、`python-requests/2.32.5` 6,698、
|
||||
`python-requests/2.32.3` 153、`Mozilla WOW64` 35(合计 19,790,其余是 nginx 自己的 notice 行)。
|
||||
`python-requests` 那批打的是 `/api/tasks/pull-pending`(3,203) + `/api/internal/device-logs/upload`(834) +
|
||||
`device-logs/config`(658) + `user-secret-usage`(136) + `similar-asin/tasks/<id>/result` + `tasks/<id>/heartbeat`
|
||||
→ **是采集端在领任务/回报,不是外部扫描**,所以 193 MB/天是"自家轮询设计"的账单,要降量得从轮询频率/日志策略两侧挑一边。
|
||||
- **顺带发现一条真实的公网绕行,但调用方没认领到(不要当成已定性)**:`47.110.241.161`(主机A 的 EIP)作为**客户端**出现了 68 次,
|
||||
UA 是 `axios/1.20.0`,打的是 `GET /newApi/check_login` 和 `POST /newApi/login`(10:59:48–49 连续一串,全 200)。
|
||||
那一刻 A 宿主机与各容器 netns 里到 `121.196.149.225` 的 ESTAB 都是 **0 条**(短连接,采样撞不上)。
|
||||
A 上常驻两个 node 进程(`/www/wwwroot/jlyj.ditiansui.online/server/video-api.js` 跑了 18 天、`dist/server/main.js` 跑了 5 天)
|
||||
**只是候选,我没证到是它俩之一** —— 想认领就在 A 上 `tcpdump -i eth0 -nn host 121.196.149.225 and port 443 -c 3` 拿源端口,
|
||||
再 `ss -tnp 'sport = :<端口>'` 取 pid。**注意这是 Node 侧发出的 axios(浏览器发的 axios 会带 Mozilla UA)**,
|
||||
所以是服务器上的脚本在按域名登录自己的 API,不是用户在刷页面。
|
||||
量级 68/20,000 = 0.34%,**不是性能问题**,本轮没动。
|
||||
它给 §4.4 那句"两台之间业务链路无公网残留"划了个边界:**那句的范围是 java↔MySQL/redis/MQ/OSS**(已实测走私网),
|
||||
不含"A 上还可能有别的进程按 `api.aishufu.top` 域名绕回 B"。
|
||||
- **磁盘不紧张**(A 用 33% 剩 317G、B 用 18% 剩 388G),真正的代价是**取证速度**,而且我一开始把这条判错了:
|
||||
实测同一台 A 上 `docker logs --tail 5` = **12 ms**(docker 从文件尾部反向取),
|
||||
而 `docker logs --since 1m` = **19,631 ms**、`docker logs`(全量 6,286,829 行)= 22,063 ms
|
||||
→ **`--since` 一点都省不了,它仍然从头解析整个 2.6GB 文件**;省的是输出量,不是时间。
|
||||
本轮我所有探测都用 `--since`,等于每次白付 ~20 秒。
|
||||
**以后探测一律优先 `--tail N` + 本地按时间戳过滤**,只有真的要看"某个绝对时间点之后"才用 `--since`。
|
||||
- 想加 `log-opts: {max-size, max-file}` 要改 `/etc/docker/daemon.json` 并 `systemctl restart docker`,而
|
||||
**两台的 daemon.json 里只有 `registry-mirrors`、没有 `live-restore`**(docker 默认 false)→
|
||||
**重启 dockerd 会把该机上所有容器一起重启**,包括 MySQL 主库、MinIO、redis 四件套、两台 java。这是本条没做的直接原因。
|
||||
- 还有一层:`log-opts` 只对**新建容器**生效,现有容器得 recreate 才吃到 ——
|
||||
而 recreate 又会把今晚 `docker update` 抬的三处内存限额打回(见第一节附的表)。
|
||||
- 所以顺序建议:① 先把三处限额写进 1Panel 控制台(持久化)→ ② 开 `live-restore: true`(这一次重启仍会连带重启容器,
|
||||
但**之后**重启 dockerd 就不再影响业务)→ ③ 最后逐台加 `log-opts` 并按 recreate 窗口滚动生效。
|
||||
- 期间可以做的**低风险止血**(不需要决策,但要写文件,本轮没动):把已经确认不需要的历史 json.log 用
|
||||
`truncate -s 0` 清零(docker 以 O_APPEND 持有 fd,清零后继续写、不会破坏文件),
|
||||
一次能回收 2.6GB/1.7GB/3.6GB。**代价是那段历史读不回来了** —— 今晚的取证全靠这些日志,
|
||||
所以我倾向于先给 java 的日志降量或先把关键窗口 dump 出来,再清零。这条留给用户定。
|
||||
- **如果只做一次 `truncate`,先做 A 的 `shufu-redis-master`**:它的文件 17.65 亿字节里有
|
||||
**10.07M/10.62M 行(95%)是 2026-08-25 05:34:16–05:43:27 那 9 分钟的一次性风暴**,
|
||||
当前只写 0.25 MB/天 —— 清掉它几乎不损失任何"以后可能还要看"的东西,一次回收 1.7GB。
|
||||
相比之下 java/B-openresty 那两坨是**持续的**(180–193 MB/天),清完三天就长回来,属于必须配 `log-opts` 才解决的那类。
|
||||
|
||||
清的顺序按**实测增速**而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级;
|
||||
redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。
|
||||
|
||||
Reference in New Issue
Block a user