fix(货源): 主图转存对瞬时 TLS 重置做有界重试,失败行日志带上真实原因

生产取证:主机A 近 3 小时 252 条 `main download fail` 全是 m.media-amazon.com 的
"Remote host terminated the handshake",而这些 URL 事后重取 8 条里 7 条直接 200。
旧实现单发、握手被 RST 就 return null 并丢掉真实异常,导致整行白占一轮重发。

新增 aiimage.similar-asin.llm-image-download-retry-times(默认额外 2 次,置 0 退回旧行为),
只重试连接级异常,非 200 不重试;25 秒总预算防慢源放大尾延迟;重试耗尽抛 IOException
让行失败原因上行到日志。
This commit is contained in:
2026-09-28 11:52:11 +08:00
parent 9efb39b0a5
commit 3a39c36bde
5 changed files with 439 additions and 21 deletions
+132
View File
@@ -424,3 +424,135 @@ A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻):
先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。
VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 ——
今晚已实测三个私网地址全通。
## 六、货源主图转存:252 条失败全是瞬时 TLS 重置(11:3x 查出并已修)
这条不是"中间件调优",是查别的东西时撞出来的**真在掉数据的口子**,所以记全取证链。
- **现象与量级**(主机A,`docker logs --since 180m java-server`,窗口内总行数 20,846 行):
`main download fail` **252 条**、`row failed asin=` **247 条**;失败原因 252 条**全是同一句**
`Remote host terminated the handshake`;源分布 **247 条全部是 `m.media-amazon.com`**(其它源 0 条),
且 `main download http `(非 200)**0 条** —— 也就是没有任何一次是源站正常答复的错。
- **失败是按批整片出现的**:按分钟分桶是 `08:21=10 / 08:26=10 / 08:31=20 / 08:33=10 …10:01=10 / 10:43=20 / 10:49=10`,
一批 10 行一起挂,同批三条时间戳 `10:01:12.805 / .852 / .993` 相差不到 200ms。
- **证明是瞬时的**:把当时失败的 8 条 URL 原样再取一次,**7 条 200(9.6KB–22KB 不等)**、
1 条 `000`(curl 也连不上,那条多半是真死了)。
- **三个假说逐个验掉**:
1. "出口 IP 被 Amazon 封了" —— 同机 `curl` HTTP/1.1 与 HTTP/2 都 200、`openssl s_client` 完成
TLSv1.3 握手(`TLS_AES_128_GCM_SHA256`),解析到的节点 `54.192.34.54`;B 机同样 200。
2. "JDK 21 的 TLS 栈有问题" —— 在 A 的容器里直接跑单文件程序 `java /tmp/TlsProbe.java`:
HTTP/1.1 串行 200、复用同一 client 再发 200、HTTP/2 200、**共享 client 24 并发 `{OK=24}`**、
每请求新建 client 12 并发 `{OK=12}`、低频 4 并发 8 条全 200(jdk=21.0.7)。
3. "并发打爆了 CDN" —— 配置上峰值只有 `llmRowConcurrency=5` 路主图 + 拼图池 `imageDownloadPoolSize=8`,
而我 24 并发都一次没失败。
→ 落到第四点:**旧实现一次都不重试**。`SimilarAsinLlmService.downloadBytes` 单发,握手被 RST 就 `return null`,
`prepareImages` 随即抛 `主图转存失败: <url>`,**真实异常被丢掉**(我为了知道原因只能去翻紧邻的上一行日志)。
- **代价的准确形状**(别夸大也别缩小):`prepareImages` 是 `inspectRowInternal` 的**第 1 步**,
在类目匹配/合规/图片对比这些 LLM 调用**之前** → 失败**不烧 token**;
但整行被 `markFailed` → 按现在的重发语义下一轮再来,**白占一轮行位**,最终在结果 Excel 里就是一行失败。
- **改动**:`downloadBytes` 加有界重试。
- 新键 `aiimage.similar-asin.llm-image-download-retry-times`,默认 **2(额外次数,总 3 次尝试)**;置 **0 即完全退回旧行为**。
- **只重试连接级异常**;非 200 直接返回 null 不重试(源站的确定答复,重试只是白等超时)。
- 加 25 秒总预算常量护栏:慢源 hang 住时不放大尾延迟(同模块 alicdn 已被这件事咬过,
见 `SimilarAsinImageEmbedder` 里"8s + retry=1 → 改回 5s + retry=2"那条注释)。
- 重试成功打 `main download retry-success url=… attempt=n/N`;耗尽后抛 `IOException("主图下载失败(<真实原因>)")`,
`prepareImages` 再拼成 `主图转存失败: <url> 原因: <真实原因>` → **行失败日志从此自带原因**。
- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例全绿(抖动两次第三次成功 / 耗尽后异常里带真实原因 /
403 只发一次 / retryTimes=0 退回单次 / 线程中断立刻停止重试且标志回设 / 空 URL 不抛),
原有 `SimilarAsinLlmServiceTest` 8 例未受影响。
- **回滚不用回退 jar**:`/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES="0"` 后重启 java 即可。
该键已按本仓库惯例写进 `application.yml:380`(`llm-image-download-retry-times: ${AIIMAGE_..._RETRY_TIMES:2}`),
所以运维在 yml 里就能看见它,回滚走的是 **yml 占位符**而不是 relaxed binding —— 这条是确定性的。
(补记:第一版我只把默认值写在 Java 字段里,yml 没这一行,那样 env 覆盖就只能靠命名松散绑定;打包后自查发现 `yml has retry key: False` 才补上,
补完必须重打包,因为 yml 在 jar 内。)
- **发版后要看的数**:`main download retry-success` 与 `main download fail` 的比值。
若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的,
那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。
## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板)
- 实测 `du -m /var/lib/docker/containers/*/*-json.log` 的前几名**及归属**(id 取目录名,别用 `basename $f -- '-json.log'`,
那写法会把 id 取空、`docker inspect` 报错,然后被我自己的兜底文案伪装成"残留目录"这个假结论):
| 主机 | 当前体积 | 容器 | 容器创建时间 | **实测日均**(近 2 万行的时间跨度折算) |
|---|---|---|---|---|
| B | **3591 MB** | `1Panel-openresty-iXP2` | 2026-04-09 | **184 MB/天**(619,577 行/天) |
| A | **2666 MB** | `java-server` | 2026-09-16 | **180 MB/天**(385,887 行/天) |
| B | 1063 MB | `1Panel-gitea-AgMc` | 2026-08-12 | 53 MB/天(158,025 行/天) |
| B | 318 MB | `java-server` | 2026-09-16 | 41 MB/天(144,687 行/天) |
| A | 1820 MB | `1Panel-openresty-8XvI` | 2026-04-09 | 9 MB/天(31,926 行/天) |
| A | 1684 MB | `shufu-redis-master` | 2026-08-25 | **0.2 MB/天(1,742 行/天)** |
⚠ **第一版这张表我是拿"体积 ÷ 存活天数"摊的,几乎每行都错**(redis 摊出 "~50 MB/天"、B openresty 摊出 "~21 MB/天")。
正确做法是 `tail -n 20000` 的首尾两条 `"time"` 求跨度,再用 `tail -n 20000 | wc -c` 求字节量 —— 摊出来的平均会把
历史上的突发当成常态,还会把"最近才变快的"(B openresty)压平。
- **redis 那 1.68GB 已经查清了,不是"速率异常",是一次 9 分钟的重连风暴**:
全文共 10,617,262 行 / 平均行长 165 字节,而按行号采样时间戳,
**第 1 行 = `2026-08-25T05:34:16`(容器刚创建)、第 10,070,001 行 = `2026-08-25T05:43:27`**
→ 95% 的体积是**创建后头 9 分钟**写出来的,之后到 09-18 才又爬了 53 万行。
那 9 分钟在刷什么:`Master replied to PING, replica…` / `Non blocking connect for SYNC fa…` /
`Retrying with SYNC…` / `(Non critical) Master does not …` / `Trying a partial resynchroniz…` /
`Unexpected reply to PSYNC from …` / `MASTER aborted replication with…` / `Reconnecting to MASTER 192.168.…`
—— 典型的**副本对主库的 PSYNC 被拒 → 立刻重连**紧循环(10.07M 行 ÷ 551 秒 ≈ **1.8 万行/秒**),不是 crash。
当前这台的实际写入量是 **2.9 字节/秒 ≈ 0.25 MB/天**(就是每 5 分钟一次 BGSAVE 那三行),
所以这条从"值得单独取证"降级为"历史一次性事件,止血时随别的一起 truncate 即可"。
- **但顺带查到一条会误导人的事实:redis 容器名与实际角色是反的**(`docker logs | grep -oE '[0-9]+:[SMX] [0-9]{2} [A-Za-z]{3}' | tail -1` 实测):
A 上叫 **`shufu-redis-master`** 的容器今天的前缀是 **`1:S`(slave)**,B 上叫 **`shufu-redis-replica`** 的容器是 **`1:M`(master)**,
两边 sentinel 日志里都留着 `25 Aug 06:32:56 +switch-master mymaster 192.168.0.171 16379 → 192.168.0.170 16379`
—— 也就是 8-25 那次故障切换之后角色就固定在"名字相反"的状态了(上面那场 SYNC 风暴正是那次切换前后发生的)。
**看名字判断主从会判反**,要认角色读日志前缀或 `INFO replication`。这也和第六节 java 侧实测一致:数据连接落在 `.170`。
- **B openresty 为什么涨到 193 MB/天 —— 已定性,是客户端轮询而不是攻击**:
按行号采样时间戳看增长曲线,`2026-04-09` 到 `2026-09-11` 才写到第 90 万行(约 6 千行/天),
之后每 90 万行只花 1~2 天 → **9-11 前后涨了约 100 倍**。近 2 万行的构成:
`/newApi/api/collect-data/tasks/progress/light` 5,073 + `price-track` 1,471 + `appearance-patent` 1,325 +
其余各 `progress/light` 合计约 8,400 行(**42%**)、`/api/tasks/pull-pending` 3,201(16%)、
`/newApi/api/notifications/summary` 2,947(15%)→ **约 73% 的访问日志是这三个轮询接口**。
状态码:20,000 行里匹配到状态码的有 19,878 条,其中 **200 = 19,784、304 = 94,4xx/5xx = 0**
(剩 122 行是 nginx 自己的 notice/error 行,不带状态码)→ 不是被打,是自己人在轮询。
**可选的低成本止血**(本轮没做,属要人拍板:会损失这些接口的访问记录):
在 B 的 openresty 站点配置里对 `progress/light`、`pull-pending`、`notifications/summary` 三条 location 加
`access_log off;`(或单独降级到一个可轮转的日志文件),按上面的占比**能砍掉约 7 成的 193 MB/天**,
且 `nginx -s reload` 是 graceful、**不重启容器、不断长连接**。
反过来说:如果以后要靠访问日志查"某次轮询有没有返回过 304/401",这条就查不到了 —— 所以先问要不要留样。
- **来源构成(同一批 20,000 行里数 `{"log":"` 后面的 IP,注意宿主机 `ss` 与 `grep '^[0-9]'` 两种写法都取不到,因为每行以 JSON 开头)**:
一共只有 **10 个来源 IP**,`8.149.69.98` 一个占 **12,843 行(64%)**,`8.139.247.224` 2,875、`8.139.195.39` 2,201、
`183.253.114.241` 441、`8.139.170.222` 413、`183.220.59.30` 407、`120.33.224.243` 296、`121.205.250.173` 166、
**`47.110.241.161` 68(= 主机A 自己的 EIP)**。UA 分布:`Mozilla/5.0 Windows` 12,904、`python-requests/2.32.5` 6,698、
`python-requests/2.32.3` 153、`Mozilla WOW64` 35(合计 19,790,其余是 nginx 自己的 notice 行)。
`python-requests` 那批打的是 `/api/tasks/pull-pending`(3,203) + `/api/internal/device-logs/upload`(834) +
`device-logs/config`(658) + `user-secret-usage`(136) + `similar-asin/tasks/<id>/result` + `tasks/<id>/heartbeat`
→ **是采集端在领任务/回报,不是外部扫描**,所以 193 MB/天是"自家轮询设计"的账单,要降量得从轮询频率/日志策略两侧挑一边。
- **顺带发现一条真实的公网绕行,但调用方没认领到(不要当成已定性)**:`47.110.241.161`(主机A 的 EIP)作为**客户端**出现了 68 次,
UA 是 `axios/1.20.0`,打的是 `GET /newApi/check_login` 和 `POST /newApi/login`(10:59:48–49 连续一串,全 200)。
那一刻 A 宿主机与各容器 netns 里到 `121.196.149.225` 的 ESTAB 都是 **0 条**(短连接,采样撞不上)。
A 上常驻两个 node 进程(`/www/wwwroot/jlyj.ditiansui.online/server/video-api.js` 跑了 18 天、`dist/server/main.js` 跑了 5 天)
**只是候选,我没证到是它俩之一** —— 想认领就在 A 上 `tcpdump -i eth0 -nn host 121.196.149.225 and port 443 -c 3` 拿源端口,
再 `ss -tnp 'sport = :<端口>'` 取 pid。**注意这是 Node 侧发出的 axios(浏览器发的 axios 会带 Mozilla UA)**,
所以是服务器上的脚本在按域名登录自己的 API,不是用户在刷页面。
量级 68/20,000 = 0.34%,**不是性能问题**,本轮没动。
它给 §4.4 那句"两台之间业务链路无公网残留"划了个边界:**那句的范围是 java↔MySQL/redis/MQ/OSS**(已实测走私网),
不含"A 上还可能有别的进程按 `api.aishufu.top` 域名绕回 B"。
- **磁盘不紧张**(A 用 33% 剩 317G、B 用 18% 剩 388G),真正的代价是**取证速度**,而且我一开始把这条判错了:
实测同一台 A 上 `docker logs --tail 5` = **12 ms**(docker 从文件尾部反向取),
而 `docker logs --since 1m` = **19,631 ms**、`docker logs`(全量 6,286,829 行)= 22,063 ms
→ **`--since` 一点都省不了,它仍然从头解析整个 2.6GB 文件**;省的是输出量,不是时间。
本轮我所有探测都用 `--since`,等于每次白付 ~20 秒。
**以后探测一律优先 `--tail N` + 本地按时间戳过滤**,只有真的要看"某个绝对时间点之后"才用 `--since`。
- 想加 `log-opts: {max-size, max-file}` 要改 `/etc/docker/daemon.json` 并 `systemctl restart docker`,而
**两台的 daemon.json 里只有 `registry-mirrors`、没有 `live-restore`**(docker 默认 false)→
**重启 dockerd 会把该机上所有容器一起重启**,包括 MySQL 主库、MinIO、redis 四件套、两台 java。这是本条没做的直接原因。
- 还有一层:`log-opts` 只对**新建容器**生效,现有容器得 recreate 才吃到 ——
而 recreate 又会把今晚 `docker update` 抬的三处内存限额打回(见第一节附的表)。
- 所以顺序建议:① 先把三处限额写进 1Panel 控制台(持久化)→ ② 开 `live-restore: true`(这一次重启仍会连带重启容器,
但**之后**重启 dockerd 就不再影响业务)→ ③ 最后逐台加 `log-opts` 并按 recreate 窗口滚动生效。
- 期间可以做的**低风险止血**(不需要决策,但要写文件,本轮没动):把已经确认不需要的历史 json.log 用
`truncate -s 0` 清零(docker 以 O_APPEND 持有 fd,清零后继续写、不会破坏文件),
一次能回收 2.6GB/1.7GB/3.6GB。**代价是那段历史读不回来了** —— 今晚的取证全靠这些日志,
所以我倾向于先给 java 的日志降量或先把关键窗口 dump 出来,再清零。这条留给用户定。
- **如果只做一次 `truncate`,先做 A 的 `shufu-redis-master`**:它的文件 17.65 亿字节里有
**10.07M/10.62M 行(95%)是 2026-08-25 05:34:16–05:43:27 那 9 分钟的一次性风暴**,
当前只写 0.25 MB/天 —— 清掉它几乎不损失任何"以后可能还要看"的东西,一次回收 1.7GB。
相比之下 java/B-openresty 那两坨是**持续的**(180–193 MB/天),清完三天就长回来,属于必须配 `log-opts` 才解决的那类。
清的顺序按**实测增速**而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级;
redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。