diff --git a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java index f8ad7726d..29d671f94 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java +++ b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java @@ -190,9 +190,12 @@ public class SimilarAsinProperties { /** * 主图转存的额外重试次数(0=不重试,与原行为一致)。 * 依据 2026-09-28 生产取证:主机A 近 3 小时 252 条主图下载失败全部是 - * {@code m.media-amazon.com} 的 "Remote host terminated the handshake", - * 而这些 URL 事后 curl 8 条里 7 条直接 200 —— 瞬时抖动,重试就能救回整行 - * (不重试则整行判失败并重发一轮流程)。设 0 可退回旧行为。 + * {@code m.media-amazon.com} 的 "Remote host terminated the handshake"(瞬时握手被 RST, + * 事后 curl 8 条里 7 条直接 200),而旧实现一次都不重试、真实异常还被丢掉。 + * 发版后实测(同文档 §6.1):恢复窗口是分钟级,当前秒级 backoff 只救回 3/18=17% 段抖动, + * 行失败率 14.0% vs 旧代码 14.6% 基本没动 —— 确定收益是行失败日志自带真实原因、 + * 以及非 200 与连接级失败被分开计数。抬到秒级以上前先测恢复窗口分布(会占住并发仅 5 的行 worker)。 + * 设 0 可退回旧行为。 */ private int llmImageDownloadRetryTimes = 2; } diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md index 69aaa9d79..a967cf17f 100644 --- a/docs/ops/prod-decisions-2026-09-28.md +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -469,6 +469,36 @@ A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻): 若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的, 那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。 +### 6.1 发版后实测(11:57 上线,取到 12:02 的数)—— **结论与上面的预期相反,照实记** + +发版:`dd06a1cf`,两台线上 jar 同为 `03eb1049c19ff58f3d8df423aeb6d0e9`(162,591,773 B), +health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SERVER=192.168.0.170:9876` 重启后仍是私网值。 + +主机A 按日志行首本地时间戳切窗口(`docker logs --tail 300000` 落文件后 `substr($0,1,19)` 过滤): + +| 窗口 | 行数 | 货源行处理 | 行失败 | `main download fail` 行数 | 带 `attempt=` | retry 救回 | 三次耗尽 | +|---|---|---|---|---|---|---|---| +| 旧代码 11:00–11:56 | 21,583(含下行) | 514 | 75 | 75 | 0 | — | — | +| 新代码 11:57–12:02 | 1,581 | 107 | 15 | 49(=18 段重试 ×次数) | 49 | **3** | **15** | + +- **重试只救回 3/18 = 17%**,另外 15 段三次全耗尽;`err=` 全是同一句 `Remote host terminated the handshake`,非 200 仍是 0 条。 +- **行失败率几乎没动**:14.0%(15/107) vs 旧代码 14.6%(75/514)。 +- 所以第五节/第六节开头那个"瞬时抖动、重试就能救"的判断**只对了一半**: + 它确实是瞬时的(事后几十分钟再取就 200),但**恢复窗口比秒长**—— + 250ms/500ms 这种 backoff 撞上的还是同一阵重置,因此只有少数踩在窗口边界上的行被救回。 +- **确定拿到的收益**是另外两条,不是重试本身: + ① 15/15 条 `row failed` 现在都带 `原因: Remote host terminated the handshake`(旧代码 0 条带原因, + `grep -c '主图转存失败: .* 原因: '` 在旧窗口是 0),以后不用再去翻紧邻的上一行; + ② 非 200 与连接级失败被分开了(`main download http` 独立计数),不会再混成一个数。 +- **剩下的杠杆只有两类**,都需要先量准"恢复窗口到底多长"再决定,本轮没有动: + (a) 把 backoff 抬到秒级以上(如 2s/5s,预算 25s 装得下)——但代价是**占住行 worker**, + 货源行并发只有 5,每行多挂 7 秒会直接压吞吐; + (b) 不加重试、改为**让现有的"整轮重发"去接**(分钟级天然对齐恢复窗口), + 代价就是现在这个形状:白占一轮行位。 + 现在的数据只够说明"秒级重试≈聊胜于无",**不够说明 (a) 有用**—— + 要做 (a) 得先按 ASIN 关联"同一 URL 第一次失败 → 后来成功"的时间差分布,这个还没测。 + + ## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板) - 实测 `du -m /var/lib/docker/containers/*/*-json.log` 的前几名**及归属**(id 取目录名,别用 `basename $f -- '-json.log'`,