From 2689fd5e1ff1ac817f20b40a72bcb683396cde4d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Mon, 28 Sep 2026 15:39:25 +0800 Subject: [PATCH] =?UTF-8?q?docs(=E8=BF=90=E7=BB=B4):=20=C2=A711.6=20?= =?UTF-8?q?=E9=94=81=E5=BF=99=E9=87=8D=E6=8A=95=E4=BF=AE=E5=A4=8D=E7=9A=84?= =?UTF-8?q?=E9=AA=8C=E6=94=B6=E7=BB=93=E6=9E=9C=EF=BC=8C=E5=B9=B6=E8=AE=B0?= =?UTF-8?q?=E4=B8=8B=20jar=20=E8=B7=AF=E5=BE=84=E7=A9=BA=E8=BE=93=E5=87=BA?= =?UTF-8?q?=E8=BF=99=E4=B8=AA=E5=8F=96=E8=AF=81=E5=9D=91?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 同一条 busy 日志新旧对照 54 次/分钟 → 2.7 次/分钟,claimed 由 0 变 25 与 busy 1:1, 证明重投确实改由轮询驱动;process success 在纯窗口内为 0 不足以判成败,留给下一个完成样本。 --- docs/ops/prod-decisions-2026-09-28.md | 33 +++++++++++++++++++++++++++ 1 file changed, 33 insertions(+) diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md index 82cb6cc4b..74bb5d47c 100644 --- a/docs/ops/prod-decisions-2026-09-28.md +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -984,4 +984,37 @@ PENDING 行没有任何周期扫描会捞它(该 profile 连 MQ 都关着) 3. 结果侧不能变差:`waiting for async llm result` 与 `process success` 的条数不应下降; 作业若真的 5 分钟没心跳,`stuck reset` 仍会兜住(`stuck-timeout-minutes:5` 没动)。 +### 11.6 验收结果(15:37 读,纯新包窗口,两条判据都过) + +线上 md5 两台一致 `da1696f1f21ae4f0ff35cb78940a8202`(162,593,211 B)。**注意这个 jar 的路径坑**: +宿主机 `/app/java` 才是容器里的 `/app`(`docker inspect` 的 bind mount),所以 +`docker exec java-server md5sum /app/java/*.jar` 会**安静地返回空**——空输出不是通过, +本次差点当成绿灯,改在宿主机上 `md5sum` 才读到真值;回滚件 `.bak-202609281524xx`(A)/ +`.bak-202609281522xx`(B)md5 = 上一版 `ca20c212…`,两台都在。 + +**同一条 busy 日志的新旧对照(这是最硬的一条,取自主机A)**: + +| 窗口 | jar | busy 条数 | 折算 | +|---|---|---|---| +| 15:20:00–15:24:40(4 分 40 秒) | 旧(`ca20c212`) | 252 | **54 次/分钟** | +| 15:25:00–15:37:43(12 分 43 秒) | 新(`da1696f1`) | 34 | **2.7 次/分钟** | + +降 **20 倍**,且 2.7 远低于"作业数 × 6/分钟"的上限(当时真在跑 LLM 的作业只有 20838×26、20833×8 两个), +按分钟看 15:26→15:37 是 2/3/1/2/3/3/3/7/6/4,**不随时间递增**。 + +判据 2(唯一直接证据):`scheduled worker claimed` 同窗口 **25 次**(此前窗口恒为 0), +按分钟 1/3/2/2/3/3/3/3/3/2 与 busy 按分钟几乎 1:1 —— 重投确实改由轮询驱动,模型成立。 + +判据 3:`waiting for async llm result` 47 条、`process failed` 0、`队列已满` 0、ERROR 0。 +`process success` 在这个纯窗口里是 **0**,不能拿来当绿灯也不能当退化——这两个外观作业本来就在等 LLM 行, +30 分钟窗口里有一次成功(15:09 jobId=20791 SIMILAR_ASIN,那还是旧包时段)。**这条留待下一个完成样本再确认。** +MySQL `Innodb_row_lock_waits` 354532 → 354533(约 7 分钟 +1),风暴打在 DB 上的那部分随之平了。 +`stuck reset` 窗口内触发 1 次(15:35:03,resetCount=1 exhaustedCount=0),形态与"15:24 重启留下的 +RUNNING 行等满 5 分钟阈值"一致,是兜底在正常工作,没有作业因此烧掉重试。 + +**顺带被这次取证否掉的下一个优化点**:`/app/java` 下 12 个 jar 备份共 1.9 GB,本想加"只留最近 N 个"的 +清理,但两台根卷分别还有 **315 GB / 389 GB** 空闲(使用率 34% / 18%)——1.9 GB 对这个体量是噪声, +**不做**。同理容器日志仍是 `json-file map[]`(无 size 上限),但那要改 `daemon.json` 并重启 docker, +属第七节的人工决策,不由脚本顺手改。 +