docs(运维): §11.6 锁忙重投修复的验收结果,并记下 jar 路径空输出这个取证坑
同一条 busy 日志新旧对照 54 次/分钟 → 2.7 次/分钟,claimed 由 0 变 25 与 busy 1:1, 证明重投确实改由轮询驱动;process success 在纯窗口内为 0 不足以判成败,留给下一个完成样本。
This commit is contained in:
@@ -984,4 +984,37 @@ PENDING 行没有任何周期扫描会捞它(该 profile 连 MQ 都关着)
|
||||
3. 结果侧不能变差:`waiting for async llm result` 与 `process success` 的条数不应下降;
|
||||
作业若真的 5 分钟没心跳,`stuck reset` 仍会兜住(`stuck-timeout-minutes:5` 没动)。
|
||||
|
||||
### 11.6 验收结果(15:37 读,纯新包窗口,两条判据都过)
|
||||
|
||||
线上 md5 两台一致 `da1696f1f21ae4f0ff35cb78940a8202`(162,593,211 B)。**注意这个 jar 的路径坑**:
|
||||
宿主机 `/app/java` 才是容器里的 `/app`(`docker inspect` 的 bind mount),所以
|
||||
`docker exec java-server md5sum /app/java/*.jar` 会**安静地返回空**——空输出不是通过,
|
||||
本次差点当成绿灯,改在宿主机上 `md5sum` 才读到真值;回滚件 `.bak-202609281524xx`(A)/
|
||||
`.bak-202609281522xx`(B)md5 = 上一版 `ca20c212…`,两台都在。
|
||||
|
||||
**同一条 busy 日志的新旧对照(这是最硬的一条,取自主机A)**:
|
||||
|
||||
| 窗口 | jar | busy 条数 | 折算 |
|
||||
|---|---|---|---|
|
||||
| 15:20:00–15:24:40(4 分 40 秒) | 旧(`ca20c212`) | 252 | **54 次/分钟** |
|
||||
| 15:25:00–15:37:43(12 分 43 秒) | 新(`da1696f1`) | 34 | **2.7 次/分钟** |
|
||||
|
||||
降 **20 倍**,且 2.7 远低于"作业数 × 6/分钟"的上限(当时真在跑 LLM 的作业只有 20838×26、20833×8 两个),
|
||||
按分钟看 15:26→15:37 是 2/3/1/2/3/3/3/7/6/4,**不随时间递增**。
|
||||
|
||||
判据 2(唯一直接证据):`scheduled worker claimed` 同窗口 **25 次**(此前窗口恒为 0),
|
||||
按分钟 1/3/2/2/3/3/3/3/3/2 与 busy 按分钟几乎 1:1 —— 重投确实改由轮询驱动,模型成立。
|
||||
|
||||
判据 3:`waiting for async llm result` 47 条、`process failed` 0、`队列已满` 0、ERROR 0。
|
||||
`process success` 在这个纯窗口里是 **0**,不能拿来当绿灯也不能当退化——这两个外观作业本来就在等 LLM 行,
|
||||
30 分钟窗口里有一次成功(15:09 jobId=20791 SIMILAR_ASIN,那还是旧包时段)。**这条留待下一个完成样本再确认。**
|
||||
MySQL `Innodb_row_lock_waits` 354532 → 354533(约 7 分钟 +1),风暴打在 DB 上的那部分随之平了。
|
||||
`stuck reset` 窗口内触发 1 次(15:35:03,resetCount=1 exhaustedCount=0),形态与"15:24 重启留下的
|
||||
RUNNING 行等满 5 分钟阈值"一致,是兜底在正常工作,没有作业因此烧掉重试。
|
||||
|
||||
**顺带被这次取证否掉的下一个优化点**:`/app/java` 下 12 个 jar 备份共 1.9 GB,本想加"只留最近 N 个"的
|
||||
清理,但两台根卷分别还有 **315 GB / 389 GB** 空闲(使用率 34% / 18%)——1.9 GB 对这个体量是噪声,
|
||||
**不做**。同理容器日志仍是 `json-file map[]`(无 size 上限),但那要改 `daemon.json` 并重启 docker,
|
||||
属第七节的人工决策,不由脚本顺手改。
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user