docs(运维): §十一 锁忙零退避重投的取证链与修法,并更正 §10.3 的"29473 已完成"

§10.3 那句把"输入封口"写成了"任务已完成":29473 实际 13:59 后就没动过,
biz_file_task 仍 RUNNING、结果无 url、组装 job 20833 RUNNING retry_count=2。
This commit is contained in:
2026-09-28 15:21:06 +08:00
parent ac7412f77d
commit 505b1c60ac
+152
View File
@@ -833,3 +833,155 @@ B 3 分钟只有 22 行、模块活跃度 1 → 先发 B 无感。
`14:20:00.437`,而容器启动时刻是 `14:20:01.835` —— 属于**旧进程在 jar 被就地替换后按需加载类失败**,不是新包的问题,
纯重启后窗口里它是 0。**看到异常先归因时间戳,再决定要不要回滚。**
## 十、三条"看着像优化点"的假设,全部被实测否掉(别再看第二遍)
§九 上线后继续找改造点,撞出三条候选。三条都**没有**改代码,各自的证伪证据记在这里。
### 10.1 品牌检测端点改私网 —— 否掉,因为 EIP 流量根本没出 VPC
两台都没 pin `AIIMAGE_BRAND_CHECK_BASE_URL`,用的是 jar 默认 `http://47.110.241.161:16890`
(= A 自己的公网 EIP),所以 B 的 java 也在跨机打这个公网地址。看着就是"该走私网 `192.168.0.171:16890`"。
同一台机器上各 GET 三次实测:
| 发起方 | 公网 EIP `47.110.241.161:16890` | 私网 `192.168.0.171:16890` |
|---|---|---|
| B | 0.00135 / 0.00083 / 0.00081 s | 0.00075 / 0.00071 / 0.00072 s |
| A(对照 §八) | 0.27 / 0.35 / 0.27 ms | 0.066 / 0.065 / 0.061 ms |
B 到 A 的 EIP 只要 **0.8 毫秒**,和私网的 0.7 毫秒同一量级 —— 说明这段流量在阿里云同区域内根本没走公网出口,
§四 那条 5–8 Mbps 的公网带宽上限**咬不到它**。换成私网省的是 0.1 毫秒,代价是两台 `.env` 都要改并重启 java。
**不划算,放弃。** 顺带确认:`16890` 在 B 上 `127.0.0.1` 是 CONN_FAIL(服务只在 A 的宿主机上),
且 `AIIMAGE_NOTIFICATION_BRAND_SERVICE_URL` 早就是 `http://192.168.0.171:15126`(另一个服务,已经私网化)。
### 10.2 「FAILED 作业没写终态回调 → 每轮被重复捞出来空转」—— 否掉,0 条
§九 的扫描 SQL 里有一条分支是 `status='FAILED' AND retry_count>=5 AND terminal_callback_at IS NULL`,
每轮最多捞 200 行。看到全局 `DELETE_BRAND FAILED 71` 就怀疑这批僵尸每 60 秒被两台各处理一次。
直接数:满足该条件的行数 = **0**(按模块分组的结果集为空),`retry_count>=5 且 callback IS NULL` 的分布也是空。
那 71 条只是历史失败计数,回调都写过了。**假设不成立,没动代码。**
### 10.3 「任务 29475 永远停在 RUNNING,是个既不恢复也不判死的死锁组合」—— 否掉,它在正常爬
`组装 job 终态失败但分片仍未补传完整,暂不恢复 taskId=29475` 每 7 分钟打一条,线程是 `http-nio`,
像"客户端在反复重传同一批、永远补不齐"。把已收到的分片序号全列出来:
```
11,22,33,44,55,66,77,88,99,110,121,132,143,154,165,176,187,198,209,220,231,242,253,264,275,286,297,308,319,330,341,352
相邻差值:delta=11 命中 31 次,共 32 片;chunk_total=813,每片 payload 平均 124 字节
```
步长恒为 11 一度指向"客户端把行偏移当 chunk 序号发、服务端拿它跟 813 比 → 永远收不全"。
对照今天另外两笔就清楚了:`29473` 的分片**已传完**(`max(chunk_index)=623` 正好等于 `chunk_total=623`,共 57 片,
`completed=1`),`29479` 在 704/961。所以 **`chunk_index` 就是行偏移(每片 11 行)**,判"传完"用的是最后一个偏移追平 total,
不是"收到 total 片"。29475 现在在 352/813(43%),一切正常。
慢的真实原因是**每片 11 行要花 7.3 分钟 ≈ 40 秒/行**,与 §八 代理套餐过期同一条线:
不是协议 bug、不是服务端问题,是上游采集速度。
那条 INFO 也就不必改 —— 它每片打一条,正好是"任务还在推进"的心跳。
> 但本节初稿里"`29473` 已完成"那句**是错的**,14:59 复查明细后更正:它只是**输入封口**
> (`completed=1`),任务本身 13:59 之后就没动过 —— `biz_file_task.status` 仍 `RUNNING`、
> `biz_file_result.url` 为空、组装 job 20833 `RUNNING retry_count=2`,也就是**分片传完了但结果出不来**。
> 这条更正不是抠字眼:那 60 分钟的"没动"正是 §十一 那场"锁忙"风暴的另一半现场。
**三条共同的教训**:这三个都"看着像问题",而且前两个改起来都很便宜(换个 env、清一批僵尸行)。
如果直接动手,10.1 会白重启两台 java、10.2 会去删一批其实正常的历史行。
**便宜的改动更需要便宜的证伪**:一条 SQL 或三次 curl 就能判生死,先花这 30 秒。
---
## 十一、结果文件作业撞锁后自己点火:20 分钟 667 次零退避重投(已修)
§九 发版后做验收时顺手数了日志占比,结果翻出一个跟事务无关的新问题。记在这儿,
因为它的**判据形状**("每分钟递增""全属同一个 jobId""调度轮询一次都没领到活")比结论更值得留。
### 11.1 现场
A 机(`server-110`)重启后 20–30 分钟窗口:
| 窗口 | 总日志行 | `process requeued because task lock is busy` | 占比 |
|---|---|---|---|
| 14:2x–14:5x(30m) | 9,116 | 741 | 8.1% |
| 14:3x–14:51(20m) | 6,556 | 472 | 7.2% |
| 14:39–14:59(20m) | 7,687 | **667** | **8.7%** |
- **全部集中在一个 jobId**:472 条那窗 100% 是 `jobId=20838 taskId=29479 moduleType=APPEARANCE`;
30 分钟那窗另有 187 条属 `20833/29473`,到 14:5x 只剩 20838。
- **速率在涨,不是衰减**:按分钟数 3 → 6 → 12 → 18 → 22 → 24。**积压会被冲掉,自循环才会越跑越快。**
- **B 机 0 条** —— 风暴只出现在作业 owner 所在的那台。
- 时间戳形状:同一个 jobId 的重投行严格分簇,簇内相邻差 ≈1 s、簇周期 ≈**10.02 s**,
一个簇里**并排 4 条链**。10 s 这个数正好是 `TaskDistributedLockService.DEFAULT_WAIT_MILLIS=10000`。
### 11.2 根因:`requeue()` 在退回 PENDING 的同一刻把下一发点着了
链路(`TaskResultFileJobWorker.processInternal` → `TaskFileJobService.requeue` →
`TaskFileJobDispatchCoordinator.onTaskFileJobDispatch` → `TaskFileJobLocalDispatcher.dispatch`):
```
撞锁(等 10s 未果) → requeue(): UPDATE ... status RUNNING→PENDING (updated=1)
→ publishDispatchEvent() ← 就是这一句
→ AFTER_COMMIT 监听器 → 本地 dispatch(force) → worker.process()
→ claimRunning(): PENDING→RUNNING → 再撞同一把锁 → requeue() …
```
- `requeue` 只在状态**真的翻转**时才发事件(`.ne(status,'PENDING')` 是防重复投递的闸),
但这条路径上它每次都翻转成功(RUNNING→PENDING),于是**每一轮都点火一次**,环路里没有任何延迟要素。
- 周期 = 10 s 探锁 + 一次往返,所以稳态就是"每 job 每 10 秒一次",而**分片上传事件每次 `requeue`
都会另起一条链**(`scheduleLlmPipelineForSubmittedChunk` 每传一片调一次),链数只增不减 → 解释 11.1 的递增。
- **不是 MQ 重投**:`TaskFileJobConsumer.onMessage` 只做 `selectById`+`process`,秒回、不抛异常 ⇒ broker 不重投;
而且 20838 是 owner-scoped 作业,归属机上走的是本地 dispatch,`dispatchAfterCommit` 里直接 return,**根本没发消息**。
实测旁证:同窗口 `dispatch` 相关行 0、`scheduled worker claimed` 0、`队列已满` 0、`backpressure` 0。
- 锁**确实被别人占着**,不是僵尸锁:同窗口 `appearance-llm-row-12/13/14` 正在发 LLM 请求,
`biz_file_task 29479.updated_at` 每几秒被刷一次。持锁方是同一任务的逐片 LLM 提交,属正常串行。
**代价算在共享执行器上**:一次探测要占住 `taskQueueExecutor` 的信号量许可整整 10 秒
(`max-concurrent=12`,与货源 LLM 重提、图像视频轮询**共用同一池**)。按 667 次/1200 秒做 Little 定律:
`0.556 次/秒 × 10 秒 ≈ 5.6` 个许可被"只是在等锁"的作业长期占着,**约占全池 46%**。
这一条是本节值得修的全部理由 —— 日志吵只是表象。
### 11.3 修法(一处,5 行)
`TaskResultFileJobWorker.processInternal` 撞锁分支不再走 `requeue()`,改走**已存在**的
`deferRunning()`:同样 `RUNNING→PENDING`、同样写 `error_message`,**但不发 dispatch 事件**,
节奏交回 `runPendingJobs` 的固定周期。`application.yml` 里 `local-worker-delay-ms` 生效值 **10000**
(不是 `@Value` 兜底的 15000),所以最坏 10 秒后被重新捞起,比原来的"0 秒"慢、比"作业搁死"快。
```java
String busyMessage = "Task is busy, waiting for previous task operation";
if (localWorkerEnabled) {
taskFileJobService.deferRunning(job.getId(), busyMessage); // 停车,不点火
} else {
taskFileJobService.requeue(job.getId(), busyMessage); // 没有轮询兜底,必须自己点火
}
```
那个 `else` 不是保守,是**防搁死**:`application-local.yml` 把 `local-worker-enabled` 关掉时,
PENDING 行没有任何周期扫描会捞它(该 profile 连 MQ 都关着),去掉 publish 就等于把作业永久留在 PENDING。
本地 worker 开着 ⇔ 每 10 秒必扫一次,两者严格互斥,所以按这个标志分支就够了。
依赖的前提都取过证,不是推断:
- 调度线程活着:同窗口 `aiimage-scheduling-*` 1,474 行(ziniao 缓存任务在跑);
- 轮询开着:A 机 java 进程 env 只有 `AIIMAGE_RESULT_FILE_JOB_MQ_ENABLED=true` 一个 result-file-job 键,
`local-worker-enabled` 走 `application.yml` 的 `:true`,`/app/java/application-server.yml` 未覆盖;
- 轮询能捞到它:`claimRunnableJobsForOwner` 的 owner 分支条件
`status IN (PENDING,FAILED) AND module_type IN (APPEARANCE_PATENT,…) AND owner=本机 AND retry_count<5`,
20838 实测 `status=RUNNING owner=server-110 retry_count=0` —— 翻成 PENDING 即命中。
### 11.4 没动的两处(有意留着)
- **`DEFAULT_WAIT_MILLIS=10000` 不改短**。改成 2 s 能把"一个卡住的作业 = 1 个许可"压到 0.2 个,
但修完 11.3 之后重投频率已经从 0.556 次/秒降到 ≈0.1 次/秒·job,两个卡住的作业只占 2/12 许可;
再动就是要给 9 个测试文件的 `allowLock` 打桩换参数,**证据不足以支付这个改动面**。
- **`队列已满` 那条 `requeue`(`offloadOrRun` 的闸门拒绝分支)形状相同、也零退避**,
但实测窗口内 0 次触发(它要 `TaskQueueGate` 的 1,000 等待位先填满才会响)。不预修。
### 11.5 验收判据(发版后按这两条读,别只看"0 命中")
1. `process requeued because task lock is busy` 每分钟条数应从 ≈24 掉到 **≤ 作业数 × 6/分钟**,
且**不再随时间递增**;
2. `scheduled worker claimed jobs count=` 必须从 **0 变成非 0** —— 这条是新路径的**唯一直接证据**:
修完之后重投由轮询驱动,它不出现就说明作业其实是被别的东西捞起来的,那我的模型就是错的,得回来重查。
反过来说:**这一条比"风暴消失"更重要**,因为"消失"也可以用"任务刚好跑完了"来解释。
3. 结果侧不能变差:`waiting for async llm result` 与 `process success` 的条数不应下降;
作业若真的 5 分钟没心跳,`stuck reset` 仍会兜住(`stuck-timeout-minutes:5` 没动)。