From 505b1c60ac67d7c76d468bb0e3053c51ac714736 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Mon, 28 Sep 2026 15:21:06 +0800 Subject: [PATCH] =?UTF-8?q?docs(=E8=BF=90=E7=BB=B4):=20=C2=A7=E5=8D=81?= =?UTF-8?q?=E4=B8=80=20=E9=94=81=E5=BF=99=E9=9B=B6=E9=80=80=E9=81=BF?= =?UTF-8?q?=E9=87=8D=E6=8A=95=E7=9A=84=E5=8F=96=E8=AF=81=E9=93=BE=E4=B8=8E?= =?UTF-8?q?=E4=BF=AE=E6=B3=95=EF=BC=8C=E5=B9=B6=E6=9B=B4=E6=AD=A3=20=C2=A7?= =?UTF-8?q?10.3=20=E7=9A=84"29473=20=E5=B7=B2=E5=AE=8C=E6=88=90"?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit §10.3 那句把"输入封口"写成了"任务已完成":29473 实际 13:59 后就没动过, biz_file_task 仍 RUNNING、结果无 url、组装 job 20833 RUNNING retry_count=2。 --- docs/ops/prod-decisions-2026-09-28.md | 152 ++++++++++++++++++++++++++ 1 file changed, 152 insertions(+) diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md index 8863baa2e..82cb6cc4b 100644 --- a/docs/ops/prod-decisions-2026-09-28.md +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -833,3 +833,155 @@ B 3 分钟只有 22 行、模块活跃度 1 → 先发 B 无感。 `14:20:00.437`,而容器启动时刻是 `14:20:01.835` —— 属于**旧进程在 jar 被就地替换后按需加载类失败**,不是新包的问题, 纯重启后窗口里它是 0。**看到异常先归因时间戳,再决定要不要回滚。** +## 十、三条"看着像优化点"的假设,全部被实测否掉(别再看第二遍) + +§九 上线后继续找改造点,撞出三条候选。三条都**没有**改代码,各自的证伪证据记在这里。 + +### 10.1 品牌检测端点改私网 —— 否掉,因为 EIP 流量根本没出 VPC + +两台都没 pin `AIIMAGE_BRAND_CHECK_BASE_URL`,用的是 jar 默认 `http://47.110.241.161:16890` +(= A 自己的公网 EIP),所以 B 的 java 也在跨机打这个公网地址。看着就是"该走私网 `192.168.0.171:16890`"。 +同一台机器上各 GET 三次实测: + +| 发起方 | 公网 EIP `47.110.241.161:16890` | 私网 `192.168.0.171:16890` | +|---|---|---| +| B | 0.00135 / 0.00083 / 0.00081 s | 0.00075 / 0.00071 / 0.00072 s | +| A(对照 §八) | 0.27 / 0.35 / 0.27 ms | 0.066 / 0.065 / 0.061 ms | + +B 到 A 的 EIP 只要 **0.8 毫秒**,和私网的 0.7 毫秒同一量级 —— 说明这段流量在阿里云同区域内根本没走公网出口, +§四 那条 5–8 Mbps 的公网带宽上限**咬不到它**。换成私网省的是 0.1 毫秒,代价是两台 `.env` 都要改并重启 java。 +**不划算,放弃。** 顺带确认:`16890` 在 B 上 `127.0.0.1` 是 CONN_FAIL(服务只在 A 的宿主机上), +且 `AIIMAGE_NOTIFICATION_BRAND_SERVICE_URL` 早就是 `http://192.168.0.171:15126`(另一个服务,已经私网化)。 + +### 10.2 「FAILED 作业没写终态回调 → 每轮被重复捞出来空转」—— 否掉,0 条 + +§九 的扫描 SQL 里有一条分支是 `status='FAILED' AND retry_count>=5 AND terminal_callback_at IS NULL`, +每轮最多捞 200 行。看到全局 `DELETE_BRAND FAILED 71` 就怀疑这批僵尸每 60 秒被两台各处理一次。 +直接数:满足该条件的行数 = **0**(按模块分组的结果集为空),`retry_count>=5 且 callback IS NULL` 的分布也是空。 +那 71 条只是历史失败计数,回调都写过了。**假设不成立,没动代码。** + +### 10.3 「任务 29475 永远停在 RUNNING,是个既不恢复也不判死的死锁组合」—— 否掉,它在正常爬 + +`组装 job 终态失败但分片仍未补传完整,暂不恢复 taskId=29475` 每 7 分钟打一条,线程是 `http-nio`, +像"客户端在反复重传同一批、永远补不齐"。把已收到的分片序号全列出来: + +``` +11,22,33,44,55,66,77,88,99,110,121,132,143,154,165,176,187,198,209,220,231,242,253,264,275,286,297,308,319,330,341,352 +相邻差值:delta=11 命中 31 次,共 32 片;chunk_total=813,每片 payload 平均 124 字节 +``` + +步长恒为 11 一度指向"客户端把行偏移当 chunk 序号发、服务端拿它跟 813 比 → 永远收不全"。 +对照今天另外两笔就清楚了:`29473` 的分片**已传完**(`max(chunk_index)=623` 正好等于 `chunk_total=623`,共 57 片, +`completed=1`),`29479` 在 704/961。所以 **`chunk_index` 就是行偏移(每片 11 行)**,判"传完"用的是最后一个偏移追平 total, +不是"收到 total 片"。29475 现在在 352/813(43%),一切正常。 +慢的真实原因是**每片 11 行要花 7.3 分钟 ≈ 40 秒/行**,与 §八 代理套餐过期同一条线: +不是协议 bug、不是服务端问题,是上游采集速度。 +那条 INFO 也就不必改 —— 它每片打一条,正好是"任务还在推进"的心跳。 + +> 但本节初稿里"`29473` 已完成"那句**是错的**,14:59 复查明细后更正:它只是**输入封口** +> (`completed=1`),任务本身 13:59 之后就没动过 —— `biz_file_task.status` 仍 `RUNNING`、 +> `biz_file_result.url` 为空、组装 job 20833 `RUNNING retry_count=2`,也就是**分片传完了但结果出不来**。 +> 这条更正不是抠字眼:那 60 分钟的"没动"正是 §十一 那场"锁忙"风暴的另一半现场。 + +**三条共同的教训**:这三个都"看着像问题",而且前两个改起来都很便宜(换个 env、清一批僵尸行)。 +如果直接动手,10.1 会白重启两台 java、10.2 会去删一批其实正常的历史行。 +**便宜的改动更需要便宜的证伪**:一条 SQL 或三次 curl 就能判生死,先花这 30 秒。 + +--- + +## 十一、结果文件作业撞锁后自己点火:20 分钟 667 次零退避重投(已修) + +§九 发版后做验收时顺手数了日志占比,结果翻出一个跟事务无关的新问题。记在这儿, +因为它的**判据形状**("每分钟递增""全属同一个 jobId""调度轮询一次都没领到活")比结论更值得留。 + +### 11.1 现场 + +A 机(`server-110`)重启后 20–30 分钟窗口: + +| 窗口 | 总日志行 | `process requeued because task lock is busy` | 占比 | +|---|---|---|---| +| 14:2x–14:5x(30m) | 9,116 | 741 | 8.1% | +| 14:3x–14:51(20m) | 6,556 | 472 | 7.2% | +| 14:39–14:59(20m) | 7,687 | **667** | **8.7%** | + +- **全部集中在一个 jobId**:472 条那窗 100% 是 `jobId=20838 taskId=29479 moduleType=APPEARANCE`; + 30 分钟那窗另有 187 条属 `20833/29473`,到 14:5x 只剩 20838。 +- **速率在涨,不是衰减**:按分钟数 3 → 6 → 12 → 18 → 22 → 24。**积压会被冲掉,自循环才会越跑越快。** +- **B 机 0 条** —— 风暴只出现在作业 owner 所在的那台。 +- 时间戳形状:同一个 jobId 的重投行严格分簇,簇内相邻差 ≈1 s、簇周期 ≈**10.02 s**, + 一个簇里**并排 4 条链**。10 s 这个数正好是 `TaskDistributedLockService.DEFAULT_WAIT_MILLIS=10000`。 + +### 11.2 根因:`requeue()` 在退回 PENDING 的同一刻把下一发点着了 + +链路(`TaskResultFileJobWorker.processInternal` → `TaskFileJobService.requeue` → +`TaskFileJobDispatchCoordinator.onTaskFileJobDispatch` → `TaskFileJobLocalDispatcher.dispatch`): + +``` +撞锁(等 10s 未果) → requeue(): UPDATE ... status RUNNING→PENDING (updated=1) + → publishDispatchEvent() ← 就是这一句 + → AFTER_COMMIT 监听器 → 本地 dispatch(force) → worker.process() + → claimRunning(): PENDING→RUNNING → 再撞同一把锁 → requeue() … +``` + +- `requeue` 只在状态**真的翻转**时才发事件(`.ne(status,'PENDING')` 是防重复投递的闸), + 但这条路径上它每次都翻转成功(RUNNING→PENDING),于是**每一轮都点火一次**,环路里没有任何延迟要素。 +- 周期 = 10 s 探锁 + 一次往返,所以稳态就是"每 job 每 10 秒一次",而**分片上传事件每次 `requeue` + 都会另起一条链**(`scheduleLlmPipelineForSubmittedChunk` 每传一片调一次),链数只增不减 → 解释 11.1 的递增。 +- **不是 MQ 重投**:`TaskFileJobConsumer.onMessage` 只做 `selectById`+`process`,秒回、不抛异常 ⇒ broker 不重投; + 而且 20838 是 owner-scoped 作业,归属机上走的是本地 dispatch,`dispatchAfterCommit` 里直接 return,**根本没发消息**。 + 实测旁证:同窗口 `dispatch` 相关行 0、`scheduled worker claimed` 0、`队列已满` 0、`backpressure` 0。 +- 锁**确实被别人占着**,不是僵尸锁:同窗口 `appearance-llm-row-12/13/14` 正在发 LLM 请求, + `biz_file_task 29479.updated_at` 每几秒被刷一次。持锁方是同一任务的逐片 LLM 提交,属正常串行。 + +**代价算在共享执行器上**:一次探测要占住 `taskQueueExecutor` 的信号量许可整整 10 秒 +(`max-concurrent=12`,与货源 LLM 重提、图像视频轮询**共用同一池**)。按 667 次/1200 秒做 Little 定律: +`0.556 次/秒 × 10 秒 ≈ 5.6` 个许可被"只是在等锁"的作业长期占着,**约占全池 46%**。 +这一条是本节值得修的全部理由 —— 日志吵只是表象。 + +### 11.3 修法(一处,5 行) + +`TaskResultFileJobWorker.processInternal` 撞锁分支不再走 `requeue()`,改走**已存在**的 +`deferRunning()`:同样 `RUNNING→PENDING`、同样写 `error_message`,**但不发 dispatch 事件**, +节奏交回 `runPendingJobs` 的固定周期。`application.yml` 里 `local-worker-delay-ms` 生效值 **10000** +(不是 `@Value` 兜底的 15000),所以最坏 10 秒后被重新捞起,比原来的"0 秒"慢、比"作业搁死"快。 + +```java +String busyMessage = "Task is busy, waiting for previous task operation"; +if (localWorkerEnabled) { + taskFileJobService.deferRunning(job.getId(), busyMessage); // 停车,不点火 +} else { + taskFileJobService.requeue(job.getId(), busyMessage); // 没有轮询兜底,必须自己点火 +} +``` + +那个 `else` 不是保守,是**防搁死**:`application-local.yml` 把 `local-worker-enabled` 关掉时, +PENDING 行没有任何周期扫描会捞它(该 profile 连 MQ 都关着),去掉 publish 就等于把作业永久留在 PENDING。 +本地 worker 开着 ⇔ 每 10 秒必扫一次,两者严格互斥,所以按这个标志分支就够了。 + +依赖的前提都取过证,不是推断: +- 调度线程活着:同窗口 `aiimage-scheduling-*` 1,474 行(ziniao 缓存任务在跑); +- 轮询开着:A 机 java 进程 env 只有 `AIIMAGE_RESULT_FILE_JOB_MQ_ENABLED=true` 一个 result-file-job 键, + `local-worker-enabled` 走 `application.yml` 的 `:true`,`/app/java/application-server.yml` 未覆盖; +- 轮询能捞到它:`claimRunnableJobsForOwner` 的 owner 分支条件 + `status IN (PENDING,FAILED) AND module_type IN (APPEARANCE_PATENT,…) AND owner=本机 AND retry_count<5`, + 20838 实测 `status=RUNNING owner=server-110 retry_count=0` —— 翻成 PENDING 即命中。 + +### 11.4 没动的两处(有意留着) + +- **`DEFAULT_WAIT_MILLIS=10000` 不改短**。改成 2 s 能把"一个卡住的作业 = 1 个许可"压到 0.2 个, + 但修完 11.3 之后重投频率已经从 0.556 次/秒降到 ≈0.1 次/秒·job,两个卡住的作业只占 2/12 许可; + 再动就是要给 9 个测试文件的 `allowLock` 打桩换参数,**证据不足以支付这个改动面**。 +- **`队列已满` 那条 `requeue`(`offloadOrRun` 的闸门拒绝分支)形状相同、也零退避**, + 但实测窗口内 0 次触发(它要 `TaskQueueGate` 的 1,000 等待位先填满才会响)。不预修。 + +### 11.5 验收判据(发版后按这两条读,别只看"0 命中") + +1. `process requeued because task lock is busy` 每分钟条数应从 ≈24 掉到 **≤ 作业数 × 6/分钟**, + 且**不再随时间递增**; +2. `scheduled worker claimed jobs count=` 必须从 **0 变成非 0** —— 这条是新路径的**唯一直接证据**: + 修完之后重投由轮询驱动,它不出现就说明作业其实是被别的东西捞起来的,那我的模型就是错的,得回来重查。 + 反过来说:**这一条比"风暴消失"更重要**,因为"消失"也可以用"任务刚好跑完了"来解释。 +3. 结果侧不能变差:`waiting for async llm result` 与 `process success` 的条数不应下降; + 作业若真的 5 分钟没心跳,`stuck reset` 仍会兜住(`stuck-timeout-minutes:5` 没动)。 + +