docs(运维): §九 补齐 110 秒锁等待的持锁方取证与两处修法

上一版写"持锁方仍未定位"是错的,实际已定位到外观专利的 stale 恢复路径。
同时记两条当时看着像证据其实不是的判据(CglibAopProxy 出现在栈里 ≠ 在事务里;
burst 之后抓的线程转储不能当反证),以及 MySQL 业务账号无 PROCESS、加权限留人工决定。
This commit is contained in:
2026-09-28 14:11:49 +08:00
parent aa7e07cf02
commit 6df20ff5c6
+108 -1
View File
@@ -696,7 +696,114 @@ health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SE
`192.168.0.171` → `0.066/0.065/0.061 ms`。差 4 倍但**绝对值都可忽略**;
§四 说的 5–8 Mbps 只在**大块传输**(下载图片/上传对象)时咬人,别拿它去解释小 POST 的失败。
- **另一个纯运维项**(我没擅动,属可执行清单):`/root/BrandTesting/nohup.out` 已 **941,635,295 B**,
实测 30 秒长 27,021 B ≈ **1.1 GB/天**,比 §七 里任何容器日志都快;磁盘 492G 用了 156G(34%)暂时不致命。
实测 30 秒长 27,021 B(900 B/s)≈ **78 MB/天** —— 本条第一版把它写成了 "1.1 GB/天",是**乘法算错了 14 倍**
(1.1 GB/天 需要 13 kB/s);13:1x 另取一次 5 秒 4,700 B(940 B/s)与之吻合,两笔独立测量都对得上,
只有原来那个结论错。按 78 MB/天,900MB 约是 **12 天**积累。磁盘 492G 用了 156G(34%),完全不致命。
进程是 `nohup` 追加写、不能发信号重启 → 只能 `logrotate` 配 `copytruncate`(保留几轮 + 压缩)。
这是客户排障唯一的日志来源,保留策略要人点头,所以先记命令不执行。
## 九、卡住自愈扫描会被一行的锁等待作废整轮(症状与根因两处都已修,取证在案)
§六 那轮复测顺手查出来的第二个缺陷,性质不同:**它不是网络,是我们自己的定时任务**。
修了两处:§9.3 让扫描不再被一行拖垮(症状),§9.5 把整批 LLM 移出事务(根因,持锁方本身)。
只修 §9.3 的话 burst 不再作废整轮,但那 50 秒锁等仍会每 110 秒白占一条 Hikari 连接。
### 9.1 现场是什么样子
- 主机B `docker logs --since 40m`(窗口总行数 6,008 行自证)里 `CannotAcquireLockException` **9 次**,
失败时刻 `12:58:16 / 13:00:06 / 13:01:57 / 13:03:47 / 13:05:37 / 13:07:27 / 13:09:17 / 13:11:07 / 13:12:57`
—— **严格每 110 秒一次**,13:12:57 之后自行停止。110 = 60s `fixedDelay` + 50s `innodb_lock_wait_timeout`,
这个周期本身就是"同一行、同一处、每轮都撞"的指纹。
- 抛点的完整 SQL 与栈(同一段日志里抠出来的,不是推测):
`UPDATE biz_task_file_job SET retry_count=?,updated_at=?,status=?,error_message=?,finished_at=?,terminal_callback_at=? WHERE (id = ? AND status = ? AND updated_at …)`
→ `TaskFileJobMapper.update-Inline` → `TaskFileJobService.resetStuckRunningJobsDetailed(TaskFileJobService.java:390)`
→ `TaskResultFileJobWorker.resetStuckJobs(TaskResultFileJobWorker.java:101)`。
- 同期 job `20834`(`APPEARANCE_PATENT` / `ASSEMBLE_RESULT` / owner `server-110`)的一个 LLM 批次
`costMs=1077959`(18 分钟),窗口正好盖住上面这 15 分钟。
- MySQL 侧累计自证:`Innodb_row_lock_waits=354,493`、`Innodb_row_lock_time_max=51,199 ms`、
`Innodb_row_lock_time_avg=13 ms` → **平均 13 毫秒,尾巴 51 秒**:绝大多数锁等是正常排队,
出事的是极少数"被一个长事务按住"的行。慢日志里同类 50 秒锁等已 586 条,
8-31 / 9-08 / 9-16 各有一轮同样的 burst(历史热点 id 18399 命中 516 次)→ **不是今晚才有的**。
### 9.2 为什么"整轮作废"比"这一行没修好"严重得多
原实现第 344–399 行的循环**没有逐行容错**,而第 400–405 行的
`refreshJobsByIds` + `publishDispatchEvent` 排在循环**之后**。所以第 390 行一抛:
1. 本轮 SELECT 出来的其余最多 199 行不再看一眼(含真卡住该救的行);
2. **本轮已经复位成功的那些 job 一个 dispatch 事件都发不出去** —— 它们已经是 PENDING 了却没人派发,
要等下一轮扫描的 PENDING 分支再兜一次,每兜一次 `retry_count` +1,而 `MAX_RETRY_COUNT` 只有 5;
3. `exhaustedJobs` 直接丢空 → 该判终态失败的作业不 finalize,用户界面停在"处理中";
4. 这一轮的 50 秒白占一条 Hikari 连接 → 同一时间窗内 `Connection leak` 告警 7 条(阈值就是 50s)。
被锁的那一行按 `ORDER BY updated_at ASC` 每轮都排在最前面,于是 12:58–13:13 **每一轮都先撞它、
每一轮都整轮作废**,那 15 分钟里实际上没有任何自愈在跑。
### 9.3 修法(只收口这一处,不动事务边界)
`resetStuckRunningJobsDetailed` 循环体整体包 `try/catch (RuntimeException)`:单行失败只打一条
**带 jobId 的** WARN 并 `continue`;`publishDispatchEvent` 也改成逐个 job 独立包(监听器是同步执行的,
一个 job 派发失败不能带走同批其余)。刻意**不加**事务、不改 `@Transactional`、不动 CAS 条件 ——
每行本就带 `status + updated_at` 的幂等条件,跳过就是下一轮再收,重复执行不会双份复位。
新增两个回归测试:`lockedJobRowDoesNotAbortTheRestOfStuckScan`(第一行抛 1205,第二行仍被复位并派发)、
`alreadyResetJobsStillDispatchWhenOnePublishFails`(第一个事件发布抛异常,第二个仍发出)。
### 9.4 持锁方:外观专利的 stale 恢复把整批 LLM 包进了事务(已定位、已修)
这一节上一版写的是"仍未定位"。定位过程记在这里,因为其中两条判据是**错的**,值得留着的不是结论而是排除路径。
四条证据:
1. **同一笔 job 的三个数对上**:burst 期间主机B 报 1205 的那一行,就是主机A 上 job `20834`
(`APPEARANCE_PATENT` / `ASSEMBLE_RESULT` / owner `server-110`),它的 LLM 批次 `costMs=1077959`
= 18 分钟,把 12:58–13:13 整段盖住。两台 `AIIMAGE_INSTANCE_ID` 不同(`server-110` / `server-121`)
→ 这是**跨实例**持锁;`resetStuckRunningJobsDetailed` 的扫描条件不带 owner,所以 B 必然会去碰 A 正持有的行。
2. **锁由哪条语句取**:`submitLlmBatches` 循环每批开头调 `TaskFileJobService.touchRunning`(:555,
`UPDATE biz_task_file_job SET updated_at=? WHERE id=? AND status='RUNNING'`),紧跟着才是
`llmClient.inspectRows` 的 HTTP(:926)。持锁方与被锁方打的是**同一行、同一把 X 锁**。
—— 注意取锁点**不是** `enqueueAssembleResult`:它对已 `RUNNING` 的行直接 return、不写(:63)。
3. **为什么这把锁能活 18 分钟**:`finalizeStaleTask` 的三个调用点原先都把**整个方法**包进
`PROPAGATION_REQUIRES_NEW`,而方法里 `tryRecoverTimedOutPythonTask` → `submitLlmForSubmittedChunk`(:1246)
→ `submitLlmBatches` 就是那 18 分钟。MyBatis-Spring 的语义:有环境事务时 mapper 调用不各自提交,
行锁持到最外层 commit;无环境事务时每次调用即刻提交、锁即时释放。
4. **被排除的干扰项**(都查过,别再重跑):全仓 `FOR UPDATE` 只有 shop-data-crawl 日锁与
`TaskScopePayloadStorageService:486` 两处,与本路径无关;今天全天 shop-data-crawl 删除调用 0 命中
(`拒绝删除` / `reconcile task after result deletion` / `deleteHistory` 各 0);worker、`touchRunning`、
MQ 消费链静态读下来都不带环境事务。
两条**当时看着像证据、其实不是**的:
- **`CglibAopProxy` 出现在栈里 ≠ 在事务里**。任何被代理的 bean 都会出现这一帧。判事务只能看
`TransactionInterceptor.invoke` / `DataSourceTransactionManager.doBegin` / `TransactionTemplate.execute`。
我按错的判据一度指认"brand-check 线程持事务",读源码后自己否掉(`CollectDataService.submitResult` 无
`@Transactional`,品牌检测本就注释说明刻意放在锁外)。
- **线程转储抓晚了不能当反证**。7 份转储(`jcmd <javapid> Thread.print`;A 机 java 是 **pid 12**,
pid 1 是 `bash /run.sh`,对它抓只会得 `AttachNotSupportedException`)里没有任何 `TransactionInterceptor.invoke`,
但抓样时刻 13:31 已在 burst(止于 13:12:57)之后 —— 只能证明"此刻没有"。
顺带:`kill -3 1` 发给 bash 是无效的(非交互 bash 忽略 SIGQUIT),既没伤害也没产生转储。
**对照**:同源模块 `SimilarAsinTaskService` 早就是正确形状(:991 只把 `finalizeTask` 包进短事务,
LLM 提交在事务外)。**AP 是唯一破坏这个约定的模块**,不是"全仓都这么写",所以本轮不需要横扫其它模块。
### 9.5 第二处修法:事务边界收到 `finalizeTask` 那一层
- 三个调用点(`finalizeStaleTasks` / `debugFinalizeStaleTask` / `finalizeNoUploadStaleTask`)去掉外层
`inNewTransaction`,改由 `finalizeStaleTask` 自己只在 `finalizeTask` 外面开短事务;
`tryRecoverTimedOutPythonTask` 里"封口"那段(多行 scope 状态更新)单独占一个短事务,紧随其后的 LLM 批次在事务外。
- 加**回归哨兵**:`submitLlmBatches` 发批前查 `TransactionSynchronizationManager.isActualTransactionActive()`,
命中即 ERROR 带 taskId/jobId/pendingRows —— 以后谁再把批次搬回事务里,日志会直接点名,不用重演今晚的抓转储。
- `finalizeTask` 内 `shouldAssembleSynchronously()` 恒为 false(出表走 MQ 异步),所以留在短事务里的只有
两次 select + 两次 update + enqueue + redis delete。
- 本轮**没动**的三件,各自理由:brand-check 的重试/预算参数(§八 已定性为坏上游,调参等于在坏上游上调)、
`selectRowsUpdatedAtByTaskIds`(SQL 已够窄,无慢日志证据)、给 MySQL 加 PROCESS 权限(见下)。
数据库侧想直接看 `information_schema.INNODB_TRX` / `performance_schema.data_lock_waits` 仍然不行:
业务账号 `CURRENT_USER()=root@172.19.0.1`(名字是 root,权限被削平)只有 `GRANT USAGE ON *.*` +
`aiimage.*` 表级授权,**没有 PROCESS**(读 `INNODB_TRX` 回 1227、读 `data_lock_waits` 回 1142),
`GRANT OPTION` 也只覆盖 `aiimage.*`,提不出全局权限;宿主机上没有可用 root 凭据
(`grep -rl MYSQL_ROOT_PASSWORD /opt/1panel` 无结果、无 `/root/.my.cnf`,容器 env 里那个口令实测 1045 不认)。
**给生产库加 PROCESS 属权限变更,不在本轮授权范围内,留给人工决定。** 于是改成让代码留钩子:
WARN 里带被锁的 `jobId`,而该 job 的执行日志(哪个实例、哪个批次、起止时刻)就在同一份日志里,
两边一对就能指认持锁方。**下次 burst 不用再抓转储。**