fix(任务): 开机自回收改以本进程启动时刻为界,发版不再蚕食结果文件作业的重试次数

原判据是 now-max(60,staleSeconds),但 ApplicationReadyEvent 只在重启后几秒响一次,
那时遗留行的心跳也只停了几秒,条件结构上永不成立——线上"实例重启,作业已重新排队"累计 0 条。
遗骸改由 stuck 扫描按 +1 重试处理(今天 A 发了 7 版、重试预算只有 5),
20833 已被吃掉一次,20836/任务29475 就是被这条链判成"已达到最大重试次数"的。
This commit is contained in:
2026-09-28 15:59:47 +08:00
parent 2689fd5e1f
commit 7bb03466b0
7 changed files with 182 additions and 76 deletions
+66
View File
@@ -1018,3 +1018,69 @@ RUNNING 行等满 5 分钟阈值"一致,是兜底在正常工作,没有作
属第七节的人工决策,不由脚本顺手改。
---
## 十二、开机自回收从来没生效过:每次发版都在吃结果文件作业的重试次数(已修)
§十一 修完重投风暴后,回读作业时顺手发现的,性质比风暴更阴——它不刷屏,只是把还能补传的组装作业一个个判死。
### 12.1 取证(主机A 库,15:45)
- `SELECT COUNT(*) FROM biz_task_file_job WHERE error_message LIKE '%实例重启,作业已重新排队%'` = **0**。
这条文案是 9-27 那批改动里"开机自回收"写下的唯一痕迹。**上线到现在一条都没有** ——
这个兜底机制从来没有捞到过任何东西。日志侧同样证据:`booted and reclaimed` 每次重启都是 0。
- 与此同时,作业 20833(任务 29473,外观专利)的 `retry_count` 从 15:26 / 15:33 两次读到的 **2**
变成 15:42 读到的 **3**。`requeue()` 和 `deferRunning()` 都不碰这一列(`TaskFileJobService:597-635`),
全库只有两条路会 +1:`:357` PENDING 僵尸兜底(上限压到 `MAX_RETRY_COUNT-1`)与 `:378` RUNNING 卡死复位
(**加到 5 就把这行写成 FAILED**,文案"文件生成任务运行超时,已达到最大重试次数")。
窗口内唯一命中的是 15:35:03 那条 `handled stuck running jobs reset resetCount=1` —— 也就是 `:378`。
- 15:24:53 那次重启时,A 上有 **4 个** owner=server-110 的 RUNNING 作业。它们没被开机回收接走,
于是 5 分钟后由 stuck 扫描按 +1 重试处理。**发版 → 遗骸 → 扣重试**,中间没有任何一步是可逆的。
- 这条链已经产生过一个死掉的作业:**20836 / 任务 29475**(外观专利),`created_at` 10:37:00、
11:10:38 变 FAILED、`retry_count=5`、文案就是上面那句。**33 分钟走完 5 次**,与"5 分钟阈值 ×6 轮"同量级。
这正是最初报的那个"组装 job 终态失败但分片仍未补传完整,暂不恢复"。
要说清楚:**这 33 分钟里 A 没有重启**(按 `.bak-*` 时间戳数,今天 A 的重启在 02:42/03:15/09:32/11:56/12:33/14:19/15:24),
所以 20836 的死因不是发版,而是它当时正被 §十一 那个零退避循环反复搬运。**两件事的公共节点是 `:378` 那个会判死的计数器。**
- 今天两台各发了 **7–8 版**(`.bak-*` 时间戳:A 7 个、B 8 个),`RestartCount=0` 说明 docker 自己没动过,
全是发版脚本的 `docker restart`。重试预算是 **5**。这两个数字放在一起就是问题本身。
### 12.2 根因:判据锚在"距今 N 秒",而事件只在重启后几秒响一次
`TaskFileJobService.reclaimOwnedRunningJobs` 原来的界是 `now - max(60, staleSeconds)`(`staleSeconds` 默认 90)。
它要防的是"误抢另一个仍在心跳的作业",逻辑没错,**但取错了时刻**:`reclaimOwnedJobsOnBoot` 挂在
`ApplicationReadyEvent` 上,本机从被杀到事件响只隔了十几秒,那时遗骸的 `updated_at` 也只停了十几秒,
`< now-90s` 永远不成立 → 一行都取不到。等它真的"停了 90 秒以上"时,这个事件早就不会再响了。
**开机回收是一条结构上不可能命中的分支**,所以线上 0 条不是巧合。
判据换成 **本进程的启动时刻**:`owner=本机 AND status=RUNNING AND updated_at < 本进程启动时刻`。
成立的前提有两条,都已核:① `docker restart` 是先 stop 后 start,新进程起来时旧进程必然已经退出,
它留下的行一定停在这个界之前;② `updated_at` 全部由应用侧 `LocalDateTime.now()` 写入(不是 DB 时钟),
和本界同源,**不存在跨机时钟偏移**;本进程自己派发的行只会晚于这个界,所以界之后的行天然不会被抢。
### 12.3 修法(四处,无行为扩张)
- `InstanceMetadata` 暴露 `startedAt`(`ManagementFactory.getRuntimeMXBean().getStartTime()`,系统默认时区)。
- `TaskFileJobService.reclaimOwnedRunningJobs(String owner, LocalDateTime orphanedBefore, int limit)`:
收调用方给的界,**删掉 `Math.max(60, …)` 下限**;界为 null 就不回收(交给 stuck 扫描)。
- `TaskResultFileJobWorker.reclaimOwnedJobsOnBoot()` 传 `instanceMetadata.getStartedAt()`,日志改打 `cutoff=`。
- 配置键 `aiimage.result-file-job.boot-reclaim-stale-seconds`(含 yml 行)**删除**。
取证过两台 env 都没有 `AIIMAGE_RESULT_FILE_JOB_BOOT_RECLAIM_STALE_SECONDS`,删了不影响现网;
留着则是"谁调大一点,遗骸就又筛不出来"的反向开关。测试里改为断言这个键**不存在**。
### 12.4 验收判据(下次发版就能读到,不用等)
1. 发版前:记下当时的 RUNNING 行 id + retry_count。发版后:`实例重启,作业已重新排队` 必须 **> 0**
(这条从 0 变非 0 就是本机制第一次真的工作),且这些行的 `retry_count` **一个都不能涨**。
2. `booted and reclaimed` 日志出现同样的条数;这些作业应在几十秒内被重新 claim(不该再等 5 分钟)。
3. 反证也要看:如果两台都在跑同一 instanceId,回收会抢对方的行 —— 已核 `AIIMAGE_INSTANCE_ID`
分别是 `server-110`/`server-121`,不撞。
### 12.5 顺带证伪的一条:外观模块自己那条 busy requeue 是冷代码
`AppearancePatentTaskService:1806-1811` 是同一形状的"撞锁 → `requeue`(自带点火)",但它写的
`error_message` 不同("…waiting for appearance patent result merge"),DB 能直接分辨:
近 6 小时 **0 行**命中,命中的 2 行全是 worker 那条文案。原因是可达性——它只能由 worker 的 handler
调到,而 worker 调到它时**同一线程已经持有这把锁**,`TaskDistributedLockService` 的重入计数(`:58-61` 加、
`:188-191` 减,只有减到 0 才真释放)会让内层直接拿到句柄、永不走 null 分支。
**不改**:给它加退避等于给死代码上保险,而且要动 handler 契约。