diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md index 8844c390f..25c55d09e 100644 --- a/docs/ops/prod-decisions-2026-09-28.md +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -1084,3 +1084,35 @@ RUNNING 行等满 5 分钟阈值"一致,是兜底在正常工作,没有作 调到,而 worker 调到它时**同一线程已经持有这把锁**,`TaskDistributedLockService` 的重入计数(`:58-61` 加、 `:188-191` 减,只有减到 0 才真释放)会让内层直接拿到句柄、永不走 null 分支。 **不改**:给它加退避等于给死代码上保险,而且要动 handler 契约。 + +### 12.6 验收结果(16:14 读,`75e48680` 两台发版后即读,判据成立但第 1 条换了计量口径) + +发版是 16:09:11 那次同时重启(两台同版 `da1696f1` → `1ed261d9`,health 200,Flyway 137 无迁移,无启动异常)。 +这一轮的样本条件比预期更好:**发版前那一刻全网 RUNNING 的结果文件作业恰好就是本机 owner 的 3 条** +(16:06:23 快照),回收该接住几条、接住了几条,可以逐行对上。 + +| 项 | 发版前 16:06:23 | 发版后 16:13:36 | 判据 | +| --- | --- | --- | --- | +| 开机回收日志 | 全天 **0 条**(结构上不可能命中,见 12.2) | `开机自回收本机遗留作业 count=3 owner=server-110 cutoff=2026-09-28T16:09:11.595 limit=20`,时刻 16:09:21.513 | ✅ 第一次真工作,且是**启动后 9.9 秒** | +| `booted and reclaimed` | 0 条 | 1 条 `reclaimed=3 instanceId=server-110 cutoff=2026-09-28T16:09:11.595` | ✅ 与上一行同源同数 | +| 20805(29452 货源)retry | 0,RUNNING,心跳 16:06:17 | 0,RUNNING,静默 31s | ✅ 没涨 | +| **20833(29473 外观专利)retry** | **3**,RUNNING,心跳 16:06:15 | **3**,RUNNING,静默 33s | ✅ 没涨 —— 旧行为这里会变 4,再发一版就撞 5 判死 | +| 20853(29500 货源)retry | 0,RUNNING,心跳 16:06:12 | 0,RUNNING,静默 2s | ✅ 没涨 | +| 重新被 claim 的延迟 | 旧包要等 stuck 扫描(阈值 5 分钟) | 16:12–16:13 每 20 秒一条 `scheduled worker claimed count=2` | ✅ 几十秒量级,不是 5 分钟 | +| `PENDING` 堆积 | — | `pending_rows=0` | ✅ 回收没把作业留在队列里 | +| `已达到最大重试次数` / `killed_rows` | 0 / 1 | 0 / 1 | ✅ 本轮没有新增判死 | +| `boot reclaim failed` / `ERROR` / `队列已满` | — | A:0 / 0 / 0;B:0 / 0 / 0 | ✅ | + +**B 机 `开机自回收` 0 条不是没生效**:B 当时没有自有 RUNNING 作业(发版前 992 行日志里 0 claimed、 +0 chunk、0 ERROR,空闲),`cutoff` 那条路径查不到候选,所以不打日志。A 的 3 条对上了就是判据成立。 + +判据 1 的口径要更正 —— 这是我写 12.4 时想错的一点:`实例重启,作业已重新排队` 写进 `error_message` +之后会被**下一轮处理覆盖**(16:14 复核 `still_marked=0`,20805 现在是 "Similar ASIN result uploaded…"、 +20833 是 "Task is busy, waiting for previous…")。所以它是**瞬时标记,不能当累计计数用**; +真正的验收锚点是这两条:**开机回收日志的 `count=`** 和 **那几行 `retry_count` 跨发版不变**。 +`reclaimed_rows` 这种"按文案数行数"的读法在任何一次成功回收之后都会掉回 0,读到 0 别当成没工作。 + +顺带记一笔:这一轮同时是 §十一 和 §十二 第一次在同一个真实发版里叠上 —— 20833 处于 §十一 的停车态 +(`Task is busy` + RUNNING),旧包靠 stuck 扫描按时间判死它,新包先由开机回收退回 PENDING、 +再由 10 秒一轮的轮询重新捞起。两个修复接的是同一条链的两端。 +