feat(PENDING 判死): 所有模块的等待中单超 24 小时判死,原地可重试(2026-11-06 产品拍板)

起因:现网 33462(uid=1245,数据采集 文档格式.xlsx,17 行)提交后 20 小时停在「等待中」,
updated_at 与 created_at 逐字相同、零分片回传;同批 33103 已挂 6 天。ONLINE 通道没有服务端认领方
(客户端拉取 SQL 硬性要求通道为 LOCAL、内部认领端点默认关闭且从不以 COLLECT_DATA 请求),
把这一单翻成 RUNNING 的唯一动作是界面发 activate——用户没点,"等待中"就成了事实终态:
界面不报错、后台不判死、无人通知。

- StaleTaskRepairService 新增 repairFileTaskStalePending():PENDING 且 updated_at 超 24h → FAILED,
  判死文案唯一出处 PENDING_UNCLAIMED_REASON 供 markers 引用(两处各写一遍就会改一处静默失效)
- TaskRetryEligibility 新增 Category.UNCLAIMED + UNCLAIMED_MARKERS ⇒ 这一档不进自动重试:
  否则会被复位成 PENDING、再等满 24 小时,白烧一轮排队与通知,还把"没人点启动"洗成"上游坏了"
- 三处刻意形状:基准用 updated_at 不用 created_at(重试复位过的单按最后一次状态变更起算);
  UPDATE 里复验 status+updated_at(查询与写入之间用户可能刚点启动,只按 id+status 会把刚被
  领走的单判死);不调 markDeadDownstream(这一档的定义就是没被领走,无结果行无出表作业)

口径冲突如实处理:2026-10-29 那条「PENDING 一律不判死」被本笔覆盖,但它防的是阈值太短
(按 2 小时清杀排队任务并连锁自动克隆重试,现网 2026-10-28 用户 1211 两条 829 行任务),
不是"PENDING 永远不该有终态";克隆放大那条早已被铁律 26 换成本地原地重试。剩下的已知代价
(排队真久的单也会被扫到)写进类注释,靠界面「重试」接回。

判据:StaleTaskRepairServiceTest 改写 1 格+新增 2 格(8 例),MarkersSnapshot 新增
「Category 全集必须逐个登记 markers 组」(加一档不登记即红——本笔实测三支既有测试 21 例
全绿,正是那个缺口的现场)。反向验过三处:摘 CAS updated_at 复验/摘 failure_category 写点/
摘判定分支,各出真红后还原全绿(前两次因 CRLF 未落地的"假反向"已被逐行定位断言挡下)。
This commit is contained in:
2026-11-06 13:27:42 +08:00
parent 48b961f0b2
commit 61ec324b2f
4 changed files with 185 additions and 22 deletions
@@ -25,11 +25,17 @@ import com.nanri.aiimage.modules.task.service.support.TaskFailureLedger;
* SCHEDULED / RUNNING 任务自动标终态失败,避免历史任务列表永久停留在中间状态。
* 分布式锁防双实例重复修复;注意 RUNNING 的存活判定基于 updatedAt 心跳,真活任务会不断刷新不会被误杀。
*
* <p><b>PENDING 不在本巡检的判死范围内(2026-10-29 产品口径)</b>:PENDING 是"排队等 worker 领取",
* 不是"卡死"。AP worker 串行跑大任务时,队列里的任务等再久也必须保留——按 2 小时判死把排队任务
* 误杀成「任务长期未被领取」,还会触发自动克隆重试,同一份活被放大成多条失败记录(现网 2026-10-28
* 用户 1211 的两条 829 行任务即此路)。排队任务一律等 {@code TaskClientPullService} 认领;
* 页面放弃的解析预览也一样保留,不在这里清。
* <p><b>PENDING 自 2026-11-06 起按 24 小时判死({@link #repairFileTaskStalePending()}),本段是那条口径的出处与代价。</b>
* 旧口径(2026-10-29)是「PENDING 一律不判死」:PENDING 是"排队等 worker 领取",不是"卡死"。AP worker
* 串行跑大任务时,队列里的任务等再久也必须保留——按 2 小时判死把排队任务误杀成「任务长期未被领取」,
* 还会触发自动克隆重试,同一份活被放大成多条失败记录(现网 2026-10-28 用户 1211 的两条 829 行任务即此路)。
* 那条口径防的是<b>阈值太短</b>,不是"PENDING 永远不该有终态":现网 33462 提交后 20 小时、33103 提交后 6 天
* 停在「等待中」,界面不报错、后台不判死、无人通知——ONLINE 通道根本没有服务端认领方,于是"等待中"
* 被当成了终态。两点接回旧口径担心的误杀:自动克隆重试那条早已被铁律 26 换成本地原地重试
* ({@code TaskInPlaceRetryService},同一份输入不再多出行),且 UNCLAIMED 档不进自动重试
* ({@link TaskRetryEligibility}),判死不会把排队任务放大成失败记录。
* 剩下的已知代价:排队真久的单也会被 24 小时这条扫到,靠界面上的「重试」接回来。
* 页面放弃的解析预览仍然保留,不在这里清。
*/
@Slf4j
@Service
@@ -39,11 +45,25 @@ public class StaleTaskRepairService {
private static final String STATUS_SCHEDULED = "SCHEDULED";
private static final String STATUS_RUNNING = "RUNNING";
private static final String STATUS_FAILED = "FAILED";
private static final String STATUS_PENDING = "PENDING";
/** SCHEDULED(到点未启动)/ RUNNING(心跳残留)超过该时长未更新即判死。真活任务心跳会不断刷新 updatedAt,不会被误杀。 */
private static final long STALE_IDLE_MINUTES = 120;
/**
* 「等待中」超过该时长仍无任何领取动作即判死。2026-11-06 产品拍板,覆盖 2026-10-29 那条
* 「PENDING 一律不判死」的口径(代价与接回方式写在 {@link #repairFileTaskStalePending()} 上)。
*/
static final long PENDING_UNCLAIMED_HOURS = 24;
/**
* 判死文案的唯一出处:{@link TaskRetryEligibility} 的 UNCLAIMED markers 也从这里取。
* 两处各写一遍就会改一处静默失效(同 {@code STOPPED_MARKERS} 引用 {@code DUPLICATE_STOP_REASON} 的理由)。
*/
public static final String PENDING_UNCLAIMED_REASON =
"任务提交后 " + PENDING_UNCLAIMED_HOURS + " 小时内没有采集端领取,已自动结束;在原任务上点「重试」可重新排队";
/** 单轮品牌陈旧任务处理上限(原实现内联 limit 500)。 */
private static final int MAX_BRAND_STALE_BATCH = 500;
@@ -69,6 +89,7 @@ public class StaleTaskRepairService {
try (lock) {
repairFileTaskStaleScheduled();
repairFileTaskStaleRunning();
repairFileTaskStalePending();
repairBrandStale();
} catch (Exception ex) {
log.warn("[stale-task-repair] 修护失败 msg={}", ex.getMessage(), ex);
@@ -145,6 +166,51 @@ public class StaleTaskRepairService {
}
}
/**
* 「等待中」超过 {@link #PENDING_UNCLAIMED_HOURS} 小时没有任何领取动作 → FAILED(原地可重试,不新建任务)。
*
* <p>为什么必须有这一条:ONLINE 通道的 PENDING 没有任何服务端认领方(客户端拉取 SQL 硬性要求通道为
* LOCAL,内部认领端点默认关闭且从不以 COLLECT_DATA 请求),把这一单翻成 RUNNING 的唯一动作是界面发
* activate。用户点完「提交」没点「启动」、或那一台客户端当天没上线,这一单就停在「等待中」成为事实终态
* ——现网 33462 挂 20 小时、33103 挂 6 天,`updated_at` 与 `created_at` 逐字相同、零分片回传、无人通知。
*
* <p>三处刻意的形状,改动前先读:
* ① <b>基准用 updated_at 不用 created_at</b>:被「重试」复位过的单要从最后一次状态变更起算,
* 否则一份反复重试的活会在第二次就撞上限;
* ② <b>UPDATE 里复验 updated_at</b>:查询与写入之间用户可能刚好点了启动(activate 是
* PENDING→RUNNING 的条件更新),只按 id+status 回写会把刚被领走的单判死;
* ③ <b>不调用 {@code markDeadDownstream}</b>:这一档的定义就是"从没被任何 worker 领走",
* 既无结果行也无出表作业,多两条按 taskId 的 UPDATE 只会把"下游已改口"的日志说成事实。
*
* <p>判死后的单进 {@code UNCLAIMED} 档因而<b>不</b>被 {@code TaskResumeService} 自动重试:
* 自动重试只会把它复位成 PENDING、再等满 24 小时,白烧一轮排队与通知,还把"没人点启动"洗成"上游坏了"。
*/
private void repairFileTaskStalePending() {
LocalDateTime cutoff = LocalDateTime.now().minusHours(PENDING_UNCLAIMED_HOURS);
List<FileTaskEntity> stale = fileTaskMapper.selectList(new LambdaQueryWrapper<FileTaskEntity>()
.select(FileTaskEntity::getId, FileTaskEntity::getModuleType)
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
.lt(FileTaskEntity::getUpdatedAt, cutoff)
.last("limit 500"));
if (stale.isEmpty()) {
return;
}
List<Long> ids = stale.stream().map(FileTaskEntity::getId).toList();
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
.in(FileTaskEntity::getId, ids)
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
.lt(FileTaskEntity::getUpdatedAt, cutoff)
.set(FileTaskEntity::getStatus, STATUS_FAILED)
.set(FileTaskEntity::getErrorMessage, PENDING_UNCLAIMED_REASON)
.set(FileTaskEntity::getFailureCategory, TaskFailureLedger.categoryOf(PENDING_UNCLAIMED_REASON))
.set(FileTaskEntity::getFinishedAt, LocalDateTime.now()));
if (updated > 0) {
log.warn("[stale-task-repair] 无人领取 PENDING 已标失败 count={} hours={} modules={} ids={}",
updated, PENDING_UNCLAIMED_HOURS,
stale.stream().map(FileTaskEntity::getModuleType).distinct().toList(), ids);
}
}
/**
* 把「服务端还一行心跳都没收到、且仍在未启动宽限内」的 RUNNING 任务从候选里摘掉。
*
@@ -32,7 +32,12 @@ public final class TaskRetryEligibility {
*/
DELIVERY("交付侧失败(重跑不改变结果)"),
/** 系统主动停掉的重复子任务:它不是"失败了要重跑",而是"这一份不该再跑",再克隆等于把双跑捡回来。 */
STOPPED("重复子任务已停止");
STOPPED("重复子任务已停止"),
/**
* 提交后长时间无人领取(2026-11-06 那条 24 小时 PENDING 判死的落点):重跑整单不会让用户的
* 客户端上线,也不会替他点「启动任务」。这一档等的是外部动作,不是外部条件坏了。
*/
UNCLAIMED("提交后无人领取");
private final String label;
@@ -82,6 +87,13 @@ public final class TaskRetryEligibility {
*/
private static final List<String> STOPPED_MARKERS = List.of(TaskResumeService.DUPLICATE_STOP_REASON);
/**
* 无人领取:文案的唯一出处在 {@link StaleTaskRepairService#PENDING_UNCLAIMED_REASON},这里不抄第二遍——
* 抄了就会改一处静默失效:判死文案或阈值一改,这一档认不出来,那单就会被 {@code TaskResumeService}
* 当成"可重试"反复复位成 PENDING、再等满 24 小时。
*/
private static final List<String> UNCLAIMED_MARKERS = List.of(StaleTaskRepairService.PENDING_UNCLAIMED_REASON);
private TaskRetryEligibility() {
}
@@ -98,6 +110,11 @@ public final class TaskRetryEligibility {
if (containsAny(text, STOPPED_MARKERS)) {
return Category.STOPPED;
}
// 无人领取排在停止之后、交付之前:同属"系统自己收的口",让后面的欠费/宕机档去抢这一条,
// 只会把"没人点启动"说成"服务不可用",运维据此调整反了方向。
if (containsAny(text, UNCLAIMED_MARKERS)) {
return Category.UNCLAIMED;
}
// 交付侧失败排在欠费之前:这类文案本身就是"采集已完成、组装失败",即便同一条
// 错误里还夹着欠费字样,重跑整单也修不好组装器,日志该按真实成因报。
if (containsAny(text, DELIVERY_MARKERS)) {