fix(任务收尾): 打破「数据永久缺失 → 卡死恢复无限重建 job」的死循环
线上任务 28459(appearance_patent)卡在 RUNNING:chunk 462/473/484 的 payload 对象已不存在,组装失败 → stale recovery 每 30 秒重建一次 assemble job 再失败, 而恢复过程又会刷新任务心跳、任务永远判不出「卡死」,48 分钟空转近百轮。 - appearance-patent:读 chunk 时若 payload 对象已不存在(RustFS NoSuchKey), 跳过该分片让任务按已有分片出部分结果,不再抛异常把组装永久拖死; similar-asin 在原有 typeMismatch 跳过分支旁补同款处理 - TaskFileJobService.hasExhaustedAssembleJob + stale recovery:已有「重试耗尽且 已终态收尾」的 assemble job 时放弃恢复,交给 finalizeStaleTask 按失败收尾 —— 用户看到明确失败,而不是无限 RUNNING 实测:部署后两节点 28459 相关日志、rustfs 确定性错误、stale recovery 重建全部归零。
This commit is contained in:
+19
@@ -643,6 +643,25 @@ public class TaskFileJobService {
|
||||
.set(TaskFileJobEntity::getTerminalCallbackAt, LocalDateTime.now()));
|
||||
}
|
||||
|
||||
/**
|
||||
* 该任务是否已有「重试耗尽且已走完终态回调」的组装 job。
|
||||
*
|
||||
* <p>用于卡死恢复(stale recovery)判断"再重建一次还有没有意义":数据永久缺失时,
|
||||
* 每轮重建只会再失败一次,而恢复过程又会刷新任务心跳,导致任务永远 RUNNING、
|
||||
* 恢复每 30 秒空转一轮(线上任务 28459 实测)。
|
||||
*/
|
||||
public boolean hasExhaustedAssembleJob(Long taskId, String moduleType) {
|
||||
if (taskId == null || taskId <= 0 || moduleType == null || moduleType.isBlank()) {
|
||||
return false;
|
||||
}
|
||||
return taskFileJobMapper.selectCount(new LambdaQueryWrapper<TaskFileJobEntity>()
|
||||
.eq(TaskFileJobEntity::getTaskId, taskId)
|
||||
.eq(TaskFileJobEntity::getModuleType, moduleType)
|
||||
.eq(TaskFileJobEntity::getJobType, JOB_TYPE_ASSEMBLE_RESULT)
|
||||
.ge(TaskFileJobEntity::getRetryCount, MAX_RETRY_COUNT)
|
||||
.isNotNull(TaskFileJobEntity::getTerminalCallbackAt)) > 0;
|
||||
}
|
||||
|
||||
public TaskFileJobEntity findAssembleJob(Long taskId, String moduleType, Long resultId) {
|
||||
return findJob(taskId, moduleType, resultId, JOB_TYPE_ASSEMBLE_RESULT);
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user