fix(task): 终态任务保留失败兜底出部分结果

B28 的终态守卫把父任务已失败的结果作业直接标终态;terminal_callback_at 一打,
stuck 扫描就再也捞不到它,fallbackAssembleOnFailure 不再执行,失败任务永远没有结果文件。
改为判死但保留兜底回调,由归属实例收口;已终态任务的补检直接放行,按已有分片出部分结果。
This commit is contained in:
2026-10-25 14:28:57 +08:00
parent 5928072c6a
commit 583dad92ec
6 changed files with 94 additions and 15 deletions
@@ -159,6 +159,10 @@ public class AppearancePatentDeliverySupport {
* 「因为慢而抛满重试」不再等于「永远补不了」。
*
* <p>预算耗尽、或重排没接上时仍按已有结果出表:「起码失败了也可以下载」那条保证不变。
*
* <p>父任务已终态时不再排补检:B28 的终态守卫不会让结果作业再跑,重排只会被下一轮
* claim 立刻打回 FAILED,白转一圈(现网 32217/32220 锁续 86 分钟就是这条循环的旧形态)。
* 终态任务直接按已有分片出部分结果,缺口由行账文案标在表里。
*/
public boolean scheduleFallbackRecheck(FileTaskEntity task, FileResultEntity result,
AppearancePatentRowOutcome.Facts facts) {
@@ -167,15 +171,20 @@ public class AppearancePatentDeliverySupport {
|| facts == null || maxRounds <= 0) {
return false;
}
if (facts.missingRows() <= 0 || facts.missingKeys().isEmpty()) {
return false;
}
if (TaskStatuses.FileTask.TERMINAL.contains(task.getStatus())) {
log.warn("[appearance-patent] 任务已终态,补检不再执行,按已有结果交付 taskId={} status={} missingRows={} keys={}",
task.getId(), task.getStatus(), facts.missingRows(), facts.missingKeys().size());
return false;
}
long done = taskCacheService.recheckRounds(task.getId());
if (done >= maxRounds) {
log.warn("[appearance-patent] 补检预算已耗尽,按已有结果交付 taskId={} rounds={}/{}",
task.getId(), done, maxRounds);
return false;
}
if (facts.missingRows() <= 0 || facts.missingKeys().isEmpty()) {
return false;
}
taskCacheService.releaseRowInspection(task.getId(), facts.missingKeys(), true);
TaskFileJobEntity reset = taskFileJobService.resetTerminalFailedForRecovery(
task.getId(), moduleType, result.getId());
@@ -239,10 +239,16 @@ public class TaskFileJobService {
return status != null && TaskStatuses.FileTask.TERMINAL.contains(status);
}
/** 终态父任务的 job 直接拉满重试并打终态回调:不执行、不再被下一轮扫到。 */
/**
* 终态父任务的 job 直接拉满重试:不执行、不再被下一轮扫到。
*
* <p>终态回调要留给卡死扫描的失败兜底({@code fallbackAssembleOnFailure}):外观专利等模块
* 靠它用已回传分片出部分结果文件,「起码失败了也可以下载」才不会被 B28 的终态守卫顺手掐掉。
* 这里若直接打 {@code terminal_callback_at},兜底扫描再也捞不到这行,用户只剩红字、连半张表都没有。
*/
private void skipJobOfTerminalTask(TaskFileJobEntity job, String stage) {
String message = "父任务已终态,结果作业不再执行";
markFailedPermanent(job, message);
markFailedPermanentAwaitingFallback(job, message);
log.info("[task-file-job] skipped because parent task is terminal jobId={} taskId={} moduleType={} stage={}",
job.getId(), job.getTaskId(), job.getModuleType(), stage);
}
@@ -801,15 +807,31 @@ public class TaskFileJobService {
* 适用于 task/result 已经不存在等无法通过重试恢复的场景。
*/
public void markFailedPermanent(TaskFileJobEntity job, String message) {
markFailedPermanent(job, message, true);
}
/**
* 父任务已终态时的作业收口:同样判死并拉满重试,但**不打 terminal_callback_at**。
*
* <p>不打标不是漏收尾:卡死扫描专门捞「FAILED + retry 到顶 + terminal_callback_at 为空」的行,
* 由它调用模块的失败兜底出部分结果(外观专利任务 31302/31354 的「起码失败了也可以下载」)。
* 这里一旦打标,兜底路径就被永久跳过,失败任务的 result_file_url 永远为空,前端连下载按钮都没有。
*/
public void markFailedPermanentAwaitingFallback(TaskFileJobEntity job, String message) {
markFailedPermanent(job, message, false);
}
private void markFailedPermanent(TaskFileJobEntity job, String message, boolean finalizeCallback) {
LocalDateTime now = LocalDateTime.now();
taskFileJobMapper.update(null, new LambdaUpdateWrapper<TaskFileJobEntity>()
.eq(TaskFileJobEntity::getId, job.getId())
.ne(TaskFileJobEntity::getStatus, "SUCCESS")
.set(TaskFileJobEntity::getStatus, "FAILED")
.set(TaskFileJobEntity::getRetryCount, MAX_RETRY_COUNT)
.set(TaskFileJobEntity::getErrorMessage, message == null ? "结果文件生成失败" : message)
.set(TaskFileJobEntity::getUpdatedAt, LocalDateTime.now())
.set(TaskFileJobEntity::getFinishedAt, LocalDateTime.now())
.set(TaskFileJobEntity::getTerminalCallbackAt, LocalDateTime.now()));
.set(TaskFileJobEntity::getUpdatedAt, now)
.set(TaskFileJobEntity::getFinishedAt, now)
.set(TaskFileJobEntity::getTerminalCallbackAt, finalizeCallback ? now : null));
}
/**
@@ -102,6 +102,14 @@ public class TaskResultFileJobWorker {
result.resetCount(), result.exhaustedJobs().size(), stuckTimeoutMinutes);
}
for (TaskFileJobEntity job : result.exhaustedJobs()) {
// 终态兜底出表必须落在归属实例:fallbackAssembleResultFile 在非归属机会直接返回 false,
// 但 finalizeRetryExhausted 随后仍会打 terminal_callback_at,归属机的兜底就永远跑不到了。
if (isOwnerScopedJob(job) && !isOwnedByCurrentInstance(job)) {
log.info("[task-file-job] skip exhausted owner-scoped job of another instance jobId={} taskId={} moduleType={} owner={} current={} stage=SKIP_OWNER",
job.getId(), job.getTaskId(), job.getModuleType(),
ownerFromScopeKey(job.getScopeKey()), currentInstanceId());
continue;
}
String message = job.getErrorMessage() == null || job.getErrorMessage().isBlank()
? "文件生成任务运行超时,已达到最大重试次数"
: job.getErrorMessage();
@@ -215,7 +223,8 @@ public class TaskResultFileJobWorker {
}
// 终态后不再 touchRunning:否则 job 的 updated_at 一直被刷新,
// job 级 stuck 扫描永远看不到这行,成为不可回收的 RUNNING 遗骸。
taskFileJobService.markFailedPermanent(job, "父任务已终态,结果作业不再执行");
// 判死但不打 terminal_callback_at:留给兜底扫描出部分结果,失败任务仍可下载。
taskFileJobService.markFailedPermanentAwaitingFallback(job, "父任务已终态,结果作业不再执行");
log.info("[task-file-job] parent task terminal; stopped renewal and failed job jobId={} taskId={} moduleType={} stage=TERMINAL_STOP_RENEW",
job.getId(), job.getTaskId(), job.getModuleType());
}
@@ -231,7 +240,7 @@ public class TaskResultFileJobWorker {
private void processClaimedWithHeartbeat(TaskFileJobEntity job, TaskFileJobEntity claim) {
if (taskFileJobService.isOwningTaskTerminal(job.getTaskId())) {
taskFileJobService.markFailedPermanent(job, "父任务已终态,结果作业不再执行");
taskFileJobService.markFailedPermanentAwaitingFallback(job, "父任务已终态,结果作业不再执行");
log.info("[task-file-job] skipped because parent task is terminal jobId={} taskId={} moduleType={} stage=TERMINAL_SKIP",
job.getId(), job.getTaskId(), job.getModuleType());
return;
@@ -279,7 +288,7 @@ public class TaskResultFileJobWorker {
}
if (taskFileJobService.isOwningTaskTerminal(job.getTaskId())) {
try (lockHandle) {
taskFileJobService.markFailedPermanent(job, "父任务已终态,结果作业不再执行");
taskFileJobService.markFailedPermanentAwaitingFallback(job, "父任务已终态,结果作业不再执行");
}
log.info("[task-file-job] skipped after acquiring lock because parent task is terminal jobId={} taskId={} moduleType={} stage=TERMINAL_AFTER_LOCK",
job.getId(), job.getTaskId(), job.getModuleType());