fix(task-retry): 已交付代点重试不再空转(B96-08)

This commit is contained in:
2026-11-12 15:18:34 +08:00
parent a940cd227f
commit ad33b7d54c
7 changed files with 235 additions and 25 deletions
@@ -21,6 +21,9 @@ import java.util.List;
* @param fileJobExhausted 结果文件作业是否已重试耗尽(true 时责任不在客户端回传)
* @param submissionComplete 客户端是否已交完全部结果(末分片 done=true/scope 已封口)。
* true 时责任在出表侧:采集早就干完了,是结果文件没生成出来
* @param resultFileDelivered 结果文件其实已经交付({@code biz_file_result.result_file_url} 非空)。
* 与 {@code submissionComplete} 一起看:交完了<b>而且</b>表已挂,就不能再说「未能生成」
* (BACKLOG B96-08:33879 的终态文案把已交付说成没交付,用户据此以为白跑了三代)
* @param timeoutMinutes 判死阈值(分钟)
*/
public record StaleTaskDeathReason(long chunkCount,
@@ -29,6 +32,7 @@ public record StaleTaskDeathReason(long chunkCount,
String lastProgress,
boolean fileJobExhausted,
boolean submissionComplete,
boolean resultFileDelivered,
int timeoutMinutes) {
/**
@@ -46,17 +50,37 @@ public record StaleTaskDeathReason(long chunkCount,
String lastProgress,
boolean fileJobExhausted,
int timeoutMinutes) {
this(chunkCount, lastChunkAt, lastHeartbeatAt, lastProgress, fileJobExhausted, false, timeoutMinutes);
this(chunkCount, lastChunkAt, lastHeartbeatAt, lastProgress, fileJobExhausted, false, false, timeoutMinutes);
}
/**
* 没有「结果文件是否已交付」信号的调用方用这一档:等价于 {@code resultFileDelivered=false},
* 文案与加这个字段之前逐字相同。外观专利那条链已经接上真信号({@code AppearancePatentStaleTaskScanner}),
* 相似ASIN尚未接(见上文 6 参数的同一理由)。
*/
public StaleTaskDeathReason(long chunkCount,
LocalDateTime lastChunkAt,
LocalDateTime lastHeartbeatAt,
String lastProgress,
boolean fileJobExhausted,
boolean submissionComplete,
int timeoutMinutes) {
this(chunkCount, lastChunkAt, lastHeartbeatAt, lastProgress, fileJobExhausted, submissionComplete,
false, timeoutMinutes);
}
private static final DateTimeFormatter TIME = DateTimeFormatter.ofPattern("MM-dd HH:mm");
public String describe() {
if (chunkCount > 0 && fileJobExhausted) {
return "已收到 " + chunkCount + " 个结果分片,但结果文件生成多次失败,任务已自动结束";
}
String headline;
if (submissionComplete) {
if (submissionComplete && resultFileDelivered) {
// BACKLOG B96-08:交完了<b>而且</b>直链已经挂上时,「结果文件未能生成」是句假话——
// 现网 33879 的表在上一代就出好并交付过(重试触发的是「已交付代」,见
// TaskInPlaceRetryService 的形状分档),文案却说没生成,排查方向被带偏一整轮。
headline = "客户端已上传完全部结果,结果文件已生成(沿用已交付的那份)";
} else if (chunkCount > 0 && fileJobExhausted) {
return "已收到 " + chunkCount + " 个结果分片,但结果文件生成多次失败,任务已自动结束";
} else if (submissionComplete) {
// 2026-11-10 现网 33828/33758 的形状:采集侧末分片 done=true 已上传成功
// (worker 日志「任务处理完成 99/99,抓取失败 0 行」),出表作业却停在上一代的 SUCCESS 上
// 没被复位,于是永不出表、心跳停了 30 分钟被判死。此时说「客户端回传中断」与事实相反——
@@ -368,7 +368,7 @@ public class AppearancePatentTaskService extends AbstractFileTaskPipeline<Appear
return new AppearancePatentStaleTaskScanner(MODULE_TYPE, TASK_LOCK_TTL,
fileTaskMapper, taskChunkMapper, taskScopeStateMapper, taskCacheService,
taskHeartbeatPositionService, taskFileJobService, taskDistributedLockService,
properties, taskOwnership(), this::isResultSubmissionComplete);
properties, taskOwnership(), this::isResultSubmissionComplete, deliveredRearmSupport()::hasDelivered);
}
public void finalizeStaleTasks() {
@@ -416,6 +416,10 @@ public class AppearancePatentResultJobSupport {
// 与 fallbackAssembleResultFile 同一枚幂等闸。补传恢复不受影响:
// maybeRecoverTerminalFailedAssemble 自带 hasSuccessfulAssembleJob 早退,
// 而交付之后任务已终态,迟到分片被 rejectNotRunning 拒掉,没有合法的第二轮组装。
// ⚠ 这一格<b>刻意只认直链</b>:B96-08 曾想改成「直链非空且任务已终态」,但 31527 那一刻
// 任务还是 RUNNING、复位重试后的任务也只是 PENDING —— 终态判据区分不了这两件事,改了就是
// 把 31527 请回来。空转的正解在复位侧:TaskInPlaceRetryService 必须先清直链、再复位作业
// (顺序就是判据——作业在直链清掉之前不可被领取),新一代于是不会带着旧直链走到这里。
if (result.getResultFileUrl() != null && !result.getResultFileUrl().isBlank()) {
log.info("[appearance-patent] 结果文件已交付,跳过重复组装 taskId={} resultId={} jobId={}",
task.getId(), result.getId(), job.getId());
@@ -70,6 +70,8 @@ public class AppearancePatentStaleTaskScanner {
private final AppearancePatentTaskOwnership ownership;
/** 客户端是否已交完全部结果(末分片 done=true);判死文案据此分开「采集没传完」与「采集完了没出表」。 */
private final Predicate<Long> submissionComplete;
/** 结果文件是否其实已经交付(直链非空);判死文案据此分开「没表」与「表已挂」(BACKLOG B96-08)。 */
private final Predicate<Long> resultFileDelivered;
public AppearancePatentStaleTaskScanner(String moduleType,
Duration taskLockTtl,
@@ -82,7 +84,8 @@ public class AppearancePatentStaleTaskScanner {
TaskDistributedLockService taskDistributedLockService,
AppearancePatentProperties properties,
AppearancePatentTaskOwnership ownership,
Predicate<Long> submissionComplete) {
Predicate<Long> submissionComplete,
Predicate<Long> resultFileDelivered) {
this.moduleType = moduleType;
this.taskLockTtl = taskLockTtl;
this.fileTaskMapper = fileTaskMapper;
@@ -95,6 +98,7 @@ public class AppearancePatentStaleTaskScanner {
this.properties = properties;
this.ownership = ownership;
this.submissionComplete = submissionComplete;
this.resultFileDelivered = resultFileDelivered;
}
public void sweep(StaleDeathFinalizer finalizer) {
@@ -165,6 +169,7 @@ public class AppearancePatentStaleTaskScanner {
taskHeartbeatPositionService.describe(taskId),
taskFileJobService.hasExhaustedAssembleJob(taskId, moduleType),
submissionComplete.test(taskId),
resultFileDelivered.test(taskId),
properties.getStaleTimeoutMinutes()).describe();
}
@@ -5,9 +5,11 @@ import com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper;
import com.nanri.aiimage.common.task.TaskStatuses;
import com.nanri.aiimage.modules.task.mapper.FileResultMapper;
import com.nanri.aiimage.modules.task.mapper.FileTaskMapper;
import com.nanri.aiimage.modules.task.mapper.TaskChunkMapper;
import com.nanri.aiimage.modules.task.mapper.TaskFileJobMapper;
import com.nanri.aiimage.modules.task.model.entity.FileResultEntity;
import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity;
import com.nanri.aiimage.modules.task.model.entity.TaskChunkEntity;
import com.nanri.aiimage.modules.task.model.entity.TaskFileJobEntity;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
@@ -33,14 +35,18 @@ import com.nanri.aiimage.modules.task.service.support.TaskFailureLedger;
* <p>只动四样东西:
* <ul>
* <li>任务头:FAILED/CANCELLED → PENDING,清 error_message / finished_at,代数 +1;</li>
* <li>结果行:清上一次的错误文案(结果文件 URL 保留,新文件生成后会覆盖;
* 中断交付的场景由 {@link #clearDeliveredResultUrl} 显式清直链);</li>
* <li>结果行:清上一次的直链与错误文案(<b>失败代也清</b>——留着直链会让复位后的组装作业被
* 交付闸「已交付即跳过」在 2 秒内标回 SUCCESS,见 BACKLOG B96-08;新文件生成后覆盖挂新直链);</li>
* <li>组装作业:终态失败复位 PENDING(含卡死重排计数清零);中断已交付的 SUCCESS 作业
* 同样复位,否则「已交付跳过重复组装」闸会让复位后的作业空转;</li>
* <li>模块补检预算:从中断恢复时经 {@code ResultFileJobHandler#onTaskResumed} 清零
* (AP 的补检轮次在中断交付前往往已烧满,不清则继续后的第一轮就按部分表收尾)。</li>
* </ul>
* 分片、scope 状态、解析载荷一律不动——它们就是续跑点。
*
* <p><b>唯一的例外是「活已经干完了」那一形状</b>:分片已被上一轮交付清理、直链还挂着时,
* 重试不排回 PENDING,而是把任务补成成功终态并保留文件({@link #settleAlreadyDelivered})——
* 那一单没有第二代可跑,排回去只能空转一轮再被判死。
*/
@Slf4j
@Service
@@ -49,10 +55,12 @@ public class TaskInPlaceRetryService {
private static final String STATUS_FAILED = "FAILED";
private static final String STATUS_PENDING = "PENDING";
private static final String STATUS_SUCCESS = TaskStatuses.FileTask.SUCCESS;
private static final String STATUS_CANCELLED = TaskStatuses.FileTask.CANCELLED;
private final FileTaskMapper fileTaskMapper;
private final FileResultMapper fileResultMapper;
private final TaskChunkMapper taskChunkMapper;
private final TaskFileJobService taskFileJobService;
private final TaskFileJobMapper taskFileJobMapper;
private final ResultFileJobHandlerRegistry resultFileJobHandlers;
@@ -60,7 +68,8 @@ public class TaskInPlaceRetryService {
/**
* 把一条失败/已中断任务复位成待执行。幂等:只有当前状态确实是 FAILED/CANCELLED 才动作。
*
* @return true=已复位;false=状态已不是 FAILED/CANCELLED(并发或已重试过)
* @return true=已复位(「活已经干完了」那一形状返回的是「已补终态」,见 {@link #settleAlreadyDelivered});
* false=状态已不是 FAILED/CANCELLED(并发或已重试过)
*/
public boolean retryInPlace(FileTaskEntity task) {
if (task == null || task.getId() == null) {
@@ -74,6 +83,12 @@ public class TaskInPlaceRetryService {
if (handler != null) {
handler.onTaskResumed(task.getId());
}
} else if (settleAlreadyDelivered(task)) {
// 形状 (b)(BACKLOG B96-08):分片已被上一轮交付清理、直链还挂着 —— 这一单的活其实
// 干完了,该补终态并保留文件,而不是排回 PENDING:没有分片可组装、没有行可续跑,
// 排回去只能再空转一轮、再等「无人领取」判死一次(33879 就是被点了一次重试、
// 2 秒内作业回到 SUCCESS、任务却留在 PENDING)。
return true;
}
int attempt = task.getResumeAttempt() == null ? 0 : task.getResumeAttempt();
LocalDateTime now = LocalDateTime.now();
@@ -90,12 +105,13 @@ public class TaskInPlaceRetryService {
log.info("[task-retry] 状态已不是 FAILED/CANCELLED,跳过复位 taskId={}", task.getId());
return false;
}
if (STATUS_CANCELLED.equals(task.getStatus())) {
// 中断已交付过部分结果:先清直链再复位作业,顺序反了会出现「作业已 PENDING、
// 已交付闸还短着」的一轮空转。直链清掉后下载按钮收起,新一轮组装完成再挂新文件。
clearDeliveredResultUrl(task.getId(), task.getModuleType());
}
// 复位「上一代已出过表」的作业:失败代与中断代**都要做**,差别只在直链清不清。
// 形状 (a) 与中断代共用这一段:<b>失败代也要清直链</b>(B96-08 第 1 条修法)。
// 旧写法只给中断代清、失败代留直链(本意「上一份可能已经可用」),叠上交付闸
// 「直链非空即跳过」就成了恒定空转:作业复位后 2 秒又被标回 SUCCESS,新一代永远组装不了。
// 代价与中断分支同一口径:清零到新表产出之间用户暂时没有下载入口。
// 顺序也不能反:先清直链再复位作业,否则会出现「作业已 PENDING、已交付闸还短着」的一轮空转。
clearDeliveredResultUrl(task.getId(), task.getModuleType());
// 复位「上一代已出过表」的作业:失败代与中断代**都要做**(B96-08 起两边直链也一起清)。
// 只给中断代做会留下一个永不出表的死循环——那行 SUCCESS 留在原地时,
// enqueueAssembleResult 每次都原样拿回它(底座的 .ne SUCCESS 是刻意的:没人要求重做时
// 不许替换用户可能已下载的成品),于是采集侧把结果全部传完也轮不到出表、心跳停了
@@ -109,6 +125,64 @@ public class TaskInPlaceRetryService {
return true;
}
/**
* 形状 (b):<b>活已经干完了</b>的失败任务——分片已被上一轮交付清理、结果文件仍挂着——
* 重试该做的是补终态,不是重跑。
*
* <p>为什么宁可判成功也不排回 PENDING:{@code cleanupResultFileJob} 在交付成功后就把
* {@code biz_task_chunk} 与 scope 状态删了(那是分片作为续跑点的寿命终点)。此时复位只会得到
* 一个既没有行可组装、也没有分片可续跑的空任务——B96-08 实测 33879 就是这样:复位 → 交付闸
* 按「直链非空」跳过组装 → 作业 2 秒回到 SUCCESS → 任务留在 PENDING 等 24 小时判死。
* 文件本体还在对象存储、直链仍然可下,所以「收成成功并保留文件」是唯一诚实的结局。
*
* <p>CAS 条件仍是 {@code status=FAILED}(并发下与 {@link #retryFailedTask} 的复核同口径);
* 抢不到就返回 false 让调用方按「状态已变」处理,不硬写。
*
* @return true=已补终态(调用方按复位成功返回)
*/
private boolean settleAlreadyDelivered(FileTaskEntity task) {
if (!STATUS_FAILED.equals(task.getStatus()) || persistedChunkCount(task.getId(), task.getModuleType()) > 0) {
return false;
}
FileResultEntity result = fileResultMapper.selectOne(new LambdaQueryWrapper<FileResultEntity>()
.eq(FileResultEntity::getTaskId, task.getId())
.eq(FileResultEntity::getModuleType, task.getModuleType())
.orderByAsc(FileResultEntity::getId)
.last("limit 1"));
String url = result == null ? null : result.getResultFileUrl();
if (url == null || url.isBlank()) {
return false;
}
LocalDateTime now = LocalDateTime.now();
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
.eq(FileTaskEntity::getId, task.getId())
.eq(FileTaskEntity::getStatus, STATUS_FAILED)
.set(FileTaskEntity::getStatus, STATUS_SUCCESS)
.set(FileTaskEntity::getSuccessFileCount, 1)
.set(FileTaskEntity::getFailedFileCount, 0)
.set(FileTaskEntity::getErrorMessage, null)
.set(FileTaskEntity::getFailureCategory, null)
.set(FileTaskEntity::getFinishedAt, now)
.set(FileTaskEntity::getUpdatedAt, now));
if (updated == 0) {
log.info("[task-retry] 补终态未生效(状态已变) taskId={}", task.getId());
return false;
}
log.warn("[task-retry] 分片已被上一轮交付清理且结果文件仍挂着,重试补终态而不是重排"
+ " taskId={} moduleType={} resultId={} 代数={}",
task.getId(), task.getModuleType(), result.getId(),
task.getResumeAttempt() == null ? 0 : task.getResumeAttempt());
return true;
}
/** 已落库的结果分片数:分片在=上一代的续跑点还在,可清直链重采;分片没了=活已经干完了。 */
private long persistedChunkCount(Long taskId, String moduleType) {
Long count = taskChunkMapper.selectCount(new LambdaQueryWrapper<TaskChunkEntity>()
.eq(TaskChunkEntity::getTaskId, taskId)
.eq(TaskChunkEntity::getModuleType, moduleType));
return count == null ? 0L : count;
}
/**
* 通用入口(模块无关):从任务行自身取 moduleType。
*
@@ -142,7 +216,7 @@ public class TaskInPlaceRetryService {
}
}
/** 结果行只清错误文案:URL 留着(上一份可能已经可用),新文件生成后自然覆盖。 */
/** 结果行只清错误文案:直链由 {@link #clearDeliveredResultUrl} 在复位前单独清(B96-08)。 */
private void clearResultError(Long taskId, String moduleType) {
try {
fileResultMapper.update(null, new LambdaUpdateWrapper<FileResultEntity>()