fix(task-retry): 已交付代点重试不再空转(B96-08)
This commit is contained in:
@@ -21,6 +21,9 @@ import java.util.List;
|
||||
* @param fileJobExhausted 结果文件作业是否已重试耗尽(true 时责任不在客户端回传)
|
||||
* @param submissionComplete 客户端是否已交完全部结果(末分片 done=true/scope 已封口)。
|
||||
* true 时责任在出表侧:采集早就干完了,是结果文件没生成出来
|
||||
* @param resultFileDelivered 结果文件其实已经交付({@code biz_file_result.result_file_url} 非空)。
|
||||
* 与 {@code submissionComplete} 一起看:交完了<b>而且</b>表已挂,就不能再说「未能生成」
|
||||
* (BACKLOG B96-08:33879 的终态文案把已交付说成没交付,用户据此以为白跑了三代)
|
||||
* @param timeoutMinutes 判死阈值(分钟)
|
||||
*/
|
||||
public record StaleTaskDeathReason(long chunkCount,
|
||||
@@ -29,6 +32,7 @@ public record StaleTaskDeathReason(long chunkCount,
|
||||
String lastProgress,
|
||||
boolean fileJobExhausted,
|
||||
boolean submissionComplete,
|
||||
boolean resultFileDelivered,
|
||||
int timeoutMinutes) {
|
||||
|
||||
/**
|
||||
@@ -46,17 +50,37 @@ public record StaleTaskDeathReason(long chunkCount,
|
||||
String lastProgress,
|
||||
boolean fileJobExhausted,
|
||||
int timeoutMinutes) {
|
||||
this(chunkCount, lastChunkAt, lastHeartbeatAt, lastProgress, fileJobExhausted, false, timeoutMinutes);
|
||||
this(chunkCount, lastChunkAt, lastHeartbeatAt, lastProgress, fileJobExhausted, false, false, timeoutMinutes);
|
||||
}
|
||||
|
||||
/**
|
||||
* 没有「结果文件是否已交付」信号的调用方用这一档:等价于 {@code resultFileDelivered=false},
|
||||
* 文案与加这个字段之前逐字相同。外观专利那条链已经接上真信号({@code AppearancePatentStaleTaskScanner}),
|
||||
* 相似ASIN尚未接(见上文 6 参数的同一理由)。
|
||||
*/
|
||||
public StaleTaskDeathReason(long chunkCount,
|
||||
LocalDateTime lastChunkAt,
|
||||
LocalDateTime lastHeartbeatAt,
|
||||
String lastProgress,
|
||||
boolean fileJobExhausted,
|
||||
boolean submissionComplete,
|
||||
int timeoutMinutes) {
|
||||
this(chunkCount, lastChunkAt, lastHeartbeatAt, lastProgress, fileJobExhausted, submissionComplete,
|
||||
false, timeoutMinutes);
|
||||
}
|
||||
|
||||
private static final DateTimeFormatter TIME = DateTimeFormatter.ofPattern("MM-dd HH:mm");
|
||||
|
||||
public String describe() {
|
||||
if (chunkCount > 0 && fileJobExhausted) {
|
||||
return "已收到 " + chunkCount + " 个结果分片,但结果文件生成多次失败,任务已自动结束";
|
||||
}
|
||||
String headline;
|
||||
if (submissionComplete) {
|
||||
if (submissionComplete && resultFileDelivered) {
|
||||
// BACKLOG B96-08:交完了<b>而且</b>直链已经挂上时,「结果文件未能生成」是句假话——
|
||||
// 现网 33879 的表在上一代就出好并交付过(重试触发的是「已交付代」,见
|
||||
// TaskInPlaceRetryService 的形状分档),文案却说没生成,排查方向被带偏一整轮。
|
||||
headline = "客户端已上传完全部结果,结果文件已生成(沿用已交付的那份)";
|
||||
} else if (chunkCount > 0 && fileJobExhausted) {
|
||||
return "已收到 " + chunkCount + " 个结果分片,但结果文件生成多次失败,任务已自动结束";
|
||||
} else if (submissionComplete) {
|
||||
// 2026-11-10 现网 33828/33758 的形状:采集侧末分片 done=true 已上传成功
|
||||
// (worker 日志「任务处理完成 99/99,抓取失败 0 行」),出表作业却停在上一代的 SUCCESS 上
|
||||
// 没被复位,于是永不出表、心跳停了 30 分钟被判死。此时说「客户端回传中断」与事实相反——
|
||||
|
||||
+1
-1
@@ -368,7 +368,7 @@ public class AppearancePatentTaskService extends AbstractFileTaskPipeline<Appear
|
||||
return new AppearancePatentStaleTaskScanner(MODULE_TYPE, TASK_LOCK_TTL,
|
||||
fileTaskMapper, taskChunkMapper, taskScopeStateMapper, taskCacheService,
|
||||
taskHeartbeatPositionService, taskFileJobService, taskDistributedLockService,
|
||||
properties, taskOwnership(), this::isResultSubmissionComplete);
|
||||
properties, taskOwnership(), this::isResultSubmissionComplete, deliveredRearmSupport()::hasDelivered);
|
||||
}
|
||||
|
||||
public void finalizeStaleTasks() {
|
||||
|
||||
+4
@@ -416,6 +416,10 @@ public class AppearancePatentResultJobSupport {
|
||||
// 与 fallbackAssembleResultFile 同一枚幂等闸。补传恢复不受影响:
|
||||
// maybeRecoverTerminalFailedAssemble 自带 hasSuccessfulAssembleJob 早退,
|
||||
// 而交付之后任务已终态,迟到分片被 rejectNotRunning 拒掉,没有合法的第二轮组装。
|
||||
// ⚠ 这一格<b>刻意只认直链</b>:B96-08 曾想改成「直链非空且任务已终态」,但 31527 那一刻
|
||||
// 任务还是 RUNNING、复位重试后的任务也只是 PENDING —— 终态判据区分不了这两件事,改了就是
|
||||
// 把 31527 请回来。空转的正解在复位侧:TaskInPlaceRetryService 必须先清直链、再复位作业
|
||||
// (顺序就是判据——作业在直链清掉之前不可被领取),新一代于是不会带着旧直链走到这里。
|
||||
if (result.getResultFileUrl() != null && !result.getResultFileUrl().isBlank()) {
|
||||
log.info("[appearance-patent] 结果文件已交付,跳过重复组装 taskId={} resultId={} jobId={}",
|
||||
task.getId(), result.getId(), job.getId());
|
||||
|
||||
+6
-1
@@ -70,6 +70,8 @@ public class AppearancePatentStaleTaskScanner {
|
||||
private final AppearancePatentTaskOwnership ownership;
|
||||
/** 客户端是否已交完全部结果(末分片 done=true);判死文案据此分开「采集没传完」与「采集完了没出表」。 */
|
||||
private final Predicate<Long> submissionComplete;
|
||||
/** 结果文件是否其实已经交付(直链非空);判死文案据此分开「没表」与「表已挂」(BACKLOG B96-08)。 */
|
||||
private final Predicate<Long> resultFileDelivered;
|
||||
|
||||
public AppearancePatentStaleTaskScanner(String moduleType,
|
||||
Duration taskLockTtl,
|
||||
@@ -82,7 +84,8 @@ public class AppearancePatentStaleTaskScanner {
|
||||
TaskDistributedLockService taskDistributedLockService,
|
||||
AppearancePatentProperties properties,
|
||||
AppearancePatentTaskOwnership ownership,
|
||||
Predicate<Long> submissionComplete) {
|
||||
Predicate<Long> submissionComplete,
|
||||
Predicate<Long> resultFileDelivered) {
|
||||
this.moduleType = moduleType;
|
||||
this.taskLockTtl = taskLockTtl;
|
||||
this.fileTaskMapper = fileTaskMapper;
|
||||
@@ -95,6 +98,7 @@ public class AppearancePatentStaleTaskScanner {
|
||||
this.properties = properties;
|
||||
this.ownership = ownership;
|
||||
this.submissionComplete = submissionComplete;
|
||||
this.resultFileDelivered = resultFileDelivered;
|
||||
}
|
||||
|
||||
public void sweep(StaleDeathFinalizer finalizer) {
|
||||
@@ -165,6 +169,7 @@ public class AppearancePatentStaleTaskScanner {
|
||||
taskHeartbeatPositionService.describe(taskId),
|
||||
taskFileJobService.hasExhaustedAssembleJob(taskId, moduleType),
|
||||
submissionComplete.test(taskId),
|
||||
resultFileDelivered.test(taskId),
|
||||
properties.getStaleTimeoutMinutes()).describe();
|
||||
}
|
||||
|
||||
|
||||
+84
-10
@@ -5,9 +5,11 @@ import com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper;
|
||||
import com.nanri.aiimage.common.task.TaskStatuses;
|
||||
import com.nanri.aiimage.modules.task.mapper.FileResultMapper;
|
||||
import com.nanri.aiimage.modules.task.mapper.FileTaskMapper;
|
||||
import com.nanri.aiimage.modules.task.mapper.TaskChunkMapper;
|
||||
import com.nanri.aiimage.modules.task.mapper.TaskFileJobMapper;
|
||||
import com.nanri.aiimage.modules.task.model.entity.FileResultEntity;
|
||||
import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity;
|
||||
import com.nanri.aiimage.modules.task.model.entity.TaskChunkEntity;
|
||||
import com.nanri.aiimage.modules.task.model.entity.TaskFileJobEntity;
|
||||
import lombok.RequiredArgsConstructor;
|
||||
import lombok.extern.slf4j.Slf4j;
|
||||
@@ -33,14 +35,18 @@ import com.nanri.aiimage.modules.task.service.support.TaskFailureLedger;
|
||||
* <p>只动四样东西:
|
||||
* <ul>
|
||||
* <li>任务头:FAILED/CANCELLED → PENDING,清 error_message / finished_at,代数 +1;</li>
|
||||
* <li>结果行:清上一次的错误文案(结果文件 URL 保留,新文件生成后会覆盖;
|
||||
* 中断交付的场景由 {@link #clearDeliveredResultUrl} 显式清直链);</li>
|
||||
* <li>结果行:清上一次的直链与错误文案(<b>失败代也清</b>——留着直链会让复位后的组装作业被
|
||||
* 交付闸「已交付即跳过」在 2 秒内标回 SUCCESS,见 BACKLOG B96-08;新文件生成后覆盖挂新直链);</li>
|
||||
* <li>组装作业:终态失败复位 PENDING(含卡死重排计数清零);中断已交付的 SUCCESS 作业
|
||||
* 同样复位,否则「已交付跳过重复组装」闸会让复位后的作业空转;</li>
|
||||
* <li>模块补检预算:从中断恢复时经 {@code ResultFileJobHandler#onTaskResumed} 清零
|
||||
* (AP 的补检轮次在中断交付前往往已烧满,不清则继续后的第一轮就按部分表收尾)。</li>
|
||||
* </ul>
|
||||
* 分片、scope 状态、解析载荷一律不动——它们就是续跑点。
|
||||
*
|
||||
* <p><b>唯一的例外是「活已经干完了」那一形状</b>:分片已被上一轮交付清理、直链还挂着时,
|
||||
* 重试不排回 PENDING,而是把任务补成成功终态并保留文件({@link #settleAlreadyDelivered})——
|
||||
* 那一单没有第二代可跑,排回去只能空转一轮再被判死。
|
||||
*/
|
||||
@Slf4j
|
||||
@Service
|
||||
@@ -49,10 +55,12 @@ public class TaskInPlaceRetryService {
|
||||
|
||||
private static final String STATUS_FAILED = "FAILED";
|
||||
private static final String STATUS_PENDING = "PENDING";
|
||||
private static final String STATUS_SUCCESS = TaskStatuses.FileTask.SUCCESS;
|
||||
private static final String STATUS_CANCELLED = TaskStatuses.FileTask.CANCELLED;
|
||||
|
||||
private final FileTaskMapper fileTaskMapper;
|
||||
private final FileResultMapper fileResultMapper;
|
||||
private final TaskChunkMapper taskChunkMapper;
|
||||
private final TaskFileJobService taskFileJobService;
|
||||
private final TaskFileJobMapper taskFileJobMapper;
|
||||
private final ResultFileJobHandlerRegistry resultFileJobHandlers;
|
||||
@@ -60,7 +68,8 @@ public class TaskInPlaceRetryService {
|
||||
/**
|
||||
* 把一条失败/已中断任务复位成待执行。幂等:只有当前状态确实是 FAILED/CANCELLED 才动作。
|
||||
*
|
||||
* @return true=已复位;false=状态已不是 FAILED/CANCELLED(并发或已重试过)
|
||||
* @return true=已复位(「活已经干完了」那一形状返回的是「已补终态」,见 {@link #settleAlreadyDelivered});
|
||||
* false=状态已不是 FAILED/CANCELLED(并发或已重试过)
|
||||
*/
|
||||
public boolean retryInPlace(FileTaskEntity task) {
|
||||
if (task == null || task.getId() == null) {
|
||||
@@ -74,6 +83,12 @@ public class TaskInPlaceRetryService {
|
||||
if (handler != null) {
|
||||
handler.onTaskResumed(task.getId());
|
||||
}
|
||||
} else if (settleAlreadyDelivered(task)) {
|
||||
// 形状 (b)(BACKLOG B96-08):分片已被上一轮交付清理、直链还挂着 —— 这一单的活其实
|
||||
// 干完了,该补终态并保留文件,而不是排回 PENDING:没有分片可组装、没有行可续跑,
|
||||
// 排回去只能再空转一轮、再等「无人领取」判死一次(33879 就是被点了一次重试、
|
||||
// 2 秒内作业回到 SUCCESS、任务却留在 PENDING)。
|
||||
return true;
|
||||
}
|
||||
int attempt = task.getResumeAttempt() == null ? 0 : task.getResumeAttempt();
|
||||
LocalDateTime now = LocalDateTime.now();
|
||||
@@ -90,12 +105,13 @@ public class TaskInPlaceRetryService {
|
||||
log.info("[task-retry] 状态已不是 FAILED/CANCELLED,跳过复位 taskId={}", task.getId());
|
||||
return false;
|
||||
}
|
||||
if (STATUS_CANCELLED.equals(task.getStatus())) {
|
||||
// 中断已交付过部分结果:先清直链再复位作业,顺序反了会出现「作业已 PENDING、
|
||||
// 已交付闸还短着」的一轮空转。直链清掉后下载按钮收起,新一轮组装完成再挂新文件。
|
||||
clearDeliveredResultUrl(task.getId(), task.getModuleType());
|
||||
}
|
||||
// 复位「上一代已出过表」的作业:失败代与中断代**都要做**,差别只在直链清不清。
|
||||
// 形状 (a) 与中断代共用这一段:<b>失败代也要清直链</b>(B96-08 第 1 条修法)。
|
||||
// 旧写法只给中断代清、失败代留直链(本意「上一份可能已经可用」),叠上交付闸
|
||||
// 「直链非空即跳过」就成了恒定空转:作业复位后 2 秒又被标回 SUCCESS,新一代永远组装不了。
|
||||
// 代价与中断分支同一口径:清零到新表产出之间用户暂时没有下载入口。
|
||||
// 顺序也不能反:先清直链再复位作业,否则会出现「作业已 PENDING、已交付闸还短着」的一轮空转。
|
||||
clearDeliveredResultUrl(task.getId(), task.getModuleType());
|
||||
// 复位「上一代已出过表」的作业:失败代与中断代**都要做**(B96-08 起两边直链也一起清)。
|
||||
// 只给中断代做会留下一个永不出表的死循环——那行 SUCCESS 留在原地时,
|
||||
// enqueueAssembleResult 每次都原样拿回它(底座的 .ne SUCCESS 是刻意的:没人要求重做时
|
||||
// 不许替换用户可能已下载的成品),于是采集侧把结果全部传完也轮不到出表、心跳停了
|
||||
@@ -109,6 +125,64 @@ public class TaskInPlaceRetryService {
|
||||
return true;
|
||||
}
|
||||
|
||||
/**
|
||||
* 形状 (b):<b>活已经干完了</b>的失败任务——分片已被上一轮交付清理、结果文件仍挂着——
|
||||
* 重试该做的是补终态,不是重跑。
|
||||
*
|
||||
* <p>为什么宁可判成功也不排回 PENDING:{@code cleanupResultFileJob} 在交付成功后就把
|
||||
* {@code biz_task_chunk} 与 scope 状态删了(那是分片作为续跑点的寿命终点)。此时复位只会得到
|
||||
* 一个既没有行可组装、也没有分片可续跑的空任务——B96-08 实测 33879 就是这样:复位 → 交付闸
|
||||
* 按「直链非空」跳过组装 → 作业 2 秒回到 SUCCESS → 任务留在 PENDING 等 24 小时判死。
|
||||
* 文件本体还在对象存储、直链仍然可下,所以「收成成功并保留文件」是唯一诚实的结局。
|
||||
*
|
||||
* <p>CAS 条件仍是 {@code status=FAILED}(并发下与 {@link #retryFailedTask} 的复核同口径);
|
||||
* 抢不到就返回 false 让调用方按「状态已变」处理,不硬写。
|
||||
*
|
||||
* @return true=已补终态(调用方按复位成功返回)
|
||||
*/
|
||||
private boolean settleAlreadyDelivered(FileTaskEntity task) {
|
||||
if (!STATUS_FAILED.equals(task.getStatus()) || persistedChunkCount(task.getId(), task.getModuleType()) > 0) {
|
||||
return false;
|
||||
}
|
||||
FileResultEntity result = fileResultMapper.selectOne(new LambdaQueryWrapper<FileResultEntity>()
|
||||
.eq(FileResultEntity::getTaskId, task.getId())
|
||||
.eq(FileResultEntity::getModuleType, task.getModuleType())
|
||||
.orderByAsc(FileResultEntity::getId)
|
||||
.last("limit 1"));
|
||||
String url = result == null ? null : result.getResultFileUrl();
|
||||
if (url == null || url.isBlank()) {
|
||||
return false;
|
||||
}
|
||||
LocalDateTime now = LocalDateTime.now();
|
||||
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
|
||||
.eq(FileTaskEntity::getId, task.getId())
|
||||
.eq(FileTaskEntity::getStatus, STATUS_FAILED)
|
||||
.set(FileTaskEntity::getStatus, STATUS_SUCCESS)
|
||||
.set(FileTaskEntity::getSuccessFileCount, 1)
|
||||
.set(FileTaskEntity::getFailedFileCount, 0)
|
||||
.set(FileTaskEntity::getErrorMessage, null)
|
||||
.set(FileTaskEntity::getFailureCategory, null)
|
||||
.set(FileTaskEntity::getFinishedAt, now)
|
||||
.set(FileTaskEntity::getUpdatedAt, now));
|
||||
if (updated == 0) {
|
||||
log.info("[task-retry] 补终态未生效(状态已变) taskId={}", task.getId());
|
||||
return false;
|
||||
}
|
||||
log.warn("[task-retry] 分片已被上一轮交付清理且结果文件仍挂着,重试补终态而不是重排"
|
||||
+ " taskId={} moduleType={} resultId={} 代数={}",
|
||||
task.getId(), task.getModuleType(), result.getId(),
|
||||
task.getResumeAttempt() == null ? 0 : task.getResumeAttempt());
|
||||
return true;
|
||||
}
|
||||
|
||||
/** 已落库的结果分片数:分片在=上一代的续跑点还在,可清直链重采;分片没了=活已经干完了。 */
|
||||
private long persistedChunkCount(Long taskId, String moduleType) {
|
||||
Long count = taskChunkMapper.selectCount(new LambdaQueryWrapper<TaskChunkEntity>()
|
||||
.eq(TaskChunkEntity::getTaskId, taskId)
|
||||
.eq(TaskChunkEntity::getModuleType, moduleType));
|
||||
return count == null ? 0L : count;
|
||||
}
|
||||
|
||||
/**
|
||||
* 通用入口(模块无关):从任务行自身取 moduleType。
|
||||
*
|
||||
@@ -142,7 +216,7 @@ public class TaskInPlaceRetryService {
|
||||
}
|
||||
}
|
||||
|
||||
/** 结果行只清错误文案:URL 留着(上一份可能已经可用),新文件生成后自然覆盖。 */
|
||||
/** 结果行只清错误文案:直链由 {@link #clearDeliveredResultUrl} 在复位前单独清(B96-08)。 */
|
||||
private void clearResultError(Long taskId, String moduleType) {
|
||||
try {
|
||||
fileResultMapper.update(null, new LambdaUpdateWrapper<FileResultEntity>()
|
||||
|
||||
Reference in New Issue
Block a user