fix(交付): 已交付任务不再在 Python 超时恢复里空转(现网 33228 既不失败也不完成)

机制:恢复链路每 2 分钟走到 enqueueAssembleResult,它按 TaskFileJobService 的
.ne SUCCESS 刻意原样返回那行 SUCCESS(没人要求重做时不许替换用户可能已下载的表),
调用方据此打一条 "skipped llm submission because result job unavailable" 就跳过发批。
于是作业没排上、批没发出,交付闸门永远不被评估,补检/recheckMaxRounds 预算/终态
那条有界链一步都不走;而紧随其后的 touchJavaSideTaskActivity 又刷新 updated_at,
让陈旧扫描永远看不见这一行——正是铁律 28(c) 点名的「不计任何计数还刷 updated_at」。
33228 实测:表 11-03 10:50 就出好了(job SUCCESS+biz_file_result.success=1 带直链),
activeAssembleJobs 恒 0,10 行永远"等待补检轮",而界面「重试」的判据(前后端一致的
FAILED/CANCELLED)永远拒绝它——用户被关在死胡同里。

三处改动:
- TaskFileJobService 新增 hasDeliveredAssembleJob,与既有 hasExhaustedAssembleJob 成对
  (那一格看"重试耗尽",这一格看"成品已交付",两种"恢复已经试过了"都该停止空转);
- finalizer 在 uploadComplete ∧ activeAssembleJobs=0 ∧ 已交付 时返回 false 交回收尾,
  不再 touch、不再空发批。收尾走既有 finalizeTask:它本就把部分数据缺口判成非致命
  (partialGapSalvageable),缺口由行级文案标在表里(未采集到数据/未完成检测/
  未取得检测结果是三句不同的话,处置动作不同),是否成功仍由 statusResolver 按覆盖率判;
- onTaskResumed 补第二半 rearmDeliveredAssembleJobForResume。只加上一条会引入新 bug:
  刚点过「继续」的任务同样呈"已交付+无在飞作业",会被直接收尾,剩余行永远轮不到补检。
  界面确认框本就承诺「当前已生成的部分结果文件会被替换」,这里复位那行 SUCCESS 是兑现
  承诺,不是绕过 retry() 的保护——那是给没人要求重做时的。

判据 AppearancePatentStaleTaskFinalizerDeliveredGuardTest 4 支,四个方向都钉住:已交付→
收尾且不 touch/未交付→照常恢复(保「继续」)/有在飞作业→不抢它正在产出的表/
未封口→仍走封口那条路。后端整量 5,317 例 0 失败(新增前 5,313)。
This commit is contained in:
2026-11-04 13:21:40 +08:00
parent 09a34a2856
commit 847f8a224a
5 changed files with 220 additions and 0 deletions
@@ -45,6 +45,9 @@ public class AppearancePatentResultFileJobHandler implements ResultFileJobHandle
// 「继续」在原任务上复位后:清交付缺口补检的轮次预算。中断交付路径会把预算烧满, // 「继续」在原任务上复位后:清交付缺口补检的轮次预算。中断交付路径会把预算烧满,
// 不复位的话继续后的第一轮就按部分表收尾,剩余行永远轮不到补检。 // 不复位的话继续后的第一轮就按部分表收尾,剩余行永远轮不到补检。
appearancePatentTaskService.resetRecheckBudgetForResume(taskId); appearancePatentTaskService.resetRecheckBudgetForResume(taskId);
// 预算清了还不够:上一轮那行 SUCCESS 的出表作业若留在原地,恢复链路会据此跳过发批,
// 补检照样排不上(33228 实测)。界面确认框承诺"部分结果文件会被替换",这里就是兑现它。
appearancePatentTaskService.rearmDeliveredAssembleJobForResume(taskId);
} }
@Override @Override
@@ -93,6 +93,23 @@ public class AppearancePatentTaskService extends AbstractFileTaskPipeline<Appear
public void resetRecheckBudgetForResume(Long taskId) { public void resetRecheckBudgetForResume(Long taskId) {
taskCacheService.resetRecheckRounds(taskId); taskCacheService.resetRecheckRounds(taskId);
} }
/**
* 「继续」的第二半:把上一轮**已交付**的出表作业复位回 PENDING。
*
* <p>只清补检预算是不够的——那行 SUCCESS 还留在原地的话,Python 超时恢复每 2 分钟走到
* {@code enqueueAssembleResult} 都会原样拿回它、据此跳过发批,于是补检永远不会被排上
* (2026-11-04 现网 33228 就是这个形状:表 11-03 已出、作业恒 SUCCESS、10 行"等待补检轮")。
* 界面确认框本来就承诺「当前已生成的部分结果文件会被替换」,所以这里重排出表是兑现承诺,
* 不是绕过 {@code TaskFileJobService.retry} 那条"不许悄悄替换成品"的保护——那是给没人要求重做时的。
*/
public boolean rearmDeliveredAssembleJobForResume(Long taskId) {
boolean rearmed = taskFileJobService.rearmDeliveredAssembleJob(taskId, MODULE_TYPE);
if (rearmed) {
log.info("[appearance-patent] 继续:已复位上一轮出表作业,剩余行将重新出表 taskId={}", taskId);
}
return rearmed;
}
private static final String STATUS_RUNNING = "RUNNING"; private static final String STATUS_RUNNING = "RUNNING";
private static final String STATUS_SUCCESS = "SUCCESS"; private static final String STATUS_SUCCESS = "SUCCESS";
private static final String STATUS_FAILED = "FAILED"; private static final String STATUS_FAILED = "FAILED";
@@ -110,6 +110,22 @@ public class AppearancePatentStaleTaskFinalizer {
log.info("[appearance-patent] stale recovery aborted because no persisted rows taskId={}", taskId); log.info("[appearance-patent] stale recovery aborted because no persisted rows taskId={}", taskId);
return false; return false;
} }
// 表已经出过、也没有在飞的出表作业:这一格**无事可做**,而"无事可做"必须表现为不再刷新活动,
// 否则就成了自锁的空转——llmSubmitter 走到 enqueueAssembleResult 会原样拿回那行 SUCCESS
// (TaskFileJobService 的 .ne SUCCESS 是刻意的:没人要求重做时不许替换已下载的成品),
// 调用方据此打一条 "skipped llm submission because result job unavailable" 就跳过发批;
// 作业没排上、批没发出,交付闸门于是永远不被评估,补检/预算/终态那条有界链一步都不走,
// 而下面这次 touch 又让陈旧扫描永远看不见这一行。2026-11-04 现网 33228 实测:每 2 分钟一对
// 日志、activeAssembleJobs 恒 0、updated_at 常新、表其实 11-03 10:50 就出好了、10 行永远"等待补检轮"。
// 交回 finalizeStaleTask 按已有行账收尾:缺口由行级文案标在表里
// (未采集到数据/未完成检测/未取得检测结果是三句不同的话),是否成功仍由 statusResolver 按覆盖率判。
// ⚠ 这一格依赖「继续」会把已交付的作业复位(rearmDeliveredAssembleJob):不复位的话,
// 刚点过继续的任务会在这里被当成已交付而直接收尾,剩余行永远轮不到补检。
if (uploadComplete && activeAssembleJobs == 0
&& taskFileJobService.hasDeliveredAssembleJob(taskId, moduleType)) {
log.warn("[appearance-patent] stale recovery 已交付不再恢复:按已有行账收尾 taskId={}", taskId);
return false;
}
if (!uploadComplete) { if (!uploadComplete) {
// 封口是多行 scope 状态更新,单独占一个短事务;紧随其后的 LLM 批次不在事务里 // 封口是多行 scope 状态更新,单独占一个短事务;紧随其后的 LLM 批次不在事务里
int forcedScopes = markSubmissionComplete.apply(taskId); int forcedScopes = markSubmissionComplete.apply(taskId);
@@ -1006,6 +1006,66 @@ public class TaskFileJobService {
.isNotNull(TaskFileJobEntity::getTerminalCallbackAt)) > 0; .isNotNull(TaskFileJobEntity::getTerminalCallbackAt)) > 0;
} }
/**
* 该任务是否已经有一支**出表成功**的组装作业(33228 那类 spin 的判据之一)。
*
* <p>与 {@link #hasExhaustedAssembleJob} 是两种不同的"恢复已经试过了":那一格看的是重试耗尽,
* 这一格看的是成品已交付。交付过的任务再让 Python 超时恢复空转一轮,既没有作业可重排
* ({@link #retry(Long)} 刻意不许把 SUCCESS 翻回 PENDING——不能悄悄替换用户可能已下载的表),
* 也没有批可发({@code enqueueAssembleResult} 原样拿回那行 SUCCESS,调用方据此跳过发批)。
*/
public boolean hasDeliveredAssembleJob(Long taskId, String moduleType) {
if (taskId == null || taskId <= 0 || moduleType == null || moduleType.isBlank()) {
return false;
}
return taskFileJobMapper.selectCount(new LambdaQueryWrapper<TaskFileJobEntity>()
.eq(TaskFileJobEntity::getTaskId, taskId)
.eq(TaskFileJobEntity::getModuleType, moduleType)
.eq(TaskFileJobEntity::getJobType, JOB_TYPE_ASSEMBLE_RESULT)
.eq(TaskFileJobEntity::getStatus, "SUCCESS")) > 0;
}
/**
* 「继续」在一支已交付的组装作业上复位:把它翻回 PENDING 并清掉终态痕迹。
*
* <p>这不是 {@link #retry(Long)} 的例外,而是它的对偶:{@code retry} 守的是"没人要求重做时
* 不许悄悄替换已下载的成品",而这里**用户刚刚明确要求重做**——界面确认框写的是
* 「继续将重新检测剩余行并生成新的完整结果:当前已生成的部分结果文件会被替换,请先下载留存」。
* 不复位的话,那行 SUCCESS 会让 {@code enqueueAssembleResult} 原样返回、恢复链路据此跳过发批,
* 任务于是每 2 分钟被探针刷一次 {@code updated_at} 却一步都不走(2026-11-04 现网 33228:
* {@code activeAssembleJobs=0} 恒 0、表早在 11-03 10:50 就出过、10 行永远等不到补检轮)。
*
* @return 是否真的复位了一支 SUCCESS 作业(没有 SUCCESS 作业时返回 false,不新建)
*/
public boolean rearmDeliveredAssembleJob(Long taskId, String moduleType) {
if (taskId == null || taskId <= 0 || moduleType == null || moduleType.isBlank()) {
return false;
}
int updated = taskFileJobMapper.update(null, new LambdaUpdateWrapper<TaskFileJobEntity>()
.eq(TaskFileJobEntity::getTaskId, taskId)
.eq(TaskFileJobEntity::getModuleType, moduleType)
.eq(TaskFileJobEntity::getJobType, JOB_TYPE_ASSEMBLE_RESULT)
.eq(TaskFileJobEntity::getStatus, "SUCCESS")
.set(TaskFileJobEntity::getStatus, "PENDING")
.set(TaskFileJobEntity::getRetryCount, 0)
.set(TaskFileJobEntity::getStuckRequeueCount, 0)
.set(TaskFileJobEntity::getErrorMessage, null)
.set(TaskFileJobEntity::getUpdatedAt, LocalDateTime.now())
.set(TaskFileJobEntity::getFinishedAt, null)
.set(TaskFileJobEntity::getTerminalCallbackAt, null));
if (updated > 0) {
// 复位后必须把派发事件补发出去,否则这行 PENDING 只能等下一轮扫描(最长一个 stuck 周期)
taskFileJobMapper.selectList(new LambdaQueryWrapper<TaskFileJobEntity>()
.eq(TaskFileJobEntity::getTaskId, taskId)
.eq(TaskFileJobEntity::getModuleType, moduleType)
.eq(TaskFileJobEntity::getJobType, JOB_TYPE_ASSEMBLE_RESULT)
.eq(TaskFileJobEntity::getStatus, "PENDING"))
.forEach(this::publishDispatchEvent);
return true;
}
return false;
}
public TaskFileJobEntity findAssembleJob(Long taskId, String moduleType, Long resultId) { public TaskFileJobEntity findAssembleJob(Long taskId, String moduleType, Long resultId) {
return findJob(taskId, moduleType, resultId, JOB_TYPE_ASSEMBLE_RESULT); return findJob(taskId, moduleType, resultId, JOB_TYPE_ASSEMBLE_RESULT);
} }
@@ -0,0 +1,124 @@
package com.nanri.aiimage.modules.appearancepatent.service.support;
import com.nanri.aiimage.modules.appearancepatent.service.support.AppearancePatentChunkSubmissionSupport.SubmitContext;
import com.nanri.aiimage.modules.task.mapper.FileTaskMapper;
import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity;
import com.nanri.aiimage.modules.task.model.entity.TaskChunkEntity;
import com.nanri.aiimage.modules.task.service.TaskFileJobService;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.extension.ExtendWith;
import org.mockito.Mock;
import org.mockito.junit.jupiter.MockitoExtension;
import java.util.List;
import java.util.concurrent.atomic.AtomicBoolean;
import java.util.concurrent.atomic.AtomicInteger;
import java.util.function.BiConsumer;
import java.util.function.Consumer;
import java.util.function.Function;
import java.util.function.Predicate;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertTrue;
import static org.mockito.Mockito.lenient;
import static org.mockito.Mockito.when;
/**
* 已交付任务不许在 Python 超时恢复里空转(2026-11-04 现网任务 33228)。
*
* <p>形状:表早在 11-03 10:50 就出好了({@code biz_task_file_job} ASSEMBLE_RESULT=SUCCESS、
* {@code biz_file_result.success=1} 带直链),任务却仍 RUNNING、每 2 分钟被探针刷一次
* {@code updated_at}。成因是恢复链路里两处"各自以为对方在管":
* {@code enqueueAssembleResult} 原样返回那行 SUCCESS({@code retry} 的 {@code .ne SUCCESS} 是刻意的),
* 调用方据此打一条 "skipped llm submission because result job unavailable" 就**跳过发批**;
* 于是作业没排上、批没发出,交付闸门永远不被评估,补检/预算/终态那条有界链一步都不走,
* 而紧随其后的 touch 又让陈旧扫描永远看不见这一行——既不失败也不完成。
*
* <p>反向同样要钉死:**刚点过「继续」的任务不能被这一格当成已交付直接收尾**,否则剩余行
* 永远轮不到补检。这条靠 resume 复位那行 SUCCESS({@code rearmDeliveredAssembleJobForResume})
* 保证,所以这里断言的是"没有已交付作业时必须照常恢复"。
*/
@ExtendWith(MockitoExtension.class)
class AppearancePatentStaleTaskFinalizerDeliveredGuardTest {
private static final String MODULE_TYPE = "APPEARANCE_PATENT";
private static final Long TASK_ID = 33228L;
@Mock
private FileTaskMapper fileTaskMapper;
@Mock
private TaskFileJobService taskFileJobService;
private final AtomicBoolean touched = new AtomicBoolean(false);
private final AtomicInteger llmSubmissions = new AtomicInteger(0);
private final AtomicBoolean finalized = new AtomicBoolean(false);
private FileTaskEntity runningTask;
@BeforeEach
void setUp() {
runningTask = new FileTaskEntity();
runningTask.setId(TASK_ID);
runningTask.setModuleType(MODULE_TYPE);
runningTask.setStatus("RUNNING");
}
private void runFinalizer(boolean uploadComplete,
long activeAssembleJobs,
boolean delivered) {
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(runningTask);
when(taskFileJobService.countActiveAssembleJobs(TASK_ID, MODULE_TYPE)).thenReturn(activeAssembleJobs);
when(taskFileJobService.hasExhaustedAssembleJob(TASK_ID, MODULE_TYPE)).thenReturn(false);
// 这一格是短路求值(uploadComplete=false 或有在飞作业时根本不会问),严格 stub 会判多余
lenient().when(taskFileJobService.hasDeliveredAssembleJob(TASK_ID, MODULE_TYPE)).thenReturn(delivered);
Predicate<Long> submissionComplete = taskId -> uploadComplete;
Predicate<Long> persistedRowsPresent = taskId -> true;
Function<Long, Integer> markSubmissionComplete = taskId -> 1;
Function<Long, List<TaskChunkEntity>> chunksLoader = taskId -> List.of();
Function<List<TaskChunkEntity>, Integer> uninspectedRowCounter = chunks -> 10;
Consumer<SubmitContext> llmSubmitter = context -> llmSubmissions.incrementAndGet();
Consumer<Long> toucher = taskId -> touched.set(true);
BiConsumer<FileTaskEntity, String> finalizer = (task, error) -> finalized.set(true);
new AppearancePatentStaleTaskFinalizer(MODULE_TYPE, fileTaskMapper, taskFileJobService,
task -> 154, submissionComplete, persistedRowsPresent, markSubmissionComplete,
chunksLoader, uninspectedRowCounter, llmSubmitter, toucher, finalizer)
.finalizeStaleTask(TASK_ID, "有 10 行未完成检测,等待补检轮");
}
@Test
void 已交付且无在飞作业时按已有行账收尾不再刷新活动() {
runFinalizer(true, 0L, true);
assertTrue(finalized.get(), "已交付的任务必须交回 finalizeStaleTask 收尾,而不是继续空转");
assertFalse(touched.get(), "收尾这一格不许再刷 updated_at——刷了就永远不被陈旧扫描看见");
assertFalse(llmSubmissions.get() > 0, "已交付时不该再发一批 LLM(发了也只会拿回同一行 SUCCESS)");
}
@Test
void 没有已交付作业时必须照常恢复否则继续功能被这一格掐死() {
runFinalizer(true, 0L, false);
assertFalse(finalized.get(), "未交付的任务不能被误判成已交付而直接收尾");
assertTrue(touched.get(), "正常恢复路径仍要刷新活动");
assertTrue(llmSubmissions.get() > 0, "正常恢复路径仍要发出 LLM 批次");
}
@Test
void 仍有在飞出表作业时不触发已交付收尾() {
runFinalizer(true, 1L, true);
assertFalse(finalized.get(), "出表作业还在飞时谈不上已交付,收尾会抢掉它正在产出的表");
assertTrue(llmSubmissions.get() > 0, "有在飞作业时恢复照常推进");
}
@Test
void 上传未封口时仍走封口那条路() {
runFinalizer(false, 0L, true);
assertFalse(finalized.get(), "uploadComplete=false 是封口场景,与本格判据无关");
assertTrue(touched.get(), "封口路径照常刷新活动");
}
}