fix(交付): 已交付任务不再在 Python 超时恢复里空转(现网 33228 既不失败也不完成)
机制:恢复链路每 2 分钟走到 enqueueAssembleResult,它按 TaskFileJobService 的 .ne SUCCESS 刻意原样返回那行 SUCCESS(没人要求重做时不许替换用户可能已下载的表), 调用方据此打一条 "skipped llm submission because result job unavailable" 就跳过发批。 于是作业没排上、批没发出,交付闸门永远不被评估,补检/recheckMaxRounds 预算/终态 那条有界链一步都不走;而紧随其后的 touchJavaSideTaskActivity 又刷新 updated_at, 让陈旧扫描永远看不见这一行——正是铁律 28(c) 点名的「不计任何计数还刷 updated_at」。 33228 实测:表 11-03 10:50 就出好了(job SUCCESS+biz_file_result.success=1 带直链), activeAssembleJobs 恒 0,10 行永远"等待补检轮",而界面「重试」的判据(前后端一致的 FAILED/CANCELLED)永远拒绝它——用户被关在死胡同里。 三处改动: - TaskFileJobService 新增 hasDeliveredAssembleJob,与既有 hasExhaustedAssembleJob 成对 (那一格看"重试耗尽",这一格看"成品已交付",两种"恢复已经试过了"都该停止空转); - finalizer 在 uploadComplete ∧ activeAssembleJobs=0 ∧ 已交付 时返回 false 交回收尾, 不再 touch、不再空发批。收尾走既有 finalizeTask:它本就把部分数据缺口判成非致命 (partialGapSalvageable),缺口由行级文案标在表里(未采集到数据/未完成检测/ 未取得检测结果是三句不同的话,处置动作不同),是否成功仍由 statusResolver 按覆盖率判; - onTaskResumed 补第二半 rearmDeliveredAssembleJobForResume。只加上一条会引入新 bug: 刚点过「继续」的任务同样呈"已交付+无在飞作业",会被直接收尾,剩余行永远轮不到补检。 界面确认框本就承诺「当前已生成的部分结果文件会被替换」,这里复位那行 SUCCESS 是兑现 承诺,不是绕过 retry() 的保护——那是给没人要求重做时的。 判据 AppearancePatentStaleTaskFinalizerDeliveredGuardTest 4 支,四个方向都钉住:已交付→ 收尾且不 touch/未交付→照常恢复(保「继续」)/有在飞作业→不抢它正在产出的表/ 未封口→仍走封口那条路。后端整量 5,317 例 0 失败(新增前 5,313)。
This commit is contained in:
+3
@@ -45,6 +45,9 @@ public class AppearancePatentResultFileJobHandler implements ResultFileJobHandle
|
|||||||
// 「继续」在原任务上复位后:清交付缺口补检的轮次预算。中断交付路径会把预算烧满,
|
// 「继续」在原任务上复位后:清交付缺口补检的轮次预算。中断交付路径会把预算烧满,
|
||||||
// 不复位的话继续后的第一轮就按部分表收尾,剩余行永远轮不到补检。
|
// 不复位的话继续后的第一轮就按部分表收尾,剩余行永远轮不到补检。
|
||||||
appearancePatentTaskService.resetRecheckBudgetForResume(taskId);
|
appearancePatentTaskService.resetRecheckBudgetForResume(taskId);
|
||||||
|
// 预算清了还不够:上一轮那行 SUCCESS 的出表作业若留在原地,恢复链路会据此跳过发批,
|
||||||
|
// 补检照样排不上(33228 实测)。界面确认框承诺"部分结果文件会被替换",这里就是兑现它。
|
||||||
|
appearancePatentTaskService.rearmDeliveredAssembleJobForResume(taskId);
|
||||||
}
|
}
|
||||||
|
|
||||||
@Override
|
@Override
|
||||||
|
|||||||
+17
@@ -93,6 +93,23 @@ public class AppearancePatentTaskService extends AbstractFileTaskPipeline<Appear
|
|||||||
public void resetRecheckBudgetForResume(Long taskId) {
|
public void resetRecheckBudgetForResume(Long taskId) {
|
||||||
taskCacheService.resetRecheckRounds(taskId);
|
taskCacheService.resetRecheckRounds(taskId);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 「继续」的第二半:把上一轮**已交付**的出表作业复位回 PENDING。
|
||||||
|
*
|
||||||
|
* <p>只清补检预算是不够的——那行 SUCCESS 还留在原地的话,Python 超时恢复每 2 分钟走到
|
||||||
|
* {@code enqueueAssembleResult} 都会原样拿回它、据此跳过发批,于是补检永远不会被排上
|
||||||
|
* (2026-11-04 现网 33228 就是这个形状:表 11-03 已出、作业恒 SUCCESS、10 行"等待补检轮")。
|
||||||
|
* 界面确认框本来就承诺「当前已生成的部分结果文件会被替换」,所以这里重排出表是兑现承诺,
|
||||||
|
* 不是绕过 {@code TaskFileJobService.retry} 那条"不许悄悄替换成品"的保护——那是给没人要求重做时的。
|
||||||
|
*/
|
||||||
|
public boolean rearmDeliveredAssembleJobForResume(Long taskId) {
|
||||||
|
boolean rearmed = taskFileJobService.rearmDeliveredAssembleJob(taskId, MODULE_TYPE);
|
||||||
|
if (rearmed) {
|
||||||
|
log.info("[appearance-patent] 继续:已复位上一轮出表作业,剩余行将重新出表 taskId={}", taskId);
|
||||||
|
}
|
||||||
|
return rearmed;
|
||||||
|
}
|
||||||
private static final String STATUS_RUNNING = "RUNNING";
|
private static final String STATUS_RUNNING = "RUNNING";
|
||||||
private static final String STATUS_SUCCESS = "SUCCESS";
|
private static final String STATUS_SUCCESS = "SUCCESS";
|
||||||
private static final String STATUS_FAILED = "FAILED";
|
private static final String STATUS_FAILED = "FAILED";
|
||||||
|
|||||||
+16
@@ -110,6 +110,22 @@ public class AppearancePatentStaleTaskFinalizer {
|
|||||||
log.info("[appearance-patent] stale recovery aborted because no persisted rows taskId={}", taskId);
|
log.info("[appearance-patent] stale recovery aborted because no persisted rows taskId={}", taskId);
|
||||||
return false;
|
return false;
|
||||||
}
|
}
|
||||||
|
// 表已经出过、也没有在飞的出表作业:这一格**无事可做**,而"无事可做"必须表现为不再刷新活动,
|
||||||
|
// 否则就成了自锁的空转——llmSubmitter 走到 enqueueAssembleResult 会原样拿回那行 SUCCESS
|
||||||
|
// (TaskFileJobService 的 .ne SUCCESS 是刻意的:没人要求重做时不许替换已下载的成品),
|
||||||
|
// 调用方据此打一条 "skipped llm submission because result job unavailable" 就跳过发批;
|
||||||
|
// 作业没排上、批没发出,交付闸门于是永远不被评估,补检/预算/终态那条有界链一步都不走,
|
||||||
|
// 而下面这次 touch 又让陈旧扫描永远看不见这一行。2026-11-04 现网 33228 实测:每 2 分钟一对
|
||||||
|
// 日志、activeAssembleJobs 恒 0、updated_at 常新、表其实 11-03 10:50 就出好了、10 行永远"等待补检轮"。
|
||||||
|
// 交回 finalizeStaleTask 按已有行账收尾:缺口由行级文案标在表里
|
||||||
|
// (未采集到数据/未完成检测/未取得检测结果是三句不同的话),是否成功仍由 statusResolver 按覆盖率判。
|
||||||
|
// ⚠ 这一格依赖「继续」会把已交付的作业复位(rearmDeliveredAssembleJob):不复位的话,
|
||||||
|
// 刚点过继续的任务会在这里被当成已交付而直接收尾,剩余行永远轮不到补检。
|
||||||
|
if (uploadComplete && activeAssembleJobs == 0
|
||||||
|
&& taskFileJobService.hasDeliveredAssembleJob(taskId, moduleType)) {
|
||||||
|
log.warn("[appearance-patent] stale recovery 已交付不再恢复:按已有行账收尾 taskId={}", taskId);
|
||||||
|
return false;
|
||||||
|
}
|
||||||
if (!uploadComplete) {
|
if (!uploadComplete) {
|
||||||
// 封口是多行 scope 状态更新,单独占一个短事务;紧随其后的 LLM 批次不在事务里
|
// 封口是多行 scope 状态更新,单独占一个短事务;紧随其后的 LLM 批次不在事务里
|
||||||
int forcedScopes = markSubmissionComplete.apply(taskId);
|
int forcedScopes = markSubmissionComplete.apply(taskId);
|
||||||
|
|||||||
+60
@@ -1006,6 +1006,66 @@ public class TaskFileJobService {
|
|||||||
.isNotNull(TaskFileJobEntity::getTerminalCallbackAt)) > 0;
|
.isNotNull(TaskFileJobEntity::getTerminalCallbackAt)) > 0;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 该任务是否已经有一支**出表成功**的组装作业(33228 那类 spin 的判据之一)。
|
||||||
|
*
|
||||||
|
* <p>与 {@link #hasExhaustedAssembleJob} 是两种不同的"恢复已经试过了":那一格看的是重试耗尽,
|
||||||
|
* 这一格看的是成品已交付。交付过的任务再让 Python 超时恢复空转一轮,既没有作业可重排
|
||||||
|
* ({@link #retry(Long)} 刻意不许把 SUCCESS 翻回 PENDING——不能悄悄替换用户可能已下载的表),
|
||||||
|
* 也没有批可发({@code enqueueAssembleResult} 原样拿回那行 SUCCESS,调用方据此跳过发批)。
|
||||||
|
*/
|
||||||
|
public boolean hasDeliveredAssembleJob(Long taskId, String moduleType) {
|
||||||
|
if (taskId == null || taskId <= 0 || moduleType == null || moduleType.isBlank()) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
return taskFileJobMapper.selectCount(new LambdaQueryWrapper<TaskFileJobEntity>()
|
||||||
|
.eq(TaskFileJobEntity::getTaskId, taskId)
|
||||||
|
.eq(TaskFileJobEntity::getModuleType, moduleType)
|
||||||
|
.eq(TaskFileJobEntity::getJobType, JOB_TYPE_ASSEMBLE_RESULT)
|
||||||
|
.eq(TaskFileJobEntity::getStatus, "SUCCESS")) > 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 「继续」在一支已交付的组装作业上复位:把它翻回 PENDING 并清掉终态痕迹。
|
||||||
|
*
|
||||||
|
* <p>这不是 {@link #retry(Long)} 的例外,而是它的对偶:{@code retry} 守的是"没人要求重做时
|
||||||
|
* 不许悄悄替换已下载的成品",而这里**用户刚刚明确要求重做**——界面确认框写的是
|
||||||
|
* 「继续将重新检测剩余行并生成新的完整结果:当前已生成的部分结果文件会被替换,请先下载留存」。
|
||||||
|
* 不复位的话,那行 SUCCESS 会让 {@code enqueueAssembleResult} 原样返回、恢复链路据此跳过发批,
|
||||||
|
* 任务于是每 2 分钟被探针刷一次 {@code updated_at} 却一步都不走(2026-11-04 现网 33228:
|
||||||
|
* {@code activeAssembleJobs=0} 恒 0、表早在 11-03 10:50 就出过、10 行永远等不到补检轮)。
|
||||||
|
*
|
||||||
|
* @return 是否真的复位了一支 SUCCESS 作业(没有 SUCCESS 作业时返回 false,不新建)
|
||||||
|
*/
|
||||||
|
public boolean rearmDeliveredAssembleJob(Long taskId, String moduleType) {
|
||||||
|
if (taskId == null || taskId <= 0 || moduleType == null || moduleType.isBlank()) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
int updated = taskFileJobMapper.update(null, new LambdaUpdateWrapper<TaskFileJobEntity>()
|
||||||
|
.eq(TaskFileJobEntity::getTaskId, taskId)
|
||||||
|
.eq(TaskFileJobEntity::getModuleType, moduleType)
|
||||||
|
.eq(TaskFileJobEntity::getJobType, JOB_TYPE_ASSEMBLE_RESULT)
|
||||||
|
.eq(TaskFileJobEntity::getStatus, "SUCCESS")
|
||||||
|
.set(TaskFileJobEntity::getStatus, "PENDING")
|
||||||
|
.set(TaskFileJobEntity::getRetryCount, 0)
|
||||||
|
.set(TaskFileJobEntity::getStuckRequeueCount, 0)
|
||||||
|
.set(TaskFileJobEntity::getErrorMessage, null)
|
||||||
|
.set(TaskFileJobEntity::getUpdatedAt, LocalDateTime.now())
|
||||||
|
.set(TaskFileJobEntity::getFinishedAt, null)
|
||||||
|
.set(TaskFileJobEntity::getTerminalCallbackAt, null));
|
||||||
|
if (updated > 0) {
|
||||||
|
// 复位后必须把派发事件补发出去,否则这行 PENDING 只能等下一轮扫描(最长一个 stuck 周期)
|
||||||
|
taskFileJobMapper.selectList(new LambdaQueryWrapper<TaskFileJobEntity>()
|
||||||
|
.eq(TaskFileJobEntity::getTaskId, taskId)
|
||||||
|
.eq(TaskFileJobEntity::getModuleType, moduleType)
|
||||||
|
.eq(TaskFileJobEntity::getJobType, JOB_TYPE_ASSEMBLE_RESULT)
|
||||||
|
.eq(TaskFileJobEntity::getStatus, "PENDING"))
|
||||||
|
.forEach(this::publishDispatchEvent);
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
public TaskFileJobEntity findAssembleJob(Long taskId, String moduleType, Long resultId) {
|
public TaskFileJobEntity findAssembleJob(Long taskId, String moduleType, Long resultId) {
|
||||||
return findJob(taskId, moduleType, resultId, JOB_TYPE_ASSEMBLE_RESULT);
|
return findJob(taskId, moduleType, resultId, JOB_TYPE_ASSEMBLE_RESULT);
|
||||||
}
|
}
|
||||||
|
|||||||
+124
@@ -0,0 +1,124 @@
|
|||||||
|
package com.nanri.aiimage.modules.appearancepatent.service.support;
|
||||||
|
|
||||||
|
import com.nanri.aiimage.modules.appearancepatent.service.support.AppearancePatentChunkSubmissionSupport.SubmitContext;
|
||||||
|
import com.nanri.aiimage.modules.task.mapper.FileTaskMapper;
|
||||||
|
import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity;
|
||||||
|
import com.nanri.aiimage.modules.task.model.entity.TaskChunkEntity;
|
||||||
|
import com.nanri.aiimage.modules.task.service.TaskFileJobService;
|
||||||
|
import org.junit.jupiter.api.BeforeEach;
|
||||||
|
import org.junit.jupiter.api.Test;
|
||||||
|
import org.junit.jupiter.api.extension.ExtendWith;
|
||||||
|
import org.mockito.Mock;
|
||||||
|
import org.mockito.junit.jupiter.MockitoExtension;
|
||||||
|
|
||||||
|
import java.util.List;
|
||||||
|
import java.util.concurrent.atomic.AtomicBoolean;
|
||||||
|
import java.util.concurrent.atomic.AtomicInteger;
|
||||||
|
import java.util.function.BiConsumer;
|
||||||
|
import java.util.function.Consumer;
|
||||||
|
import java.util.function.Function;
|
||||||
|
import java.util.function.Predicate;
|
||||||
|
|
||||||
|
import static org.junit.jupiter.api.Assertions.assertFalse;
|
||||||
|
import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||||
|
import static org.mockito.Mockito.lenient;
|
||||||
|
import static org.mockito.Mockito.when;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 已交付任务不许在 Python 超时恢复里空转(2026-11-04 现网任务 33228)。
|
||||||
|
*
|
||||||
|
* <p>形状:表早在 11-03 10:50 就出好了({@code biz_task_file_job} ASSEMBLE_RESULT=SUCCESS、
|
||||||
|
* {@code biz_file_result.success=1} 带直链),任务却仍 RUNNING、每 2 分钟被探针刷一次
|
||||||
|
* {@code updated_at}。成因是恢复链路里两处"各自以为对方在管":
|
||||||
|
* {@code enqueueAssembleResult} 原样返回那行 SUCCESS({@code retry} 的 {@code .ne SUCCESS} 是刻意的),
|
||||||
|
* 调用方据此打一条 "skipped llm submission because result job unavailable" 就**跳过发批**;
|
||||||
|
* 于是作业没排上、批没发出,交付闸门永远不被评估,补检/预算/终态那条有界链一步都不走,
|
||||||
|
* 而紧随其后的 touch 又让陈旧扫描永远看不见这一行——既不失败也不完成。
|
||||||
|
*
|
||||||
|
* <p>反向同样要钉死:**刚点过「继续」的任务不能被这一格当成已交付直接收尾**,否则剩余行
|
||||||
|
* 永远轮不到补检。这条靠 resume 复位那行 SUCCESS({@code rearmDeliveredAssembleJobForResume})
|
||||||
|
* 保证,所以这里断言的是"没有已交付作业时必须照常恢复"。
|
||||||
|
*/
|
||||||
|
@ExtendWith(MockitoExtension.class)
|
||||||
|
class AppearancePatentStaleTaskFinalizerDeliveredGuardTest {
|
||||||
|
|
||||||
|
private static final String MODULE_TYPE = "APPEARANCE_PATENT";
|
||||||
|
private static final Long TASK_ID = 33228L;
|
||||||
|
|
||||||
|
@Mock
|
||||||
|
private FileTaskMapper fileTaskMapper;
|
||||||
|
@Mock
|
||||||
|
private TaskFileJobService taskFileJobService;
|
||||||
|
|
||||||
|
private final AtomicBoolean touched = new AtomicBoolean(false);
|
||||||
|
private final AtomicInteger llmSubmissions = new AtomicInteger(0);
|
||||||
|
private final AtomicBoolean finalized = new AtomicBoolean(false);
|
||||||
|
|
||||||
|
private FileTaskEntity runningTask;
|
||||||
|
|
||||||
|
@BeforeEach
|
||||||
|
void setUp() {
|
||||||
|
runningTask = new FileTaskEntity();
|
||||||
|
runningTask.setId(TASK_ID);
|
||||||
|
runningTask.setModuleType(MODULE_TYPE);
|
||||||
|
runningTask.setStatus("RUNNING");
|
||||||
|
}
|
||||||
|
|
||||||
|
private void runFinalizer(boolean uploadComplete,
|
||||||
|
long activeAssembleJobs,
|
||||||
|
boolean delivered) {
|
||||||
|
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(runningTask);
|
||||||
|
when(taskFileJobService.countActiveAssembleJobs(TASK_ID, MODULE_TYPE)).thenReturn(activeAssembleJobs);
|
||||||
|
when(taskFileJobService.hasExhaustedAssembleJob(TASK_ID, MODULE_TYPE)).thenReturn(false);
|
||||||
|
// 这一格是短路求值(uploadComplete=false 或有在飞作业时根本不会问),严格 stub 会判多余
|
||||||
|
lenient().when(taskFileJobService.hasDeliveredAssembleJob(TASK_ID, MODULE_TYPE)).thenReturn(delivered);
|
||||||
|
|
||||||
|
Predicate<Long> submissionComplete = taskId -> uploadComplete;
|
||||||
|
Predicate<Long> persistedRowsPresent = taskId -> true;
|
||||||
|
Function<Long, Integer> markSubmissionComplete = taskId -> 1;
|
||||||
|
Function<Long, List<TaskChunkEntity>> chunksLoader = taskId -> List.of();
|
||||||
|
Function<List<TaskChunkEntity>, Integer> uninspectedRowCounter = chunks -> 10;
|
||||||
|
Consumer<SubmitContext> llmSubmitter = context -> llmSubmissions.incrementAndGet();
|
||||||
|
Consumer<Long> toucher = taskId -> touched.set(true);
|
||||||
|
BiConsumer<FileTaskEntity, String> finalizer = (task, error) -> finalized.set(true);
|
||||||
|
|
||||||
|
new AppearancePatentStaleTaskFinalizer(MODULE_TYPE, fileTaskMapper, taskFileJobService,
|
||||||
|
task -> 154, submissionComplete, persistedRowsPresent, markSubmissionComplete,
|
||||||
|
chunksLoader, uninspectedRowCounter, llmSubmitter, toucher, finalizer)
|
||||||
|
.finalizeStaleTask(TASK_ID, "有 10 行未完成检测,等待补检轮");
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void 已交付且无在飞作业时按已有行账收尾不再刷新活动() {
|
||||||
|
runFinalizer(true, 0L, true);
|
||||||
|
|
||||||
|
assertTrue(finalized.get(), "已交付的任务必须交回 finalizeStaleTask 收尾,而不是继续空转");
|
||||||
|
assertFalse(touched.get(), "收尾这一格不许再刷 updated_at——刷了就永远不被陈旧扫描看见");
|
||||||
|
assertFalse(llmSubmissions.get() > 0, "已交付时不该再发一批 LLM(发了也只会拿回同一行 SUCCESS)");
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void 没有已交付作业时必须照常恢复否则继续功能被这一格掐死() {
|
||||||
|
runFinalizer(true, 0L, false);
|
||||||
|
|
||||||
|
assertFalse(finalized.get(), "未交付的任务不能被误判成已交付而直接收尾");
|
||||||
|
assertTrue(touched.get(), "正常恢复路径仍要刷新活动");
|
||||||
|
assertTrue(llmSubmissions.get() > 0, "正常恢复路径仍要发出 LLM 批次");
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void 仍有在飞出表作业时不触发已交付收尾() {
|
||||||
|
runFinalizer(true, 1L, true);
|
||||||
|
|
||||||
|
assertFalse(finalized.get(), "出表作业还在飞时谈不上已交付,收尾会抢掉它正在产出的表");
|
||||||
|
assertTrue(llmSubmissions.get() > 0, "有在飞作业时恢复照常推进");
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void 上传未封口时仍走封口那条路() {
|
||||||
|
runFinalizer(false, 0L, true);
|
||||||
|
|
||||||
|
assertFalse(finalized.get(), "uploadComplete=false 是封口场景,与本格判据无关");
|
||||||
|
assertTrue(touched.get(), "封口路径照常刷新活动");
|
||||||
|
}
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user