fix(tasks): PENDING 排队不再按 2 小时判死,等客户端认领

PENDING 是排队态不是卡死态:单机串行跑大任务时队列等再久也必须保留,
按 updated_at 清杀会把排队任务误判成「长期未被领取」并连锁触发自动克隆重试,
同一份活被放大成多条失败记录(2026-10-28 现网 1514 行任务连续三代)。

判死巡检只留 SCHEDULED(到点未启动)与 RUNNING(心跳残留)两条;
排队任务一律等 TaskClientPullService 认领,页面放弃的解析预览也保留。
This commit is contained in:
2026-10-29 19:19:21 +08:00
parent 217f5eec62
commit 8b7d5d4a40
4 changed files with 37 additions and 67 deletions
@@ -21,21 +21,26 @@ import java.util.List;
* 陈旧任务自动修复。
*
* 修复型巡检(区别于 task-161 的只读报告巡检):把超过阈值时间无心跳(updated_at 未刷新)的
* PENDING / SCHEDULED / RUNNING 任务自动标终态失败,避免历史任务列表永久停留在中间状态。
* SCHEDULED / RUNNING 任务自动标终态失败,避免历史任务列表永久停留在中间状态。
* 分布式锁防双实例重复修复;注意 RUNNING 的存活判定基于 updatedAt 心跳,真活任务会不断刷新不会被误杀。
*
* <p><b>PENDING 不在本巡检的判死范围内(2026-10-29 产品口径)</b>:PENDING 是"排队等 worker 领取",
* 不是"卡死"。AP worker 串行跑大任务时,队列里的任务等再久也必须保留——按 2 小时判死把排队任务
* 误杀成「任务长期未被领取」,还会触发自动克隆重试,同一份活被放大成多条失败记录(现网 2026-10-28
* 用户 1211 的两条 829 行任务即此路)。排队任务一律等 {@code TaskClientPullService} 认领;
* 页面放弃的解析预览也一样保留,不在这里清。
*/
@Slf4j
@Service
@RequiredArgsConstructor
public class StaleTaskRepairService {
private static final String STATUS_PENDING = "PENDING";
private static final String STATUS_SCHEDULED = "SCHEDULED";
private static final String STATUS_RUNNING = "RUNNING";
private static final String STATUS_FAILED = "FAILED";
/** 中间态(无人接单)或 RUNNING(心跳残留)超过该时长未更新即判死。真活任务心跳会不断刷新 updatedAt,不会被误杀。 */
/** SCHEDULED(到点未启动)/ RUNNING(心跳残留)超过该时长未更新即判死。真活任务心跳会不断刷新 updatedAt,不会被误杀。 */
private static final long STALE_IDLE_MINUTES = 120;
/** 单轮品牌陈旧任务处理上限(原实现内联 limit 500)。 */
@@ -61,7 +66,6 @@ public class StaleTaskRepairService {
return;
}
try (lock) {
repairFileTaskStaleIdle();
repairFileTaskStaleScheduled();
repairFileTaskStaleRunning();
repairBrandStale();
@@ -70,32 +74,6 @@ public class StaleTaskRepairService {
}
}
/** PENDING 长时间未被领取 → FAILED(页面没推进客户端队列,客户端兜底拉取也没领到)。 */
private void repairFileTaskStaleIdle() {
LocalDateTime cutoff = LocalDateTime.now().minusMinutes(STALE_IDLE_MINUTES);
List<FileTaskEntity> stale = fileTaskMapper.selectList(new LambdaQueryWrapper<FileTaskEntity>()
.select(FileTaskEntity::getId, FileTaskEntity::getModuleType)
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
.lt(FileTaskEntity::getUpdatedAt, cutoff)
.last("limit 500"));
if (stale.isEmpty()) {
return;
}
String reason = "任务长期未被领取,已自动失败";
List<Long> ids = stale.stream().map(FileTaskEntity::getId).toList();
LocalDateTime now = LocalDateTime.now();
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
.in(FileTaskEntity::getId, ids)
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
.set(FileTaskEntity::getStatus, STATUS_FAILED)
.set(FileTaskEntity::getErrorMessage, reason)
.set(FileTaskEntity::getFinishedAt, now));
if (updated > 0) {
log.warn("[stale-task-repair] 陈旧中间态已标失败 count={} ids={}", updated, ids);
markDeadDownstream(ids, reason);
}
}
/**
* SCHEDULED 到时后长时间未启动 → FAILED。
*
@@ -8,10 +8,10 @@ import java.util.Map;
* 客户端兜底拉取的模块侧扩展点。
*
* <p>背景:任务由页面"解析落库 PENDING → activate → 经 pywebview 桥推给本机 Python 队列"派发,
* 页面这一段缺失(只解析没点启动 / 推送前关页面 / 在纯浏览器打开)时任务永远停在 PENDING,
* 2 小时后被 StaleTaskRepairService 标失败(「任务长期未被领取,已自动失败」)。
* 本接口让业务模块自行组装"客户端可直接入队"的 payload,由 {@code TaskClientPullService}
* 认领(PENDING→RUNNING 条件更新)后下发给客户端执行 —— 等于替页面补上"推送"这一步。
* 页面这一段缺失(只解析没点启动 / 推送前关页面 / 在纯浏览器打开)时任务会停在 PENDING。
* 2026-10-29 起 PENDING <b>不再按时间判死</b>——排队等 worker 领取的任务等多久都保留,
* 由 {@code TaskClientPullService} 认领(PENDING→RUNNING 条件更新)后下发给客户端执行 ——
* 等于替页面补上"推送"这一步;认领不掉的解析预览就一直留在队列里,不在这里清。
*
* <p>与 {@link TaskModuleHeartbeatSpi} 同理(G5):task 侧不 import 业务模块,
* 各模块实现本接口,Spring 注入 List 后由 task 侧建索引。
@@ -373,7 +373,8 @@ aiimage:
batch-size: ${AIIMAGE_RESULT_FILE_JOB_BATCH_SIZE:20}
max-inflight-dispatch: ${AIIMAGE_RESULT_FILE_JOB_MAX_INFLIGHT_DISPATCH:64}
# 客户端兜底拉取:页面没推送成功(只解析没点启动 / 推送前关页面 / 纯浏览器打开)、
# 长期停在 PENDING 的任务由在线客户端领走执行,替代 2 小时后的"任务长期未被领取"标失败。
# 长期停在 PENDING 的任务由在线客户端领走执行。2026-10-29 起 PENDING 不再按 2 小时判死
# (排队中的任务一直排队等认领),本开关是排队任务的唯一出路,不再是"判死前的抢救"。
# 默认关闭;打开前需先发布带兜底拉取线程的客户端版本,旧客户端不受影响。
client-task-pull:
enabled: ${AIIMAGE_CLIENT_TASK_PULL_ENABLED:false}
@@ -17,12 +17,14 @@ import org.mockito.ArgumentCaptor;
import org.springframework.test.util.ReflectionTestUtils;
import java.time.LocalDateTime;
import java.util.Arrays;
import java.util.List;
import java.util.Map;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertNotNull;
import static org.junit.jupiter.api.Assertions.assertNull;
import static org.junit.jupiter.api.Assertions.assertTrue;
import static org.mockito.ArgumentMatchers.any;
import static org.mockito.ArgumentMatchers.eq;
@@ -34,9 +36,10 @@ import static org.mockito.Mockito.verifyNoMoreInteractions;
import static org.mockito.Mockito.when;
/**
* 陈旧任务判死契约(2026-09-14 修订):
* PENDING 仍按 updated_at 判死;SCHEDULED(店铺匹配定时任务)改以 scheduled_at 为基准 ——
* 只按 updated_at 会误杀排期在 2 小时之后的定时任务,而 activate 又被「未到定时执行时间」挡住。
* 陈旧任务判死契约(2026-10-29 修订):
* <b>PENDING 不再判死</b>——它是"排队等 worker 领取",等多久都保留(产品口径:一直排队就行);
* SCHEDULED(店铺匹配定时任务)以 scheduled_at 为基准 —— 只按 updated_at 会误杀排期在
* 2 小时之后的定时任务,而 activate 又被「未到定时执行时间」挡住;RUNNING 按心跳判死。
*/
class StaleTaskRepairServiceTest {
@@ -58,19 +61,25 @@ class StaleTaskRepairServiceTest {
}
@Test
void PENDING_判死只命中_PENDING_不再波及_SCHEDULED() {
when(fileTaskMapper.selectList(any())).thenReturn(List.of(task(11L)));
when(fileTaskMapper.update(isNull(), any())).thenReturn(1);
void PENDING_排队超时不判死_判死入口不得回填() {
// 2026-10-29 产品口径:PENDING 是排队态,AP worker 串行跑大任务时队列再长也保留,
// 由 pull 认领;按更新时间清杀会把排队任务误判成「长期未被领取」,还会连锁触发自动重试。
assertNull(Arrays.stream(StaleTaskRepairService.class.getDeclaredMethods())
.filter(method -> "repairFileTaskStaleIdle".equals(method.getName()))
.findFirst().orElse(null),
"PENDING 判死入口不得回填:排队中的任务要一直留着等 worker 领取");
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleIdle");
when(fileTaskMapper.selectList(any())).thenReturn(List.of());
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleScheduled");
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleRunning");
Map<String, Object> selectParams = selectParams();
assertTrue(selectParams.containsValue("PENDING"));
assertFalse(selectParams.containsValue("SCHEDULED"), "PENDING 分支命中 SCHEDULED 是定时任务被误杀的原因");
Map<String, Object> updateParams = updateParams(1);
assertTrue(updateParams.containsValue("FAILED"));
assertTrue(containsMessage(updateParams, "任务长期未被领取"));
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
verify(fileTaskMapper, org.mockito.Mockito.times(2)).selectList(captor.capture());
for (Wrapper<FileTaskEntity> wrapper : captor.getAllValues()) {
assertFalse(paramsOf(wrapper).containsValue("PENDING"),
"判死巡检不得再扫 PENDING:排队任务既不许按 updated_at 清杀,也不许被别的分支误伤");
}
verify(fileTaskMapper, never()).update(any(), any());
}
@Test
@@ -100,7 +109,6 @@ class StaleTaskRepairServiceTest {
void 没有候选任务时不写库() {
when(fileTaskMapper.selectList(any())).thenReturn(List.of());
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleIdle");
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleScheduled");
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleRunning");
@@ -169,23 +177,6 @@ class StaleTaskRepairServiceTest {
verify(fileTaskMapper, never()).update(isNull(), any());
}
@Test
void 未被领取判死同样要回写结果行并终结作业() {
when(fileTaskMapper.selectList(any())).thenReturn(List.of(task(31176L, "PENDING")));
when(fileTaskMapper.update(isNull(), any())).thenReturn(1);
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleIdle");
verify(fileResultMapper).update(isNull(), any());
verify(taskFileJobService).failUnfinishedJobs(eq(List.of(31176L)), any());
}
private Map<String, Object> selectParams() {
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
verify(fileTaskMapper).selectList(captor.capture());
return paramsOf(captor.getValue());
}
private Map<String, Object> updateParams(int times) {
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
verify(fileTaskMapper, org.mockito.Mockito.times(times)).update(isNull(), captor.capture());