fix(tasks): PENDING 排队不再按 2 小时判死,等客户端认领
PENDING 是排队态不是卡死态:单机串行跑大任务时队列等再久也必须保留, 按 updated_at 清杀会把排队任务误判成「长期未被领取」并连锁触发自动克隆重试, 同一份活被放大成多条失败记录(2026-10-28 现网 1514 行任务连续三代)。 判死巡检只留 SCHEDULED(到点未启动)与 RUNNING(心跳残留)两条; 排队任务一律等 TaskClientPullService 认领,页面放弃的解析预览也保留。
This commit is contained in:
+8
-30
@@ -21,21 +21,26 @@ import java.util.List;
|
||||
* 陈旧任务自动修复。
|
||||
*
|
||||
* 修复型巡检(区别于 task-161 的只读报告巡检):把超过阈值时间无心跳(updated_at 未刷新)的
|
||||
* PENDING / SCHEDULED / RUNNING 任务自动标终态失败,避免历史任务列表永久停留在中间状态。
|
||||
* SCHEDULED / RUNNING 任务自动标终态失败,避免历史任务列表永久停留在中间状态。
|
||||
* 分布式锁防双实例重复修复;注意 RUNNING 的存活判定基于 updatedAt 心跳,真活任务会不断刷新不会被误杀。
|
||||
*
|
||||
* <p><b>PENDING 不在本巡检的判死范围内(2026-10-29 产品口径)</b>:PENDING 是"排队等 worker 领取",
|
||||
* 不是"卡死"。AP worker 串行跑大任务时,队列里的任务等再久也必须保留——按 2 小时判死把排队任务
|
||||
* 误杀成「任务长期未被领取」,还会触发自动克隆重试,同一份活被放大成多条失败记录(现网 2026-10-28
|
||||
* 用户 1211 的两条 829 行任务即此路)。排队任务一律等 {@code TaskClientPullService} 认领;
|
||||
* 页面放弃的解析预览也一样保留,不在这里清。
|
||||
*/
|
||||
@Slf4j
|
||||
@Service
|
||||
@RequiredArgsConstructor
|
||||
public class StaleTaskRepairService {
|
||||
|
||||
private static final String STATUS_PENDING = "PENDING";
|
||||
private static final String STATUS_SCHEDULED = "SCHEDULED";
|
||||
private static final String STATUS_RUNNING = "RUNNING";
|
||||
private static final String STATUS_FAILED = "FAILED";
|
||||
|
||||
|
||||
/** 中间态(无人接单)或 RUNNING(心跳残留)超过该时长未更新即判死。真活任务心跳会不断刷新 updatedAt,不会被误杀。 */
|
||||
/** SCHEDULED(到点未启动)/ RUNNING(心跳残留)超过该时长未更新即判死。真活任务心跳会不断刷新 updatedAt,不会被误杀。 */
|
||||
private static final long STALE_IDLE_MINUTES = 120;
|
||||
|
||||
/** 单轮品牌陈旧任务处理上限(原实现内联 limit 500)。 */
|
||||
@@ -61,7 +66,6 @@ public class StaleTaskRepairService {
|
||||
return;
|
||||
}
|
||||
try (lock) {
|
||||
repairFileTaskStaleIdle();
|
||||
repairFileTaskStaleScheduled();
|
||||
repairFileTaskStaleRunning();
|
||||
repairBrandStale();
|
||||
@@ -70,32 +74,6 @@ public class StaleTaskRepairService {
|
||||
}
|
||||
}
|
||||
|
||||
/** PENDING 长时间未被领取 → FAILED(页面没推进客户端队列,客户端兜底拉取也没领到)。 */
|
||||
private void repairFileTaskStaleIdle() {
|
||||
LocalDateTime cutoff = LocalDateTime.now().minusMinutes(STALE_IDLE_MINUTES);
|
||||
List<FileTaskEntity> stale = fileTaskMapper.selectList(new LambdaQueryWrapper<FileTaskEntity>()
|
||||
.select(FileTaskEntity::getId, FileTaskEntity::getModuleType)
|
||||
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
|
||||
.lt(FileTaskEntity::getUpdatedAt, cutoff)
|
||||
.last("limit 500"));
|
||||
if (stale.isEmpty()) {
|
||||
return;
|
||||
}
|
||||
String reason = "任务长期未被领取,已自动失败";
|
||||
List<Long> ids = stale.stream().map(FileTaskEntity::getId).toList();
|
||||
LocalDateTime now = LocalDateTime.now();
|
||||
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
|
||||
.in(FileTaskEntity::getId, ids)
|
||||
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
|
||||
.set(FileTaskEntity::getStatus, STATUS_FAILED)
|
||||
.set(FileTaskEntity::getErrorMessage, reason)
|
||||
.set(FileTaskEntity::getFinishedAt, now));
|
||||
if (updated > 0) {
|
||||
log.warn("[stale-task-repair] 陈旧中间态已标失败 count={} ids={}", updated, ids);
|
||||
markDeadDownstream(ids, reason);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* SCHEDULED 到时后长时间未启动 → FAILED。
|
||||
*
|
||||
|
||||
+4
-4
@@ -8,10 +8,10 @@ import java.util.Map;
|
||||
* 客户端兜底拉取的模块侧扩展点。
|
||||
*
|
||||
* <p>背景:任务由页面"解析落库 PENDING → activate → 经 pywebview 桥推给本机 Python 队列"派发,
|
||||
* 页面这一段缺失(只解析没点启动 / 推送前关页面 / 在纯浏览器打开)时任务永远停在 PENDING,
|
||||
* 2 小时后被 StaleTaskRepairService 标失败(「任务长期未被领取,已自动失败」)。
|
||||
* 本接口让业务模块自行组装"客户端可直接入队"的 payload,由 {@code TaskClientPullService}
|
||||
* 认领(PENDING→RUNNING 条件更新)后下发给客户端执行 —— 等于替页面补上"推送"这一步。
|
||||
* 页面这一段缺失(只解析没点启动 / 推送前关页面 / 在纯浏览器打开)时任务会停在 PENDING。
|
||||
* 2026-10-29 起 PENDING <b>不再按时间判死</b>——排队等 worker 领取的任务等多久都保留,
|
||||
* 由 {@code TaskClientPullService} 认领(PENDING→RUNNING 条件更新)后下发给客户端执行 ——
|
||||
* 等于替页面补上"推送"这一步;认领不掉的解析预览就一直留在队列里,不在这里清。
|
||||
*
|
||||
* <p>与 {@link TaskModuleHeartbeatSpi} 同理(G5):task 侧不 import 业务模块,
|
||||
* 各模块实现本接口,Spring 注入 List 后由 task 侧建索引。
|
||||
|
||||
@@ -373,7 +373,8 @@ aiimage:
|
||||
batch-size: ${AIIMAGE_RESULT_FILE_JOB_BATCH_SIZE:20}
|
||||
max-inflight-dispatch: ${AIIMAGE_RESULT_FILE_JOB_MAX_INFLIGHT_DISPATCH:64}
|
||||
# 客户端兜底拉取:页面没推送成功(只解析没点启动 / 推送前关页面 / 纯浏览器打开)、
|
||||
# 长期停在 PENDING 的任务由在线客户端领走执行,替代 2 小时后的"任务长期未被领取"标失败。
|
||||
# 长期停在 PENDING 的任务由在线客户端领走执行。2026-10-29 起 PENDING 不再按 2 小时判死
|
||||
# (排队中的任务一直排队等认领),本开关是排队任务的唯一出路,不再是"判死前的抢救"。
|
||||
# 默认关闭;打开前需先发布带兜底拉取线程的客户端版本,旧客户端不受影响。
|
||||
client-task-pull:
|
||||
enabled: ${AIIMAGE_CLIENT_TASK_PULL_ENABLED:false}
|
||||
|
||||
+23
-32
@@ -17,12 +17,14 @@ import org.mockito.ArgumentCaptor;
|
||||
import org.springframework.test.util.ReflectionTestUtils;
|
||||
|
||||
import java.time.LocalDateTime;
|
||||
import java.util.Arrays;
|
||||
import java.util.List;
|
||||
import java.util.Map;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
import static org.junit.jupiter.api.Assertions.assertFalse;
|
||||
import static org.junit.jupiter.api.Assertions.assertNotNull;
|
||||
import static org.junit.jupiter.api.Assertions.assertNull;
|
||||
import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||
import static org.mockito.ArgumentMatchers.any;
|
||||
import static org.mockito.ArgumentMatchers.eq;
|
||||
@@ -34,9 +36,10 @@ import static org.mockito.Mockito.verifyNoMoreInteractions;
|
||||
import static org.mockito.Mockito.when;
|
||||
|
||||
/**
|
||||
* 陈旧任务判死契约(2026-09-14 修订):
|
||||
* PENDING 仍按 updated_at 判死;SCHEDULED(店铺匹配定时任务)改以 scheduled_at 为基准 ——
|
||||
* 只按 updated_at 会误杀排期在 2 小时之后的定时任务,而 activate 又被「未到定时执行时间」挡住。
|
||||
* 陈旧任务判死契约(2026-10-29 修订):
|
||||
* <b>PENDING 不再判死</b>——它是"排队等 worker 领取",等多久都保留(产品口径:一直排队就行);
|
||||
* SCHEDULED(店铺匹配定时任务)以 scheduled_at 为基准 —— 只按 updated_at 会误杀排期在
|
||||
* 2 小时之后的定时任务,而 activate 又被「未到定时执行时间」挡住;RUNNING 按心跳判死。
|
||||
*/
|
||||
class StaleTaskRepairServiceTest {
|
||||
|
||||
@@ -58,19 +61,25 @@ class StaleTaskRepairServiceTest {
|
||||
}
|
||||
|
||||
@Test
|
||||
void PENDING_判死只命中_PENDING_不再波及_SCHEDULED() {
|
||||
when(fileTaskMapper.selectList(any())).thenReturn(List.of(task(11L)));
|
||||
when(fileTaskMapper.update(isNull(), any())).thenReturn(1);
|
||||
void PENDING_排队超时不判死_判死入口不得回填() {
|
||||
// 2026-10-29 产品口径:PENDING 是排队态,AP worker 串行跑大任务时队列再长也保留,
|
||||
// 由 pull 认领;按更新时间清杀会把排队任务误判成「长期未被领取」,还会连锁触发自动重试。
|
||||
assertNull(Arrays.stream(StaleTaskRepairService.class.getDeclaredMethods())
|
||||
.filter(method -> "repairFileTaskStaleIdle".equals(method.getName()))
|
||||
.findFirst().orElse(null),
|
||||
"PENDING 判死入口不得回填:排队中的任务要一直留着等 worker 领取");
|
||||
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleIdle");
|
||||
when(fileTaskMapper.selectList(any())).thenReturn(List.of());
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleScheduled");
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleRunning");
|
||||
|
||||
Map<String, Object> selectParams = selectParams();
|
||||
assertTrue(selectParams.containsValue("PENDING"));
|
||||
assertFalse(selectParams.containsValue("SCHEDULED"), "PENDING 分支命中 SCHEDULED 是定时任务被误杀的原因");
|
||||
|
||||
Map<String, Object> updateParams = updateParams(1);
|
||||
assertTrue(updateParams.containsValue("FAILED"));
|
||||
assertTrue(containsMessage(updateParams, "任务长期未被领取"));
|
||||
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
|
||||
verify(fileTaskMapper, org.mockito.Mockito.times(2)).selectList(captor.capture());
|
||||
for (Wrapper<FileTaskEntity> wrapper : captor.getAllValues()) {
|
||||
assertFalse(paramsOf(wrapper).containsValue("PENDING"),
|
||||
"判死巡检不得再扫 PENDING:排队任务既不许按 updated_at 清杀,也不许被别的分支误伤");
|
||||
}
|
||||
verify(fileTaskMapper, never()).update(any(), any());
|
||||
}
|
||||
|
||||
@Test
|
||||
@@ -100,7 +109,6 @@ class StaleTaskRepairServiceTest {
|
||||
void 没有候选任务时不写库() {
|
||||
when(fileTaskMapper.selectList(any())).thenReturn(List.of());
|
||||
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleIdle");
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleScheduled");
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleRunning");
|
||||
|
||||
@@ -169,23 +177,6 @@ class StaleTaskRepairServiceTest {
|
||||
verify(fileTaskMapper, never()).update(isNull(), any());
|
||||
}
|
||||
|
||||
@Test
|
||||
void 未被领取判死同样要回写结果行并终结作业() {
|
||||
when(fileTaskMapper.selectList(any())).thenReturn(List.of(task(31176L, "PENDING")));
|
||||
when(fileTaskMapper.update(isNull(), any())).thenReturn(1);
|
||||
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleIdle");
|
||||
|
||||
verify(fileResultMapper).update(isNull(), any());
|
||||
verify(taskFileJobService).failUnfinishedJobs(eq(List.of(31176L)), any());
|
||||
}
|
||||
|
||||
private Map<String, Object> selectParams() {
|
||||
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
|
||||
verify(fileTaskMapper).selectList(captor.capture());
|
||||
return paramsOf(captor.getValue());
|
||||
}
|
||||
|
||||
private Map<String, Object> updateParams(int times) {
|
||||
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
|
||||
verify(fileTaskMapper, org.mockito.Mockito.times(times)).update(isNull(), captor.capture());
|
||||
|
||||
Reference in New Issue
Block a user