fix(tasks): PENDING 排队不再按 2 小时判死,等客户端认领
PENDING 是排队态不是卡死态:单机串行跑大任务时队列等再久也必须保留, 按 updated_at 清杀会把排队任务误判成「长期未被领取」并连锁触发自动克隆重试, 同一份活被放大成多条失败记录(2026-10-28 现网 1514 行任务连续三代)。 判死巡检只留 SCHEDULED(到点未启动)与 RUNNING(心跳残留)两条; 排队任务一律等 TaskClientPullService 认领,页面放弃的解析预览也保留。
This commit is contained in:
+8
-30
@@ -21,21 +21,26 @@ import java.util.List;
|
||||
* 陈旧任务自动修复。
|
||||
*
|
||||
* 修复型巡检(区别于 task-161 的只读报告巡检):把超过阈值时间无心跳(updated_at 未刷新)的
|
||||
* PENDING / SCHEDULED / RUNNING 任务自动标终态失败,避免历史任务列表永久停留在中间状态。
|
||||
* SCHEDULED / RUNNING 任务自动标终态失败,避免历史任务列表永久停留在中间状态。
|
||||
* 分布式锁防双实例重复修复;注意 RUNNING 的存活判定基于 updatedAt 心跳,真活任务会不断刷新不会被误杀。
|
||||
*
|
||||
* <p><b>PENDING 不在本巡检的判死范围内(2026-10-29 产品口径)</b>:PENDING 是"排队等 worker 领取",
|
||||
* 不是"卡死"。AP worker 串行跑大任务时,队列里的任务等再久也必须保留——按 2 小时判死把排队任务
|
||||
* 误杀成「任务长期未被领取」,还会触发自动克隆重试,同一份活被放大成多条失败记录(现网 2026-10-28
|
||||
* 用户 1211 的两条 829 行任务即此路)。排队任务一律等 {@code TaskClientPullService} 认领;
|
||||
* 页面放弃的解析预览也一样保留,不在这里清。
|
||||
*/
|
||||
@Slf4j
|
||||
@Service
|
||||
@RequiredArgsConstructor
|
||||
public class StaleTaskRepairService {
|
||||
|
||||
private static final String STATUS_PENDING = "PENDING";
|
||||
private static final String STATUS_SCHEDULED = "SCHEDULED";
|
||||
private static final String STATUS_RUNNING = "RUNNING";
|
||||
private static final String STATUS_FAILED = "FAILED";
|
||||
|
||||
|
||||
/** 中间态(无人接单)或 RUNNING(心跳残留)超过该时长未更新即判死。真活任务心跳会不断刷新 updatedAt,不会被误杀。 */
|
||||
/** SCHEDULED(到点未启动)/ RUNNING(心跳残留)超过该时长未更新即判死。真活任务心跳会不断刷新 updatedAt,不会被误杀。 */
|
||||
private static final long STALE_IDLE_MINUTES = 120;
|
||||
|
||||
/** 单轮品牌陈旧任务处理上限(原实现内联 limit 500)。 */
|
||||
@@ -61,7 +66,6 @@ public class StaleTaskRepairService {
|
||||
return;
|
||||
}
|
||||
try (lock) {
|
||||
repairFileTaskStaleIdle();
|
||||
repairFileTaskStaleScheduled();
|
||||
repairFileTaskStaleRunning();
|
||||
repairBrandStale();
|
||||
@@ -70,32 +74,6 @@ public class StaleTaskRepairService {
|
||||
}
|
||||
}
|
||||
|
||||
/** PENDING 长时间未被领取 → FAILED(页面没推进客户端队列,客户端兜底拉取也没领到)。 */
|
||||
private void repairFileTaskStaleIdle() {
|
||||
LocalDateTime cutoff = LocalDateTime.now().minusMinutes(STALE_IDLE_MINUTES);
|
||||
List<FileTaskEntity> stale = fileTaskMapper.selectList(new LambdaQueryWrapper<FileTaskEntity>()
|
||||
.select(FileTaskEntity::getId, FileTaskEntity::getModuleType)
|
||||
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
|
||||
.lt(FileTaskEntity::getUpdatedAt, cutoff)
|
||||
.last("limit 500"));
|
||||
if (stale.isEmpty()) {
|
||||
return;
|
||||
}
|
||||
String reason = "任务长期未被领取,已自动失败";
|
||||
List<Long> ids = stale.stream().map(FileTaskEntity::getId).toList();
|
||||
LocalDateTime now = LocalDateTime.now();
|
||||
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
|
||||
.in(FileTaskEntity::getId, ids)
|
||||
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
|
||||
.set(FileTaskEntity::getStatus, STATUS_FAILED)
|
||||
.set(FileTaskEntity::getErrorMessage, reason)
|
||||
.set(FileTaskEntity::getFinishedAt, now));
|
||||
if (updated > 0) {
|
||||
log.warn("[stale-task-repair] 陈旧中间态已标失败 count={} ids={}", updated, ids);
|
||||
markDeadDownstream(ids, reason);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* SCHEDULED 到时后长时间未启动 → FAILED。
|
||||
*
|
||||
|
||||
+4
-4
@@ -8,10 +8,10 @@ import java.util.Map;
|
||||
* 客户端兜底拉取的模块侧扩展点。
|
||||
*
|
||||
* <p>背景:任务由页面"解析落库 PENDING → activate → 经 pywebview 桥推给本机 Python 队列"派发,
|
||||
* 页面这一段缺失(只解析没点启动 / 推送前关页面 / 在纯浏览器打开)时任务永远停在 PENDING,
|
||||
* 2 小时后被 StaleTaskRepairService 标失败(「任务长期未被领取,已自动失败」)。
|
||||
* 本接口让业务模块自行组装"客户端可直接入队"的 payload,由 {@code TaskClientPullService}
|
||||
* 认领(PENDING→RUNNING 条件更新)后下发给客户端执行 —— 等于替页面补上"推送"这一步。
|
||||
* 页面这一段缺失(只解析没点启动 / 推送前关页面 / 在纯浏览器打开)时任务会停在 PENDING。
|
||||
* 2026-10-29 起 PENDING <b>不再按时间判死</b>——排队等 worker 领取的任务等多久都保留,
|
||||
* 由 {@code TaskClientPullService} 认领(PENDING→RUNNING 条件更新)后下发给客户端执行 ——
|
||||
* 等于替页面补上"推送"这一步;认领不掉的解析预览就一直留在队列里,不在这里清。
|
||||
*
|
||||
* <p>与 {@link TaskModuleHeartbeatSpi} 同理(G5):task 侧不 import 业务模块,
|
||||
* 各模块实现本接口,Spring 注入 List 后由 task 侧建索引。
|
||||
|
||||
@@ -373,7 +373,8 @@ aiimage:
|
||||
batch-size: ${AIIMAGE_RESULT_FILE_JOB_BATCH_SIZE:20}
|
||||
max-inflight-dispatch: ${AIIMAGE_RESULT_FILE_JOB_MAX_INFLIGHT_DISPATCH:64}
|
||||
# 客户端兜底拉取:页面没推送成功(只解析没点启动 / 推送前关页面 / 纯浏览器打开)、
|
||||
# 长期停在 PENDING 的任务由在线客户端领走执行,替代 2 小时后的"任务长期未被领取"标失败。
|
||||
# 长期停在 PENDING 的任务由在线客户端领走执行。2026-10-29 起 PENDING 不再按 2 小时判死
|
||||
# (排队中的任务一直排队等认领),本开关是排队任务的唯一出路,不再是"判死前的抢救"。
|
||||
# 默认关闭;打开前需先发布带兜底拉取线程的客户端版本,旧客户端不受影响。
|
||||
client-task-pull:
|
||||
enabled: ${AIIMAGE_CLIENT_TASK_PULL_ENABLED:false}
|
||||
|
||||
Reference in New Issue
Block a user