feat(任务判死): 心跳时钟改为从首次心跳起算——排队中的 RUNNING 任务不再被心跳超时线误杀
任务一被认领(页面 activate / 客户端兜底拉取)就记 RUNNING,而客户端要等执行器真开始跑 才发心跳(同店占用、线程池 5 格全忙、浏览器首屏)。这段排队时间里服务端一行心跳都没有、 updated_at 停在认领时刻,被 30/120 分钟心跳线杀掉的是排队而不是死任务 (现网 2026-10-17 查得近 7 天 COLLECT_DATA 9 条 62 分钟判死、SIMILAR_ASIN 2 条一行未产出)。 - 新增 TaskHeartbeatLivenessService:每条心跳无条件打点(Redis,24h TTL), 读失败一律落 0=没有证据;新增 StaleTaskHeartbeatPolicy:收到过心跳才走心跳时钟, 从未心跳=仍在排队,超过未启动宽限(默认 240 分钟,置 0 即回退旧行为)才判死。 - 接入 product-risk/跟价/店铺匹配/巡店删除/查 ASIN/提现六条委派判死线、采集 30 分钟线、 generic 120 分钟线(该文件另一路会话正在改,只提交本笔 HEAD+本改动的切片)。 - 沉默棘轮按逐处记名抬 3 格(total 1002→1003、不重抛 559→561、只 log 172→173), 两处新增 catch 均为 fail-open 且误差方向是「少杀一个任务」。 验证:backend 全量 4400 例 0 失败;CatchSilenceRatchetTest 9 例绿; ops 判死签名尺子 6 例绿;ruff check . All checks passed。
This commit is contained in:
+16
@@ -97,6 +97,7 @@ import java.util.function.Consumer;
|
||||
import java.util.regex.Pattern;
|
||||
import com.nanri.aiimage.modules.task.model.vo.TaskProgressLightBatchVo;
|
||||
import com.nanri.aiimage.modules.task.service.TaskProgressLightAssembler;
|
||||
import com.nanri.aiimage.modules.task.service.StaleTaskHeartbeatPolicy;
|
||||
|
||||
@Service
|
||||
@RequiredArgsConstructor
|
||||
@@ -190,6 +191,13 @@ public class CollectDataService {
|
||||
/** 品牌检测失败补测队列:查询失败的品牌在锁外入队,上游恢复后自动重查补结果。 */
|
||||
private final CollectDataBrandRecheckService collectDataBrandRecheckService;
|
||||
|
||||
/**
|
||||
* 「首次心跳之前不判死」闸门:采集这条 30 分钟心跳线只看 {@code updated_at},而客户端认领任务后
|
||||
* 要等同店释放、等线程池那 5 格、等浏览器首屏,这段时间一行心跳都没有、{@code updated_at} 又停在
|
||||
* 认领时刻,被套上 30 分钟超时线杀掉的正是排队任务(现网 2026-10-17 查得近 7 天 9 条)。
|
||||
*/
|
||||
private final StaleTaskHeartbeatPolicy staleTaskHeartbeatPolicy;
|
||||
|
||||
@Value("${aiimage.collect-data.stale-timeout-minutes:30}")
|
||||
private long staleTimeoutMinutes;
|
||||
|
||||
@@ -580,6 +588,14 @@ public class CollectDataService {
|
||||
|| !task.getUpdatedAt().isBefore(threshold)) {
|
||||
return;
|
||||
}
|
||||
// 排队宽限内暂不判死:这个模块没有自己的 Redis 心跳读数(传 0),闸门改读共享心跳打点
|
||||
if (staleTaskHeartbeatPolicy.isStillQueuedBeforeFirstHeartbeat(
|
||||
taskId, 0L, task.getUpdatedAt(), LocalDateTime.now())) {
|
||||
log.info("[collect-data] 未收到首次心跳、排队宽限内暂不判死 taskId={} timeoutMinutes={} graceMinutes={} updatedAt={}",
|
||||
taskId, timeoutMinutes, staleTaskHeartbeatPolicy.firstHeartbeatGraceMinutes(),
|
||||
task.getUpdatedAt());
|
||||
return;
|
||||
}
|
||||
if (taskFileJobService.countUnfinishedAssembleJobs(taskId, MODULE_TYPE) > 0L) {
|
||||
return;
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user