feat(任务判死): 心跳时钟改为从首次心跳起算——排队中的 RUNNING 任务不再被心跳超时线误杀

任务一被认领(页面 activate / 客户端兜底拉取)就记 RUNNING,而客户端要等执行器真开始跑
才发心跳(同店占用、线程池 5 格全忙、浏览器首屏)。这段排队时间里服务端一行心跳都没有、
updated_at 停在认领时刻,被 30/120 分钟心跳线杀掉的是排队而不是死任务
(现网 2026-10-17 查得近 7 天 COLLECT_DATA 9 条 62 分钟判死、SIMILAR_ASIN 2 条一行未产出)。

- 新增 TaskHeartbeatLivenessService:每条心跳无条件打点(Redis,24h TTL),
  读失败一律落 0=没有证据;新增 StaleTaskHeartbeatPolicy:收到过心跳才走心跳时钟,
  从未心跳=仍在排队,超过未启动宽限(默认 240 分钟,置 0 即回退旧行为)才判死。
- 接入 product-risk/跟价/店铺匹配/巡店删除/查 ASIN/提现六条委派判死线、采集 30 分钟线、
  generic 120 分钟线(该文件另一路会话正在改,只提交本笔 HEAD+本改动的切片)。
- 沉默棘轮按逐处记名抬 3 格(total 1002→1003、不重抛 559→561、只 log 172→173),
  两处新增 catch 均为 fail-open 且误差方向是「少杀一个任务」。

验证:backend 全量 4400 例 0 失败;CatchSilenceRatchetTest 9 例绿;
ops 判死签名尺子 6 例绿;ruff check . All checks passed。
This commit is contained in:
2026-10-17 19:46:04 +08:00
parent 531278f861
commit 3c44f686da
18 changed files with 617 additions and 12 deletions
@@ -97,6 +97,7 @@ import java.util.function.Consumer;
import java.util.regex.Pattern;
import com.nanri.aiimage.modules.task.model.vo.TaskProgressLightBatchVo;
import com.nanri.aiimage.modules.task.service.TaskProgressLightAssembler;
import com.nanri.aiimage.modules.task.service.StaleTaskHeartbeatPolicy;
@Service
@RequiredArgsConstructor
@@ -190,6 +191,13 @@ public class CollectDataService {
/** 品牌检测失败补测队列:查询失败的品牌在锁外入队,上游恢复后自动重查补结果。 */
private final CollectDataBrandRecheckService collectDataBrandRecheckService;
/**
* 「首次心跳之前不判死」闸门:采集这条 30 分钟心跳线只看 {@code updated_at},而客户端认领任务后
* 要等同店释放、等线程池那 5 格、等浏览器首屏,这段时间一行心跳都没有、{@code updated_at} 又停在
* 认领时刻,被套上 30 分钟超时线杀掉的正是排队任务(现网 2026-10-17 查得近 7 天 9 条)。
*/
private final StaleTaskHeartbeatPolicy staleTaskHeartbeatPolicy;
@Value("${aiimage.collect-data.stale-timeout-minutes:30}")
private long staleTimeoutMinutes;
@@ -580,6 +588,14 @@ public class CollectDataService {
|| !task.getUpdatedAt().isBefore(threshold)) {
return;
}
// 排队宽限内暂不判死:这个模块没有自己的 Redis 心跳读数(传 0),闸门改读共享心跳打点
if (staleTaskHeartbeatPolicy.isStillQueuedBeforeFirstHeartbeat(
taskId, 0L, task.getUpdatedAt(), LocalDateTime.now())) {
log.info("[collect-data] 未收到首次心跳、排队宽限内暂不判死 taskId={} timeoutMinutes={} graceMinutes={} updatedAt={}",
taskId, timeoutMinutes, staleTaskHeartbeatPolicy.firstHeartbeatGraceMinutes(),
task.getUpdatedAt());
return;
}
if (taskFileJobService.countUnfinishedAssembleJobs(taskId, MODULE_TYPE) > 0L) {
return;
}