feat(任务判死): 心跳时钟改为从首次心跳起算——排队中的 RUNNING 任务不再被心跳超时线误杀
任务一被认领(页面 activate / 客户端兜底拉取)就记 RUNNING,而客户端要等执行器真开始跑 才发心跳(同店占用、线程池 5 格全忙、浏览器首屏)。这段排队时间里服务端一行心跳都没有、 updated_at 停在认领时刻,被 30/120 分钟心跳线杀掉的是排队而不是死任务 (现网 2026-10-17 查得近 7 天 COLLECT_DATA 9 条 62 分钟判死、SIMILAR_ASIN 2 条一行未产出)。 - 新增 TaskHeartbeatLivenessService:每条心跳无条件打点(Redis,24h TTL), 读失败一律落 0=没有证据;新增 StaleTaskHeartbeatPolicy:收到过心跳才走心跳时钟, 从未心跳=仍在排队,超过未启动宽限(默认 240 分钟,置 0 即回退旧行为)才判死。 - 接入 product-risk/跟价/店铺匹配/巡店删除/查 ASIN/提现六条委派判死线、采集 30 分钟线、 generic 120 分钟线(该文件另一路会话正在改,只提交本笔 HEAD+本改动的切片)。 - 沉默棘轮按逐处记名抬 3 格(total 1002→1003、不重抛 559→561、只 log 172→173), 两处新增 catch 均为 fail-open 且误差方向是「少杀一个任务」。 验证:backend 全量 4400 例 0 失败;CatchSilenceRatchetTest 9 例绿; ops 判死签名尺子 6 例绿;ruff check . All checks passed。
This commit is contained in:
@@ -235,6 +235,11 @@ aiimage:
|
||||
withdraw-stale-timeout-minutes: ${AIIMAGE_WITHDRAW_STALE_TIMEOUT_MINUTES:30}
|
||||
no-result-upload-timeout-minutes: ${AIIMAGE_NO_RESULT_UPLOAD_TIMEOUT_MINUTES:180}
|
||||
no-result-upload-check-enabled: ${AIIMAGE_NO_RESULT_UPLOAD_CHECK_ENABLED:true}
|
||||
# 陈旧判死的「首次心跳」闸(2026-10-17):任务被认领即记 RUNNING,而客户端要等执行器真开始跑才发心跳。
|
||||
# 这段排队时间里各模块的心跳超时线一律不判死,超过本宽限才由「认领后长时间未启动」收口;
|
||||
# 置 0 即整体关闭闸门、退回旧行为(只需改环境变量,不用重新构建)。
|
||||
task-stale:
|
||||
first-heartbeat-grace-minutes: ${AIIMAGE_TASK_STALE_FIRST_HEARTBEAT_GRACE_MINUTES:240}
|
||||
module-cleanup:
|
||||
enabled: ${AIIMAGE_MODULE_CLEANUP_ENABLED:true}
|
||||
cron: ${AIIMAGE_MODULE_CLEANUP_CRON:0 0 0 * * *}
|
||||
|
||||
Reference in New Issue
Block a user