feat(任务判死): 心跳正常但 180 分钟无结果上报的二次判死线(13 模块)+ 同期待发改动
判死线(治 28131 型「主线程卡死、心跳线程照发」): - 判据改看 biz_task_scope_state.last_chunk_at(HTTP 心跳不刷新它);从未上报跳过不判 - 中央线覆盖 DELETE_BRAND/PRODUCT_RISK_RESOLVE/PRICE_TRACK/SHOP_MATCH/PATROL_DELETE/QUERY_ASIN/WITHDRAW - 自带线接入 COLLECT_DATA/SIMILAR_ASIN/APPEARANCE_PATENT/SHOP_DATA_CRAWL/PUBLISH/BRAND - 客户端心跳带处理位置 progressText,判死文案含最后位置;no-result-upload-timeout-minutes 默认 180(0 关闭) 同期带上另一工作流的待发改动:跟价换 IP 重试、品牌检测重试上限与 LLM 并发下调、 教程包后台管理页与 V126 迁移、admin-vue 教程记录页。
This commit is contained in:
+11
-2
@@ -30,15 +30,24 @@ public class AppearancePatentProperties {
|
||||
private int llmFirstAttemptReadTimeoutMillis = 60000;
|
||||
private int llmBatchSize = 10;
|
||||
/**
|
||||
* 批内行级并发数,默认等于批量大小
|
||||
* 批内行级并发数。批次串行提交,每行串行发 2 个 LLM 请求,
|
||||
* 故该值≈单任务对 LLM 网关的瞬时并发;默认与品牌检测同为 5,避免多任务并行时成倍放大。
|
||||
*/
|
||||
private int llmRowConcurrency = 10;
|
||||
private int llmRowConcurrency = 5;
|
||||
/**
|
||||
* 每行每个 LLM 请求的重试次数(含首次)
|
||||
*/
|
||||
private int llmRetryTimes = 3;
|
||||
private int staleTimeoutMinutes = 30;
|
||||
private String staleFinalizeCron = "0 */2 * * * *";
|
||||
|
||||
/**
|
||||
* 二次判死线(心跳正常但连续 N 分钟无结果分片上报)阈值,分钟;<=0 关闭本线。
|
||||
* 既有判定以 Redis heartbeat stale 为主信号,但心跳随 Python HTTP 心跳每分钟刷新——
|
||||
* 主线程卡死时心跳线程照发,任务永远不 stale(与生产 28131 同型缺口)。
|
||||
* 本线改看 biz_task_scope_state.last_chunk_at(仅分片上传时刷新)。
|
||||
*/
|
||||
private int noResultUploadTimeoutMinutes = 180;
|
||||
/**
|
||||
* 末尾不足一批的数据等待该时长后强制提交检测。
|
||||
* Python 回传超时后会直接封口;这个配置处理 Python 慢回传但仍未超时的零头批次。
|
||||
|
||||
@@ -10,10 +10,19 @@ public class BrandCheckProperties {
|
||||
private String path = "/brand_check";
|
||||
private String token = "";
|
||||
private String defaultStrategy = "Terms";
|
||||
/** 单品牌商标查询的重试次数(含首次),连续失败超过该次数才判定为查询失败。 */
|
||||
private int retryTimes = 3;
|
||||
/** 每次查询失败后到下一次重试前的等待毫秒数。 */
|
||||
/**
|
||||
* 单品牌商标查询的重试次数(含首次),连续失败超过该次数才判定为查询失败。
|
||||
* 原为 3:16890 偶发限流几秒内即恢复,3 次(前两次间隔各 1s)恢复不了就把结论
|
||||
* 写成「查询失败」,对客户是硬伤;2026-09-14 与客户端品牌一致提到 10 次。
|
||||
*/
|
||||
private int retryTimes = 10;
|
||||
/** 每次查询失败后到下一次重试前的等待毫秒数(基准值,按重试轮次递增)。 */
|
||||
private int retryIntervalMillis = 1000;
|
||||
/**
|
||||
* 单次重试等待的上限毫秒数。等待按 retryIntervalMillis × 第几次重试 递增后封顶,
|
||||
* 10 次尝试合计约 45s,既能覆盖限流窗口又不会让单个品牌长时间占住查询线程。
|
||||
*/
|
||||
private int retryMaxIntervalMillis = 10000;
|
||||
private int connectTimeoutMillis = 10000;
|
||||
private int readTimeoutMillis = 60000;
|
||||
}
|
||||
|
||||
@@ -10,4 +10,11 @@ public class BrandProgressProperties {
|
||||
private long failedTtlHours = 2;
|
||||
private long heartbeatTimeoutMinutes = 15;
|
||||
private String staleCheckCron = "0 */2 * * * *";
|
||||
|
||||
/**
|
||||
* 二次判死线(心跳正常但连续 N 分钟无结果上报)阈值,分钟;<=0 关闭本线。
|
||||
* 既有心跳线以 updated_at/last_heartbeat_at 陈旧为判据,而前端心跳会持续刷新它们——
|
||||
* 主线程卡死时心跳线程照发,任务永远命不中。本线改看结果上报时写入的 last_result_at。
|
||||
*/
|
||||
private long noResultUploadTimeoutMinutes = 180;
|
||||
}
|
||||
|
||||
+13
@@ -45,6 +45,19 @@ public class DeleteBrandProgressProperties {
|
||||
*/
|
||||
private long withdrawStaleTimeoutMinutes = 30;
|
||||
|
||||
/**
|
||||
* 「心跳正常但连续 N 分钟无结果分片上报」的二次判死阈值(分钟),默认 3 小时。
|
||||
*
|
||||
* <p>既有各模块心跳线的候选条件是 updated_at 陈旧,而客户端心跳会持续刷新 updated_at——
|
||||
* 主线程卡死时心跳线程照发,任务永远命不中(生产 28131 卡死 12h+ 仍 RUNNING)。
|
||||
* 本线改用 biz_task_scope_state.last_chunk_at(只随结果分片上报刷新)作判据,
|
||||
* 从未上报(无 scope 行或全 NULL)的任务跳过,避免误杀首批较慢的正常任务。
|
||||
*/
|
||||
private long noResultUploadTimeoutMinutes = 180;
|
||||
|
||||
/** 二次判死线开关:false = 整段不扫描(观察期与回滚用,改环境变量即生效)。 */
|
||||
private boolean noResultUploadCheckEnabled = true;
|
||||
|
||||
/**
|
||||
* 组装结果文件时允许缺失的最大分片数:缺失不超过该值时降级组装(缺失行状态写"未回传"),
|
||||
* 保证任务不因少量分片丢失整体白跑;超出时任务失败,但仍会在重试耗尽后尝试
|
||||
|
||||
@@ -23,6 +23,14 @@ public class SimilarAsinProperties {
|
||||
private int staleTimeoutMinutes = 30;
|
||||
private String staleFinalizeCron = "0 */2 * * * *";
|
||||
|
||||
/**
|
||||
* 二次判死线(心跳正常但连续 N 分钟无结果分片上报)阈值,分钟;<=0 关闭本线。
|
||||
* 既有判定以 Redis heartbeat stale 为主信号,但心跳随 Python HTTP 心跳每分钟刷新——
|
||||
* 主线程卡死时心跳线程照发,任务永远不 stale(与生产 28131 同型缺口)。
|
||||
* 本线改看 biz_task_scope_state.last_chunk_at(仅分片上传时刷新)。
|
||||
*/
|
||||
private int noResultUploadTimeoutMinutes = 180;
|
||||
|
||||
/**
|
||||
* 末尾零头 batch 的强制 flush 阈值(分钟):当不足 llmBatchSize 的零头 row
|
||||
* 长时间挂着(Python 慢回传)时触发提交。
|
||||
|
||||
Reference in New Issue
Block a user