fix(采集数据): 品牌检测移出任务锁 + 失败任务仍产出可下载的部分结果
taskId 28599 事故根因:分片回传在任务锁内同步做品牌检测,上游 16890 卡死时 单次持锁 103.5 秒(costMs=103556),期间该任务的心跳与客户端重试全部撞 40902「任务正在处理」,客户端 5 次重试预算耗尽后中止了整个采集。 - submitResult:行归一化 / 去重过滤 / 品牌检测移到任务锁外,锁内只保留落库与终态 - BrandCheckClient:整批加 90 秒总耗时上限(超时按查询失败降级,首轮始终执行), 单次回传时延从「无上界」收敛到约 90 秒 + 一次读超时 - 失败且已收到分片时照常组装部分结果;任务已 FAILED 则保留失败态与真实失败原因, 只补结果文件(乐观写结果行 + 条件更新不匹配再补偿写回,避免崩溃时留下「成功但无下载」) - productrisk / shopmatch 按 pricetrack 的 preserveFailure 样板补齐,含组装落地时 不再把失败行「洗成成功」 - 前端:采集 / 跟价 / 产品风险 / 店铺匹配的下载按钮放宽到失败任务
This commit is contained in:
@@ -23,6 +23,14 @@ public class BrandCheckProperties {
|
||||
* 10 次尝试合计约 45s,既能覆盖限流窗口又不会让单个品牌长时间占住查询线程。
|
||||
*/
|
||||
private int retryMaxIntervalMillis = 10000;
|
||||
/**
|
||||
* 一次批量检查的总耗时上限(毫秒):整批用尽后不再重试,剩余品牌按「查询失败」收尾。
|
||||
* 上限的意义不是省时间,而是给「分片回传」这类同步调用方一个时延上界——上游卡死时
|
||||
* 单品牌 10 次重试曾把一次回传拖到 103.5 秒(taskId 28599),客户端重试预算耗尽后
|
||||
* 中止了整个采集。首轮请求始终执行,故上游只是略慢时不会误降级。
|
||||
* 设为 0 或负数表示不限制。
|
||||
*/
|
||||
private int totalTimeoutMillis = 90000;
|
||||
private int connectTimeoutMillis = 10000;
|
||||
private int readTimeoutMillis = 60000;
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user