fix(采集数据): 品牌检测移出任务锁 + 失败任务仍产出可下载的部分结果

taskId 28599 事故根因:分片回传在任务锁内同步做品牌检测,上游 16890 卡死时
单次持锁 103.5 秒(costMs=103556),期间该任务的心跳与客户端重试全部撞
40902「任务正在处理」,客户端 5 次重试预算耗尽后中止了整个采集。

- submitResult:行归一化 / 去重过滤 / 品牌检测移到任务锁外,锁内只保留落库与终态
- BrandCheckClient:整批加 90 秒总耗时上限(超时按查询失败降级,首轮始终执行),
  单次回传时延从「无上界」收敛到约 90 秒 + 一次读超时
- 失败且已收到分片时照常组装部分结果;任务已 FAILED 则保留失败态与真实失败原因,
  只补结果文件(乐观写结果行 + 条件更新不匹配再补偿写回,避免崩溃时留下「成功但无下载」)
- productrisk / shopmatch 按 pricetrack 的 preserveFailure 样板补齐,含组装落地时
  不再把失败行「洗成成功」
- 前端:采集 / 跟价 / 产品风险 / 店铺匹配的下载按钮放宽到失败任务
This commit is contained in:
2026-09-18 15:53:15 +08:00
parent e2e1d99bda
commit a4bd8ceac9
12 changed files with 303 additions and 65 deletions
@@ -264,6 +264,30 @@ class CollectDataServiceTxBoundaryTest {
verify(transactionTemplate, never()).execute(any());
}
/** taskId 28599:失败时已收到的分片仍要组装成结果文件,让用户能下载已采集的数据。 */
@Test
void failedSubmitWithReceivedChunksEnqueuesPartialWorkbook() {
when(taskChunkMapper.selectCount(any())).thenReturn(170L);
CollectDataSubmitResultRequest request = submitRequest();
request.setError("中间分批回传失败,终止本次采集以避免服务端数据残缺");
service.submitResult(TASK_ID, request);
verify(taskFileJobService).enqueueAssembleResult(
eq(TASK_ID), eq("COLLECT_DATA"), eq(5001L), anyString());
}
@Test
void failedSubmitWithoutReceivedChunksEnqueuesNothing() {
CollectDataSubmitResultRequest request = submitRequest();
request.setError("采集端启动失败");
service.submitResult(TASK_ID, request);
verify(taskFileJobService, never())
.enqueueAssembleResult(anyLong(), anyString(), anyLong(), anyString());
}
private CollectDataSubmitResultRequest submitRequest() {
CollectDataSubmitRowDto row = new CollectDataSubmitRowDto();
row.setAsin("B0COLLECT1");