fix(采集数据): 品牌检测移出任务锁 + 失败任务仍产出可下载的部分结果

taskId 28599 事故根因:分片回传在任务锁内同步做品牌检测,上游 16890 卡死时
单次持锁 103.5 秒(costMs=103556),期间该任务的心跳与客户端重试全部撞
40902「任务正在处理」,客户端 5 次重试预算耗尽后中止了整个采集。

- submitResult:行归一化 / 去重过滤 / 品牌检测移到任务锁外,锁内只保留落库与终态
- BrandCheckClient:整批加 90 秒总耗时上限(超时按查询失败降级,首轮始终执行),
  单次回传时延从「无上界」收敛到约 90 秒 + 一次读超时
- 失败且已收到分片时照常组装部分结果;任务已 FAILED 则保留失败态与真实失败原因,
  只补结果文件(乐观写结果行 + 条件更新不匹配再补偿写回,避免崩溃时留下「成功但无下载」)
- productrisk / shopmatch 按 pricetrack 的 preserveFailure 样板补齐,含组装落地时
  不再把失败行「洗成成功」
- 前端:采集 / 跟价 / 产品风险 / 店铺匹配的下载按钮放宽到失败任务
This commit is contained in:
2026-09-18 15:53:15 +08:00
parent e2e1d99bda
commit a4bd8ceac9
12 changed files with 303 additions and 65 deletions
@@ -107,6 +107,8 @@ class SuccessTimingContractTest {
.thenReturn("oss://shufuai/collect-data/6868.xlsx");
lenient().when(fileResultMapper.updateById(any(FileResultEntity.class))).thenReturn(1);
lenient().when(fileTaskMapper.updateById(any(FileTaskEntity.class))).thenReturn(1);
// 终态条件更新的返回值为「匹配行数」:任务非 FAILED 时匹配 1 行(默认用例都基于 RUNNING 任务)。
lenient().when(fileTaskMapper.update(isNull(), any(LambdaUpdateWrapper.class))).thenReturn(1);
}
private TaskFileJobEntity job() {
@@ -124,6 +126,8 @@ class SuccessTimingContractTest {
void successHappensOnlyAfterFileGeneratedAndUploaded() {
service.processResultFileJob(job());
// 契约核心:结果文件「生成并上传」必须先于任何落库(结果行与任务终态)。
// 保持结果行先写:若进程在这两步之间退出,任务仍是 RUNNING,陈旧巡检可重新组装(自愈)。
var order = inOrder(ossStorageService, fileResultMapper, fileTaskMapper);
order.verify(ossStorageService).uploadResultFile(any(), eq("COLLECT_DATA"));
order.verify(fileResultMapper).updateById(any(FileResultEntity.class));
@@ -220,6 +224,35 @@ class SuccessTimingContractTest {
verify(fileTaskMapper, org.mockito.Mockito.times(1)).update(isNull(), any(LambdaUpdateWrapper.class));
}
/**
* taskId 28599:组装完成时任务已是 FAILED(客户端上报失败或陈旧判死在前)——
* 条件更新不匹配,任务保持失败态与真实原因,但结果文件的 url 照常落库,
* 用户「看到失败」的同时仍能下载已采集的部分结果。
*/
@Test
void failedTaskKeepsFailureButStillCarriesDownloadUrl() {
String reason = "中间分批回传失败,终止本次采集以避免服务端数据残缺";
when(fileTaskMapper.update(isNull(), any(LambdaUpdateWrapper.class))).thenReturn(0);
FileTaskEntity failedTask = runningTask();
failedTask.setStatus("FAILED");
failedTask.setErrorMessage(reason);
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(failedTask);
FileResultEntity failedResult = runningResult();
failedResult.setErrorMessage(reason);
when(fileResultMapper.selectById(RESULT_ID)).thenReturn(failedResult);
service.processResultFileJob(job());
ArgumentCaptor<FileResultEntity> resultCaptor = ArgumentCaptor.forClass(FileResultEntity.class);
// 失败态是补偿写:先乐观写成功,条件更新不匹配后再写回失败语义
verify(fileResultMapper, org.mockito.Mockito.times(2)).updateById(resultCaptor.capture());
FileResultEntity result = resultCaptor.getAllValues().get(1);
assertEquals("oss://shufuai/collect-data/6868.xlsx", result.getResultFileUrl(),
"失败任务也要有可下载的结果文件");
assertEquals(0, result.getSuccess(), "任务失败则结果记录保持失败语义,前端显示「失败」而非「已完成」");
assertEquals(reason, result.getErrorMessage(), "真实失败原因不能被组装流程清掉");
}
private FileTaskEntity runningTask() {
FileTaskEntity task = new FileTaskEntity();
task.setId(TASK_ID);