fix(采集数据): 品牌检测移出任务锁 + 失败任务仍产出可下载的部分结果
taskId 28599 事故根因:分片回传在任务锁内同步做品牌检测,上游 16890 卡死时 单次持锁 103.5 秒(costMs=103556),期间该任务的心跳与客户端重试全部撞 40902「任务正在处理」,客户端 5 次重试预算耗尽后中止了整个采集。 - submitResult:行归一化 / 去重过滤 / 品牌检测移到任务锁外,锁内只保留落库与终态 - BrandCheckClient:整批加 90 秒总耗时上限(超时按查询失败降级,首轮始终执行), 单次回传时延从「无上界」收敛到约 90 秒 + 一次读超时 - 失败且已收到分片时照常组装部分结果;任务已 FAILED 则保留失败态与真实失败原因, 只补结果文件(乐观写结果行 + 条件更新不匹配再补偿写回,避免崩溃时留下「成功但无下载」) - productrisk / shopmatch 按 pricetrack 的 preserveFailure 样板补齐,含组装落地时 不再把失败行「洗成成功」 - 前端:采集 / 跟价 / 产品风险 / 店铺匹配的下载按钮放宽到失败任务
This commit is contained in:
+24
@@ -264,6 +264,30 @@ class CollectDataServiceTxBoundaryTest {
|
||||
verify(transactionTemplate, never()).execute(any());
|
||||
}
|
||||
|
||||
/** taskId 28599:失败时已收到的分片仍要组装成结果文件,让用户能下载已采集的数据。 */
|
||||
@Test
|
||||
void failedSubmitWithReceivedChunksEnqueuesPartialWorkbook() {
|
||||
when(taskChunkMapper.selectCount(any())).thenReturn(170L);
|
||||
CollectDataSubmitResultRequest request = submitRequest();
|
||||
request.setError("中间分批回传失败,终止本次采集以避免服务端数据残缺");
|
||||
|
||||
service.submitResult(TASK_ID, request);
|
||||
|
||||
verify(taskFileJobService).enqueueAssembleResult(
|
||||
eq(TASK_ID), eq("COLLECT_DATA"), eq(5001L), anyString());
|
||||
}
|
||||
|
||||
@Test
|
||||
void failedSubmitWithoutReceivedChunksEnqueuesNothing() {
|
||||
CollectDataSubmitResultRequest request = submitRequest();
|
||||
request.setError("采集端启动失败");
|
||||
|
||||
service.submitResult(TASK_ID, request);
|
||||
|
||||
verify(taskFileJobService, never())
|
||||
.enqueueAssembleResult(anyLong(), anyString(), anyLong(), anyString());
|
||||
}
|
||||
|
||||
private CollectDataSubmitResultRequest submitRequest() {
|
||||
CollectDataSubmitRowDto row = new CollectDataSubmitRowDto();
|
||||
row.setAsin("B0COLLECT1");
|
||||
|
||||
+33
@@ -107,6 +107,8 @@ class SuccessTimingContractTest {
|
||||
.thenReturn("oss://shufuai/collect-data/6868.xlsx");
|
||||
lenient().when(fileResultMapper.updateById(any(FileResultEntity.class))).thenReturn(1);
|
||||
lenient().when(fileTaskMapper.updateById(any(FileTaskEntity.class))).thenReturn(1);
|
||||
// 终态条件更新的返回值为「匹配行数」:任务非 FAILED 时匹配 1 行(默认用例都基于 RUNNING 任务)。
|
||||
lenient().when(fileTaskMapper.update(isNull(), any(LambdaUpdateWrapper.class))).thenReturn(1);
|
||||
}
|
||||
|
||||
private TaskFileJobEntity job() {
|
||||
@@ -124,6 +126,8 @@ class SuccessTimingContractTest {
|
||||
void successHappensOnlyAfterFileGeneratedAndUploaded() {
|
||||
service.processResultFileJob(job());
|
||||
|
||||
// 契约核心:结果文件「生成并上传」必须先于任何落库(结果行与任务终态)。
|
||||
// 保持结果行先写:若进程在这两步之间退出,任务仍是 RUNNING,陈旧巡检可重新组装(自愈)。
|
||||
var order = inOrder(ossStorageService, fileResultMapper, fileTaskMapper);
|
||||
order.verify(ossStorageService).uploadResultFile(any(), eq("COLLECT_DATA"));
|
||||
order.verify(fileResultMapper).updateById(any(FileResultEntity.class));
|
||||
@@ -220,6 +224,35 @@ class SuccessTimingContractTest {
|
||||
verify(fileTaskMapper, org.mockito.Mockito.times(1)).update(isNull(), any(LambdaUpdateWrapper.class));
|
||||
}
|
||||
|
||||
/**
|
||||
* taskId 28599:组装完成时任务已是 FAILED(客户端上报失败或陈旧判死在前)——
|
||||
* 条件更新不匹配,任务保持失败态与真实原因,但结果文件的 url 照常落库,
|
||||
* 用户「看到失败」的同时仍能下载已采集的部分结果。
|
||||
*/
|
||||
@Test
|
||||
void failedTaskKeepsFailureButStillCarriesDownloadUrl() {
|
||||
String reason = "中间分批回传失败,终止本次采集以避免服务端数据残缺";
|
||||
when(fileTaskMapper.update(isNull(), any(LambdaUpdateWrapper.class))).thenReturn(0);
|
||||
FileTaskEntity failedTask = runningTask();
|
||||
failedTask.setStatus("FAILED");
|
||||
failedTask.setErrorMessage(reason);
|
||||
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(failedTask);
|
||||
FileResultEntity failedResult = runningResult();
|
||||
failedResult.setErrorMessage(reason);
|
||||
when(fileResultMapper.selectById(RESULT_ID)).thenReturn(failedResult);
|
||||
|
||||
service.processResultFileJob(job());
|
||||
|
||||
ArgumentCaptor<FileResultEntity> resultCaptor = ArgumentCaptor.forClass(FileResultEntity.class);
|
||||
// 失败态是补偿写:先乐观写成功,条件更新不匹配后再写回失败语义
|
||||
verify(fileResultMapper, org.mockito.Mockito.times(2)).updateById(resultCaptor.capture());
|
||||
FileResultEntity result = resultCaptor.getAllValues().get(1);
|
||||
assertEquals("oss://shufuai/collect-data/6868.xlsx", result.getResultFileUrl(),
|
||||
"失败任务也要有可下载的结果文件");
|
||||
assertEquals(0, result.getSuccess(), "任务失败则结果记录保持失败语义,前端显示「失败」而非「已完成」");
|
||||
assertEquals(reason, result.getErrorMessage(), "真实失败原因不能被组装流程清掉");
|
||||
}
|
||||
|
||||
private FileTaskEntity runningTask() {
|
||||
FileTaskEntity task = new FileTaskEntity();
|
||||
task.setId(TASK_ID);
|
||||
|
||||
Reference in New Issue
Block a user