fix(tasks): 批量入库与 folder 去重逐条容错,发布文案不说谎
B49/B50 收尾三处当时被标"非 ★"跳过的同类缺陷。判据同一条:一颗坏项不许让 其余项一起不干活,也不许把"根本没拿到数据"说成"数据正常"。 1) shopkey/service/QueryAsinService.java(B49 #6,flushInsert:843-844) 复验为真:整张表共用一条读行循环,某一批 insertBatch 抛出即冒到 runImportTask 的 catch,后面的批次一个都跑不到、内存里的余行一起丢。 审计里"报数虚高"那条已被复验否掉(原状下坏批计数确实不外发),本笔不按 那个理由改;但逐批容错之后坏批计数会随后续进度外发,所以必须按"没落库" 回退:insertedCount 扣回、skippedCount 记上、坏批点名进日志与 errorMessage。 收尾新增 failIfBatchesLost():有坏批就让导入落"失败"态并报出缺口行数—— admin 侧只在 failed 分支显示 errorMessage(QueryAsinPage.vue:260-271), 留在 success 上等于把没入库的行说成导入完成。重传整表是安全的:已入库行 会被 rowSignature 认成重复跳过。 processImportFile 由 private 收到包级作测试接缝(形状同 tryAcquireFileSlot)。 该 importer 此前零夹具,新建 3 例(真 xlsx + 真 ExcelStreamReader)。 2) dedupe/service/DedupeRunService.java(B49 #4 的 folder 分支) 只在 folder 模式成立:逐文件清洗结果只落本地临时目录,唯一交付物是那个 ZIP。两颗坏项会带走整批——① 收尾的 aborted 判定排在打包之前,一个 worker 线程级异常就让打包整步跳过;② 打包循环里一个条目读不到/条目名相撞就整包 作废。现改为 folder 分支先打包再判 aborted,打包逐条目容错并点名跳过; 一个都没写进去时拒绝交空包(那才是"根本没拿到数据")。aborted 仍照旧把 终态落 FAILED,不拿部分交付冒充全量成功;缺口写在交付条目与日志上, 不写 file_task.error_message。非 folder 分支一个字节没动。 DedupeArchiveEntry 与打包方法收到包级作测试接缝。新建 3 例,含一支用 同线程执行器让第 2 个 worker 当场线程级异常的真链路用例。 3) publish/service/PublishTaskService.java(B49 #7/B50 #4,607-609) 按上一轮复验结论只改文案,不动状态语义:逐文件 status/VO 本来就交付了。 会说谎的地方是 publishResultFile(..., preserveFailure=false) 把结果行 error_message 洗成 null,"N 个文件没进这张表"在文案层等于全部成功。 缺口写在 biz_file_result.error_message(本仓既有"部分交付"载体: ShopMatch:825/PriceTrack:905/ProductRisk:827 都按它判 partialFailure; publish 侧只有 toResultVo:1216 读它,纯展示,fileReady 由 success+url 推导 不受影响)。SUCCESS 的 file_task.error_message 继续留空并就地写明理由: TaskRetryEligibility.forceMajeureCategory 与 SimilarAsinStaleReopenSupport .isStaleFailure 都按那段文字做字面量分类,写进去会喂错 stale/重开/续跑判据。 文案两个方向都不说谎:说清"只含成功处理的 X 个、另有 N 个未纳入(点名)", 并明写"不是表格格式问题、可只重新提交这些文件",不把可恢复失败推给表格。 新建 2 例(含反向钉:全成功时不得凭空造缺口文案)。 实测:mvn -o test-compile rc=0;新增 8 例改前 6 红(QueryAsin 2 红=原始 RuntimeException 直接冒出、批次被提前收走;Dedupe 3 红="Wanted but not invoked: fileResultMapper.insert"+整包作废;Publish 1 红=errorMessage 恒 null),改后 8/8 绿;相邻既有 9 支类 97 例全绿(PublishTaskServiceTest 33、 DedupeRunProgressResumeTest 14、PublishFileLevelStatusTest 8、 PublishResultFileJobHandlerTest 8、DedupeRunServiceCleanRulesTest 9、 DedupeRunServiceFileSlotTest 2、QueryAsinResolveServiceTest 13 等)。 CatchSilenceRatchetTest 按预期判红(本笔新增 2 处 catch,均在被禁改的共享台账 里,合并时由主线程统一重钉):实测 total=1028(基线 1026)、 notRethrow(incl logOnly)=579(基线 577)、logOnly=181(不变)、 rethrow=393(不变)、empty=56(不变)。
This commit is contained in:
+44
@@ -96,6 +96,8 @@ public class PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>
|
||||
private static final String STATUS_RUNNING = "RUNNING";
|
||||
private static final String STATUS_SUCCESS = "SUCCESS";
|
||||
private static final String STATUS_FAILED = "FAILED";
|
||||
/** 「部分交付」文案里最多点名几个文件,余下的用总数兜住。 */
|
||||
private static final int PARTIAL_NOTE_NAME_LIMIT = 3;
|
||||
/**
|
||||
* 保留期清理允许删除的终态集合(与 ModuleHistoryCleanupService 的 TERMINAL_STATUSES 一致)。
|
||||
* PENDING/RUNNING 绝不在此列;PUBLISH 实际只会写 SUCCESS/FAILED,取消态是无害的超集。
|
||||
@@ -603,9 +605,24 @@ public class PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>
|
||||
publishResultFile(result, packaged.file(), packaged.filename(), packaged.contentType(), rowCount, false);
|
||||
|
||||
int failedCount = (int) files.stream().filter(file -> STATUS_FAILED.equals(file.getStatus())).count();
|
||||
int unpackedCount = files.size() - successfulFiles.size();
|
||||
if (unpackedCount > 0) {
|
||||
// 只补文案、不动状态语义:文件确实交付了,success=1 与下载直链都不能改(改了就把
|
||||
// 能用的结果也扣掉)。缺口写在这一行 result 的 error_message 上——本仓把它当
|
||||
// 「部分交付」载体用(ShopMatch:825/PriceTrack:905/ProductRisk:827 都按它判
|
||||
// partialFailure),而 publish 侧只有 toResultVo 读它(纯展示),不喂任何分类判据。
|
||||
result.setErrorMessage(partialDeliveryNote(files, successfulFiles.size(), unpackedCount, failedCount));
|
||||
fileResultMapper.updateById(result);
|
||||
log.warn("[publish] 任务标成功但有文件未纳入结果 taskId={} files={} delivered={} unpacked={} failed={}",
|
||||
task.getId(), files.size(), successfulFiles.size(), unpackedCount, failedCount);
|
||||
}
|
||||
task.setStatus(STATUS_SUCCESS);
|
||||
task.setSuccessFileCount(successfulFiles.size());
|
||||
task.setFailedFileCount(failedCount);
|
||||
// SUCCESS 的 file_task 行必须留空 error_message:TaskRetryEligibility.forceMajeureCategory
|
||||
// 与 SimilarAsinStaleReopenSupport.isStaleFailure 都拿这段文字做字面量分类(stale/重开/
|
||||
// 克隆重跑),写进去会把"其实已跑完一半"的单子喂给错误的分类。所以缺口只落在上面
|
||||
// 结果行的文案与日志里,这里继续清空的语义是有意为之,不是漏判。
|
||||
task.setErrorMessage(null);
|
||||
task.setUpdatedAt(LocalDateTime.now());
|
||||
task.setFinishedAt(LocalDateTime.now());
|
||||
@@ -624,6 +641,33 @@ public class PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* 「部分交付」提示语(B49/B50 口径):不许把「N 个文件没处理」说成整单成功,
|
||||
* 也不许反过来把可恢复的处理失败推给表格——文件级的真因本来就落在
|
||||
* {@code publish_file.error_message}({@code toFileVo} 已逐文件回传)。
|
||||
* 名单只取前几项,余下的用总数兜住,免得文案无限长。
|
||||
*/
|
||||
private String partialDeliveryNote(List<PublishFileEntity> files, int deliveredCount,
|
||||
int unpackedCount, int failedCount) {
|
||||
List<String> names = new ArrayList<>();
|
||||
for (PublishFileEntity file : files) {
|
||||
if (STATUS_SUCCESS.equals(file.getStatus())) {
|
||||
continue;
|
||||
}
|
||||
names.add(firstNonBlank(file.getSourceFilename(), "未命名文件"));
|
||||
if (names.size() >= PARTIAL_NOTE_NAME_LIMIT) {
|
||||
break;
|
||||
}
|
||||
}
|
||||
String nameList = String.join("、", names)
|
||||
+ (unpackedCount > names.size() ? " 等 " + unpackedCount + " 个文件" : "");
|
||||
String gap = failedCount == unpackedCount
|
||||
? "另有 " + unpackedCount + " 个文件处理失败,未纳入结果(" + nameList + ")"
|
||||
: "另有 " + unpackedCount + " 个文件未纳入结果(其中 " + failedCount + " 个处理失败:" + nameList + ")";
|
||||
return "结果已生成,但只含成功处理的 " + deliveredCount + " 个文件;" + gap
|
||||
+ "。这些文件本轮确实没有结果,不是表格格式问题——各自的原因见文件列表,可只重新提交这些文件,不必重跑整单";
|
||||
}
|
||||
|
||||
/**
|
||||
* 删除任务。
|
||||
*
|
||||
|
||||
Reference in New Issue
Block a user