fix(tasks): 批量入库与 folder 去重逐条容错,发布文案不说谎

B49/B50 收尾三处当时被标"非 ★"跳过的同类缺陷。判据同一条:一颗坏项不许让
其余项一起不干活,也不许把"根本没拿到数据"说成"数据正常"。

1) shopkey/service/QueryAsinService.java(B49 #6,flushInsert:843-844)
   复验为真:整张表共用一条读行循环,某一批 insertBatch 抛出即冒到
   runImportTask 的 catch,后面的批次一个都跑不到、内存里的余行一起丢。
   审计里"报数虚高"那条已被复验否掉(原状下坏批计数确实不外发),本笔不按
   那个理由改;但逐批容错之后坏批计数会随后续进度外发,所以必须按"没落库"
   回退:insertedCount 扣回、skippedCount 记上、坏批点名进日志与 errorMessage。
   收尾新增 failIfBatchesLost():有坏批就让导入落"失败"态并报出缺口行数——
   admin 侧只在 failed 分支显示 errorMessage(QueryAsinPage.vue:260-271),
   留在 success 上等于把没入库的行说成导入完成。重传整表是安全的:已入库行
   会被 rowSignature 认成重复跳过。
   processImportFile 由 private 收到包级作测试接缝(形状同 tryAcquireFileSlot)。
   该 importer 此前零夹具,新建 3 例(真 xlsx + 真 ExcelStreamReader)。

2) dedupe/service/DedupeRunService.java(B49 #4 的 folder 分支)
   只在 folder 模式成立:逐文件清洗结果只落本地临时目录,唯一交付物是那个
   ZIP。两颗坏项会带走整批——① 收尾的 aborted 判定排在打包之前,一个 worker
   线程级异常就让打包整步跳过;② 打包循环里一个条目读不到/条目名相撞就整包
   作废。现改为 folder 分支先打包再判 aborted,打包逐条目容错并点名跳过;
   一个都没写进去时拒绝交空包(那才是"根本没拿到数据")。aborted 仍照旧把
   终态落 FAILED,不拿部分交付冒充全量成功;缺口写在交付条目与日志上,
   不写 file_task.error_message。非 folder 分支一个字节没动。
   DedupeArchiveEntry 与打包方法收到包级作测试接缝。新建 3 例,含一支用
   同线程执行器让第 2 个 worker 当场线程级异常的真链路用例。

3) publish/service/PublishTaskService.java(B49 #7/B50 #4,607-609)
   按上一轮复验结论只改文案,不动状态语义:逐文件 status/VO 本来就交付了。
   会说谎的地方是 publishResultFile(..., preserveFailure=false) 把结果行
   error_message 洗成 null,"N 个文件没进这张表"在文案层等于全部成功。
   缺口写在 biz_file_result.error_message(本仓既有"部分交付"载体:
   ShopMatch:825/PriceTrack:905/ProductRisk:827 都按它判 partialFailure;
   publish 侧只有 toResultVo:1216 读它,纯展示,fileReady 由 success+url 推导
   不受影响)。SUCCESS 的 file_task.error_message 继续留空并就地写明理由:
   TaskRetryEligibility.forceMajeureCategory 与 SimilarAsinStaleReopenSupport
   .isStaleFailure 都按那段文字做字面量分类,写进去会喂错 stale/重开/续跑判据。
   文案两个方向都不说谎:说清"只含成功处理的 X 个、另有 N 个未纳入(点名)",
   并明写"不是表格格式问题、可只重新提交这些文件",不把可恢复失败推给表格。
   新建 2 例(含反向钉:全成功时不得凭空造缺口文案)。

实测:mvn -o test-compile rc=0;新增 8 例改前 6 红(QueryAsin 2 红=原始
RuntimeException 直接冒出、批次被提前收走;Dedupe 3 红="Wanted but not
invoked: fileResultMapper.insert"+整包作废;Publish 1 红=errorMessage 恒
null),改后 8/8 绿;相邻既有 9 支类 97 例全绿(PublishTaskServiceTest 33、
DedupeRunProgressResumeTest 14、PublishFileLevelStatusTest 8、
PublishResultFileJobHandlerTest 8、DedupeRunServiceCleanRulesTest 9、
DedupeRunServiceFileSlotTest 2、QueryAsinResolveServiceTest 13 等)。

CatchSilenceRatchetTest 按预期判红(本笔新增 2 处 catch,均在被禁改的共享台账
里,合并时由主线程统一重钉):实测 total=1028(基线 1026)、
notRethrow(incl logOnly)=579(基线 577)、logOnly=181(不变)、
rethrow=393(不变)、empty=56(不变)。
This commit is contained in:
2026-10-27 16:02:11 +08:00
parent e08b5369d7
commit 88d737a7f0
6 changed files with 811 additions and 16 deletions
@@ -96,6 +96,8 @@ public class PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>
private static final String STATUS_RUNNING = "RUNNING";
private static final String STATUS_SUCCESS = "SUCCESS";
private static final String STATUS_FAILED = "FAILED";
/** 「部分交付」文案里最多点名几个文件,余下的用总数兜住。 */
private static final int PARTIAL_NOTE_NAME_LIMIT = 3;
/**
* 保留期清理允许删除的终态集合(与 ModuleHistoryCleanupService 的 TERMINAL_STATUSES 一致)。
* PENDING/RUNNING 绝不在此列;PUBLISH 实际只会写 SUCCESS/FAILED,取消态是无害的超集。
@@ -603,9 +605,24 @@ public class PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>
publishResultFile(result, packaged.file(), packaged.filename(), packaged.contentType(), rowCount, false);
int failedCount = (int) files.stream().filter(file -> STATUS_FAILED.equals(file.getStatus())).count();
int unpackedCount = files.size() - successfulFiles.size();
if (unpackedCount > 0) {
// 只补文案、不动状态语义:文件确实交付了,success=1 与下载直链都不能改(改了就把
// 能用的结果也扣掉)。缺口写在这一行 result 的 error_message 上——本仓把它当
// 「部分交付」载体用(ShopMatch:825/PriceTrack:905/ProductRisk:827 都按它判
// partialFailure),而 publish 侧只有 toResultVo 读它(纯展示),不喂任何分类判据。
result.setErrorMessage(partialDeliveryNote(files, successfulFiles.size(), unpackedCount, failedCount));
fileResultMapper.updateById(result);
log.warn("[publish] 任务标成功但有文件未纳入结果 taskId={} files={} delivered={} unpacked={} failed={}",
task.getId(), files.size(), successfulFiles.size(), unpackedCount, failedCount);
}
task.setStatus(STATUS_SUCCESS);
task.setSuccessFileCount(successfulFiles.size());
task.setFailedFileCount(failedCount);
// SUCCESS 的 file_task 行必须留空 error_message:TaskRetryEligibility.forceMajeureCategory
// 与 SimilarAsinStaleReopenSupport.isStaleFailure 都拿这段文字做字面量分类(stale/重开/
// 克隆重跑),写进去会把"其实已跑完一半"的单子喂给错误的分类。所以缺口只落在上面
// 结果行的文案与日志里,这里继续清空的语义是有意为之,不是漏判。
task.setErrorMessage(null);
task.setUpdatedAt(LocalDateTime.now());
task.setFinishedAt(LocalDateTime.now());
@@ -624,6 +641,33 @@ public class PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>
}
}
/**
* 「部分交付」提示语(B49/B50 口径):不许把「N 个文件没处理」说成整单成功,
* 也不许反过来把可恢复的处理失败推给表格——文件级的真因本来就落在
* {@code publish_file.error_message}({@code toFileVo} 已逐文件回传)。
* 名单只取前几项,余下的用总数兜住,免得文案无限长。
*/
private String partialDeliveryNote(List<PublishFileEntity> files, int deliveredCount,
int unpackedCount, int failedCount) {
List<String> names = new ArrayList<>();
for (PublishFileEntity file : files) {
if (STATUS_SUCCESS.equals(file.getStatus())) {
continue;
}
names.add(firstNonBlank(file.getSourceFilename(), "未命名文件"));
if (names.size() >= PARTIAL_NOTE_NAME_LIMIT) {
break;
}
}
String nameList = String.join("、", names)
+ (unpackedCount > names.size() ? " 等 " + unpackedCount + " 个文件" : "");
String gap = failedCount == unpackedCount
? "另有 " + unpackedCount + " 个文件处理失败,未纳入结果(" + nameList + ")"
: "另有 " + unpackedCount + " 个文件未纳入结果(其中 " + failedCount + " 个处理失败:" + nameList + ")";
return "结果已生成,但只含成功处理的 " + deliveredCount + " 个文件;" + gap
+ "。这些文件本轮确实没有结果,不是表格格式问题——各自的原因见文件列表,可只重新提交这些文件,不必重跑整单";
}
/**
* 删除任务。
*