feat(appearance-patent): 无侵权明细改按 ASIN 累计(V192 唯一键+同步链 upsert-only,永不删行)

This commit is contained in:
2026-11-11 16:29:14 +08:00
parent bfd8ceac52
commit c00f8c6e1c
9 changed files with 327 additions and 129 deletions
@@ -10,11 +10,12 @@ import java.time.LocalDate;
import java.util.List;
/**
* 外观专利无侵权数据(biz_appearance_patent_clean_item,V189)数据访问口。
* 外观专利无侵权数据(biz_appearance_patent_clean_item,V189;V192 起 ASIN 累计唯一键)数据访问口。
*
* <p>出表成功点由 {@code AppearancePatentCleanSyncService}(Phase 2)按 result_id
* 覆盖式落表({@link #deleteByResultId} + {@link #insertBatch});后管只读页
* (Phase 3)走 {@link #countCleanItems}/{@link #selectCleanItemPage}。SQL 全部落
* <p>出表成功点由 {@code AppearancePatentCleanSyncService} 按唯一键 upsert 累计落表
* ({@link #upsertBatch},2026-11-11 客户拍板「同 ASIN 只保留一条」;旧的按 result_id
* delete-then-insert 覆盖式重写已退役——重投递载荷读不准时它会抹掉存量,实抹 1902 行);
* 后管只读页(Phase 3)走 {@link #countCleanItems}/{@link #selectCleanItemPage}。SQL 全部落
* {@code mapper/appearancepatent/AppearancePatentCleanItemMapper.xml}(铁律 1)。</p>
*
* <p>{@code userIds}(2026-11-11 分组筛选,主管=组长):服务侧由 {@code ShopManageGroupMapper
@@ -24,16 +25,16 @@ import java.util.List;
@Mapper
public interface AppearancePatentCleanItemMapper extends BaseMapper<CleanItemEntity> {
/** 删除某次结果文件已同步的全部明细行(覆盖式重写第一步,AC-2)。 */
int deleteByResultId(@Param("resultId") Long resultId);
/**
* 多值批量插入明细行(调用方按 ≤500 行/批分批,蓝图 §3.3)。
* 多值批量 upsert 明细行(调用方按 ≤500 行/批分批),冲突键=
* {@code uk_company_user_country_asin}:同 ASIN 重复检测更新那条(刷新
* synced_at),不同 ASIN 全保留,跨任务累计,<b>永不删除</b>。
*
* <p>刻意不写 synced_at:该列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null 会覆盖掉
* 默认值(同 ShopDataCrawlItemMapper#insertBatch 的口径)。</p>
* <p>INSERT 路径不写 synced_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null
* 会覆盖掉默认值);UPDATE 路径在 XML 里显式刷 CURRENT_TIMESTAMP(两段口径分开,
* 见 XML 注释)。</p>
*/
int insertBatch(@Param("rows") List<CleanItemEntity> rows);
int upsertBatch(@Param("rows") List<CleanItemEntity> rows);
/** 只读页总数(与 {@link #selectCleanItemPage} 同一过滤面)。 */
long countCleanItems(@Param("companyId") Long companyId,
@@ -308,8 +308,8 @@ public class AppearancePatentCleanItemQueryService {
*
* <p>{@code supervisorUserId} 必须是显式传入的主管 id:SQL 里那条 {@code <if>} 缺值时不生效,
* 等于删掉整个过滤面(最坏是全表),所以这里先挡空值/非法值并抛业务错误——宁可拒绝,不接
* 「不按主管收窄的删除」。本方法只删快照明细行,不碰结果文件与任务记录(与同步链的
* {@code deleteByResultId} 覆盖式重写互不影响:下一次同步会按 result_id 重新写入)。</p>
* 「不按主管收窄的删除」。本方法只删快照明细行,不碰结果文件与任务记录(同步链是
* upsert 累计、永不删除——下一次出表只会按唯一键重写/新增,不会找回这里删掉的行)。</p>
*
* @return 实际删除行数(前端拿它做「已删除 N 条」的反馈,不猜)
*/
@@ -26,8 +26,9 @@ import java.util.List;
import java.util.Map;
/**
* 出表成功点把「结论=无侵权」行按 result_id 覆盖式落后管新表(v1.3 R1,
* {@code biz_appearance_patent_clean_item},V189)。
* 出表成功点把「结论=无侵权」行按 ASIN 累计落后管表(v1.3 R1,
* {@code biz_appearance_patent_clean_item},V189;V192 起唯一键
* {@code uk_company_user_country_asin})。
*
* <p><b>触发点(蓝图 §3.3)=出表成功(结果文件已上传 OSS、result_file_url 回填)</b>,
* 三条出表路径全部覆盖:①异步出表作业成功(handler.process true 返回,经宿主
@@ -35,19 +36,26 @@ import java.util.Map;
* (handler.fallbackAssembleOnFailure 产出可下载部分结果,同上);③同步装配分支
* ({@code AppearancePatentResultJobSupport#finalizeTask} 内联成功,直调本服务)。
* 调用时机必须在 worker 的 {@code cleanupAfterSuccess} <b>之前</b>——分片载荷
* ({@code biz_task_chunk.payload_json})是本服务唯一行数据源,清理一过就再也读不回。
* ({@code biz_task_chunk.payload_json})是本服务唯一行数据源,清理一过就再也读不回。</p>
*
* <p><b>过滤口径</b>:conclusion 与 {@code AppearancePatentLlmClient.NO_INFRINGEMENT}
* 常量精确相等(字符串全等,不模糊、不 trim 变体;严格口径=用户拍板 ①)。
* 空串 ASIN 的行不落表(ASIN 累计唯一键会把它折叠成一条;镜像结果文件原因 sheet
* 「空 ASIN 跳过」的既有先例),计入日志。
* 常量单一来源在 LlmClient,本类反射读取,不另抄字面量(黄金测试
* {@code AppearancePatentChunkRowContractTest} 钉字段名与取值)。
* {@code AppearancePatentChunkRowContractTest} 钉字段名与取值)。</p>
*
* <p><b>失败语义(AC-3/R5)</b>:入口吞掉一切异常只留日志,绝不反写任务/结果/作业——
* 出表链不因同步失败改变任何终态。
* 出表链不因同步失败改变任何终态。</p>
*
* <p><b>幂等(AC-2)</b>:按 result_id delete-then-insert 覆盖式重写(同
* {@code ShopDataCrawlItemStoreService} 模式),批量插入分批 ≤500/批;
* 事务收口在删除+插入两步,中途失败不留半批。
* <p><b>累计语义(2026-11-11 客户拍板「ASIN 累计、同 ASIN 只保留一条」,V192 同窗)</b>:
* 按 {@code uk_company_user_country_asin} upsert、<b>永不删除</b>——同 ASIN 重复检测
* 更新那条(值与 synced_at 刷新),不同 ASIN(含同品牌)全保留,跨任务累计。
* 旧的按 result_id delete-then-insert 覆盖式重写已退役:已交付任务被事件重投时
* 载荷重读可能与出表口径不一致(现网实录:交付 XLSX 里有上千行无侵权、同步读载荷
* 却 cleanRows=0),覆盖语义在 cleanRows=0 时把该 result 上次的贡献整段抹掉
* (2026-11-11 04:00 实抹 1902 行)——upsert-only 下读出 0 行=什么都不写,存量
* 天然保留。批量 upsert 分批 ≤500/批,事务收口(中途失败不留半批)。</p>
*/
@Slf4j
@Service
@@ -126,10 +134,13 @@ public class AppearancePatentCleanSyncService {
task.getId(), result.getId());
return;
}
List<CleanItemEntity> rows = extractCleanRows(task, result, companyId, payloadRows);
int deleted = replaceRows(result.getId(), rows);
log.info("[appearance-patent] clean-item synced taskId={} resultId={} payloadRows={} cleanRows={} deleted={} companyId={}",
task.getId(), result.getId(), payloadRows.size(), rows.size(), deleted, companyId);
CleanExtraction extraction = extractCleanRows(task, result, companyId, payloadRows);
List<CleanItemEntity> rows = extraction.rows();
int upserted = upsertRows(rows);
log.info("[appearance-patent] clean-item synced taskId={} resultId={} payloadRows={} cleanRows={} "
+ "blankAsinSkipped={} upserted={} companyId={}",
task.getId(), result.getId(), payloadRows.size(), rows.size(),
extraction.blankAsinSkipped(), upserted, companyId);
}
/**
@@ -187,21 +198,31 @@ public class AppearancePatentCleanSyncService {
}
/**
* 严格口径过滤:conclusion 与常量精确相等(字符串全等,不模糊、不 trim 变体)。
* {@code row_no} 按 payload 全行序号计(含未入选行):重同步时序号稳定,
* 严格口径过滤:conclusion 与常量精确相等(字符串全等,不模糊、不 trim 变体);
* 空串 ASIN 的无侵权行不落表(累计唯一键会折叠成一条;镜像原因 sheet 的空 ASIN
* 跳过先例),计数进日志。{@code row_no} 按 payload 全行序号计(含未入选行):
* 序号缺口即可审计出被过滤的行。
*/
private List<CleanItemEntity> extractCleanRows(FileTaskEntity task, FileResultEntity result,
Long companyId, Map<String, AppearancePatentResultRowDto> payloadRows) {
private CleanExtraction extractCleanRows(FileTaskEntity task, FileResultEntity result,
Long companyId, Map<String, AppearancePatentResultRowDto> payloadRows) {
List<CleanItemEntity> rows = new ArrayList<>();
int blankAsin = 0;
int rowNo = 0;
for (AppearancePatentResultRowDto row : payloadRows.values()) {
if (CLEAN_CONCLUSION.equals(row.getConclusion())) {
rows.add(toEntity(task, result, companyId, rowNo, row));
if (row.getAsin() == null || row.getAsin().isBlank()) {
blankAsin++;
} else {
rows.add(toEntity(task, result, companyId, rowNo, row));
}
}
rowNo++;
}
return rows;
return new CleanExtraction(rows, blankAsin);
}
/** 过滤结果:入选行+空 ASIN 跳过数(日志口径,读不出原因的行不静默消失)。 */
private record CleanExtraction(List<CleanItemEntity> rows, int blankAsinSkipped) {
}
private CleanItemEntity toEntity(FileTaskEntity task, FileResultEntity result, Long companyId,
@@ -231,16 +252,20 @@ public class AppearancePatentCleanSyncService {
return entity;
}
/** 按 result_id 覆盖式重写:删除+分批插入收在同一事务(AC-2,中途失败不留半批)。 */
private int replaceRows(Long resultId, List<CleanItemEntity> rows) {
Integer deleted = transactionTemplate.execute(status -> {
int removed = cleanItemMapper.deleteByResultId(resultId);
/**
* 按唯一键 upsert、永不删除(V192 累计语义):分批 ≤500/批收在同一事务,
* 中途失败不留半批。读出 0 行时一个字节都不写——重投递载荷读不准(cleanRows=0)
* 绝不反噬存量(2026-11-11 事故的根治点)。
*/
private int upsertRows(List<CleanItemEntity> rows) {
Integer upserted = transactionTemplate.execute(status -> {
int touched = 0;
for (int from = 0; from < rows.size(); from += PAGE_OR_BATCH_SIZE) {
cleanItemMapper.insertBatch(rows.subList(from, Math.min(from + PAGE_OR_BATCH_SIZE, rows.size())));
touched += cleanItemMapper.upsertBatch(rows.subList(from, Math.min(from + PAGE_OR_BATCH_SIZE, rows.size())));
}
return removed;
return touched;
});
return deleted == null ? 0 : deleted;
return upserted == null ? 0 : upserted;
}
private static String loadNoInfringementConclusion() {