diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/mapper/AppearancePatentCleanItemMapper.java b/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/mapper/AppearancePatentCleanItemMapper.java index 753138fce..0ab8ec364 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/mapper/AppearancePatentCleanItemMapper.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/mapper/AppearancePatentCleanItemMapper.java @@ -10,11 +10,12 @@ import java.time.LocalDate; import java.util.List; /** - * 外观专利无侵权数据(biz_appearance_patent_clean_item,V189)数据访问口。 + * 外观专利无侵权数据(biz_appearance_patent_clean_item,V189;V192 起 ASIN 累计唯一键)数据访问口。 * - *

出表成功点由 {@code AppearancePatentCleanSyncService}(Phase 2)按 result_id - * 覆盖式落表({@link #deleteByResultId} + {@link #insertBatch});后管只读页 - * (Phase 3)走 {@link #countCleanItems}/{@link #selectCleanItemPage}。SQL 全部落 + *

出表成功点由 {@code AppearancePatentCleanSyncService} 按唯一键 upsert 累计落表 + * ({@link #upsertBatch},2026-11-11 客户拍板「同 ASIN 只保留一条」;旧的按 result_id + * delete-then-insert 覆盖式重写已退役——重投递载荷读不准时它会抹掉存量,实抹 1902 行); + * 后管只读页(Phase 3)走 {@link #countCleanItems}/{@link #selectCleanItemPage}。SQL 全部落 * {@code mapper/appearancepatent/AppearancePatentCleanItemMapper.xml}(铁律 1)。

* *

{@code userIds}(2026-11-11 分组筛选,主管=组长):服务侧由 {@code ShopManageGroupMapper @@ -24,16 +25,16 @@ import java.util.List; @Mapper public interface AppearancePatentCleanItemMapper extends BaseMapper { - /** 删除某次结果文件已同步的全部明细行(覆盖式重写第一步,AC-2)。 */ - int deleteByResultId(@Param("resultId") Long resultId); - /** - * 多值批量插入明细行(调用方按 ≤500 行/批分批,蓝图 §3.3)。 + * 多值批量 upsert 明细行(调用方按 ≤500 行/批分批),冲突键= + * {@code uk_company_user_country_asin}:同 ASIN 重复检测更新那条(刷新 + * synced_at),不同 ASIN 全保留,跨任务累计,永不删除。 * - *

刻意不写 synced_at:该列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null 会覆盖掉 - * 默认值(同 ShopDataCrawlItemMapper#insertBatch 的口径)。

+ *

INSERT 路径不写 synced_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null + * 会覆盖掉默认值);UPDATE 路径在 XML 里显式刷 CURRENT_TIMESTAMP(两段口径分开, + * 见 XML 注释)。

*/ - int insertBatch(@Param("rows") List rows); + int upsertBatch(@Param("rows") List rows); /** 只读页总数(与 {@link #selectCleanItemPage} 同一过滤面)。 */ long countCleanItems(@Param("companyId") Long companyId, diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/service/AppearancePatentCleanItemQueryService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/service/AppearancePatentCleanItemQueryService.java index e822b0182..8315a8deb 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/service/AppearancePatentCleanItemQueryService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/service/AppearancePatentCleanItemQueryService.java @@ -308,8 +308,8 @@ public class AppearancePatentCleanItemQueryService { * *

{@code supervisorUserId} 必须是显式传入的主管 id:SQL 里那条 {@code } 缺值时不生效, * 等于删掉整个过滤面(最坏是全表),所以这里先挡空值/非法值并抛业务错误——宁可拒绝,不接 - * 「不按主管收窄的删除」。本方法只删快照明细行,不碰结果文件与任务记录(与同步链的 - * {@code deleteByResultId} 覆盖式重写互不影响:下一次同步会按 result_id 重新写入)。

+ * 「不按主管收窄的删除」。本方法只删快照明细行,不碰结果文件与任务记录(同步链是 + * upsert 累计、永不删除——下一次出表只会按唯一键重写/新增,不会找回这里删掉的行)。

* * @return 实际删除行数(前端拿它做「已删除 N 条」的反馈,不猜) */ diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/service/AppearancePatentCleanSyncService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/service/AppearancePatentCleanSyncService.java index f1ace8cda..ac335c031 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/service/AppearancePatentCleanSyncService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/appearancepatent/service/AppearancePatentCleanSyncService.java @@ -26,8 +26,9 @@ import java.util.List; import java.util.Map; /** - * 出表成功点把「结论=无侵权」行按 result_id 覆盖式落后管新表(v1.3 R1, - * {@code biz_appearance_patent_clean_item},V189)。 + * 出表成功点把「结论=无侵权」行按 ASIN 累计落后管表(v1.3 R1, + * {@code biz_appearance_patent_clean_item},V189;V192 起唯一键 + * {@code uk_company_user_country_asin})。 * *

触发点(蓝图 §3.3)=出表成功(结果文件已上传 OSS、result_file_url 回填), * 三条出表路径全部覆盖:①异步出表作业成功(handler.process true 返回,经宿主 @@ -35,19 +36,26 @@ import java.util.Map; * (handler.fallbackAssembleOnFailure 产出可下载部分结果,同上);③同步装配分支 * ({@code AppearancePatentResultJobSupport#finalizeTask} 内联成功,直调本服务)。 * 调用时机必须在 worker 的 {@code cleanupAfterSuccess} 之前——分片载荷 - * ({@code biz_task_chunk.payload_json})是本服务唯一行数据源,清理一过就再也读不回。 + * ({@code biz_task_chunk.payload_json})是本服务唯一行数据源,清理一过就再也读不回。

* *

过滤口径:conclusion 与 {@code AppearancePatentLlmClient.NO_INFRINGEMENT} * 常量精确相等(字符串全等,不模糊、不 trim 变体;严格口径=用户拍板 ①)。 + * 空串 ASIN 的行不落表(ASIN 累计唯一键会把它折叠成一条;镜像结果文件原因 sheet + * 「空 ASIN 跳过」的既有先例),计入日志。 * 常量单一来源在 LlmClient,本类反射读取,不另抄字面量(黄金测试 - * {@code AppearancePatentChunkRowContractTest} 钉字段名与取值)。 + * {@code AppearancePatentChunkRowContractTest} 钉字段名与取值)。

* *

失败语义(AC-3/R5):入口吞掉一切异常只留日志,绝不反写任务/结果/作业—— - * 出表链不因同步失败改变任何终态。 + * 出表链不因同步失败改变任何终态。

* - *

幂等(AC-2):按 result_id delete-then-insert 覆盖式重写(同 - * {@code ShopDataCrawlItemStoreService} 模式),批量插入分批 ≤500/批; - * 事务收口在删除+插入两步,中途失败不留半批。 + *

累计语义(2026-11-11 客户拍板「ASIN 累计、同 ASIN 只保留一条」,V192 同窗): + * 按 {@code uk_company_user_country_asin} upsert、永不删除——同 ASIN 重复检测 + * 更新那条(值与 synced_at 刷新),不同 ASIN(含同品牌)全保留,跨任务累计。 + * 旧的按 result_id delete-then-insert 覆盖式重写已退役:已交付任务被事件重投时 + * 载荷重读可能与出表口径不一致(现网实录:交付 XLSX 里有上千行无侵权、同步读载荷 + * 却 cleanRows=0),覆盖语义在 cleanRows=0 时把该 result 上次的贡献整段抹掉 + * (2026-11-11 04:00 实抹 1902 行)——upsert-only 下读出 0 行=什么都不写,存量 + * 天然保留。批量 upsert 分批 ≤500/批,事务收口(中途失败不留半批)。

*/ @Slf4j @Service @@ -126,10 +134,13 @@ public class AppearancePatentCleanSyncService { task.getId(), result.getId()); return; } - List rows = extractCleanRows(task, result, companyId, payloadRows); - int deleted = replaceRows(result.getId(), rows); - log.info("[appearance-patent] clean-item synced taskId={} resultId={} payloadRows={} cleanRows={} deleted={} companyId={}", - task.getId(), result.getId(), payloadRows.size(), rows.size(), deleted, companyId); + CleanExtraction extraction = extractCleanRows(task, result, companyId, payloadRows); + List rows = extraction.rows(); + int upserted = upsertRows(rows); + log.info("[appearance-patent] clean-item synced taskId={} resultId={} payloadRows={} cleanRows={} " + + "blankAsinSkipped={} upserted={} companyId={}", + task.getId(), result.getId(), payloadRows.size(), rows.size(), + extraction.blankAsinSkipped(), upserted, companyId); } /** @@ -187,21 +198,31 @@ public class AppearancePatentCleanSyncService { } /** - * 严格口径过滤:conclusion 与常量精确相等(字符串全等,不模糊、不 trim 变体)。 - * {@code row_no} 按 payload 全行序号计(含未入选行):重同步时序号稳定, + * 严格口径过滤:conclusion 与常量精确相等(字符串全等,不模糊、不 trim 变体); + * 空串 ASIN 的无侵权行不落表(累计唯一键会折叠成一条;镜像原因 sheet 的空 ASIN + * 跳过先例),计数进日志。{@code row_no} 按 payload 全行序号计(含未入选行): * 序号缺口即可审计出被过滤的行。 */ - private List extractCleanRows(FileTaskEntity task, FileResultEntity result, - Long companyId, Map payloadRows) { + private CleanExtraction extractCleanRows(FileTaskEntity task, FileResultEntity result, + Long companyId, Map payloadRows) { List rows = new ArrayList<>(); + int blankAsin = 0; int rowNo = 0; for (AppearancePatentResultRowDto row : payloadRows.values()) { if (CLEAN_CONCLUSION.equals(row.getConclusion())) { - rows.add(toEntity(task, result, companyId, rowNo, row)); + if (row.getAsin() == null || row.getAsin().isBlank()) { + blankAsin++; + } else { + rows.add(toEntity(task, result, companyId, rowNo, row)); + } } rowNo++; } - return rows; + return new CleanExtraction(rows, blankAsin); + } + + /** 过滤结果:入选行+空 ASIN 跳过数(日志口径,读不出原因的行不静默消失)。 */ + private record CleanExtraction(List rows, int blankAsinSkipped) { } private CleanItemEntity toEntity(FileTaskEntity task, FileResultEntity result, Long companyId, @@ -231,16 +252,20 @@ public class AppearancePatentCleanSyncService { return entity; } - /** 按 result_id 覆盖式重写:删除+分批插入收在同一事务(AC-2,中途失败不留半批)。 */ - private int replaceRows(Long resultId, List rows) { - Integer deleted = transactionTemplate.execute(status -> { - int removed = cleanItemMapper.deleteByResultId(resultId); + /** + * 按唯一键 upsert、永不删除(V192 累计语义):分批 ≤500/批收在同一事务, + * 中途失败不留半批。读出 0 行时一个字节都不写——重投递载荷读不准(cleanRows=0) + * 绝不反噬存量(2026-11-11 事故的根治点)。 + */ + private int upsertRows(List rows) { + Integer upserted = transactionTemplate.execute(status -> { + int touched = 0; for (int from = 0; from < rows.size(); from += PAGE_OR_BATCH_SIZE) { - cleanItemMapper.insertBatch(rows.subList(from, Math.min(from + PAGE_OR_BATCH_SIZE, rows.size()))); + touched += cleanItemMapper.upsertBatch(rows.subList(from, Math.min(from + PAGE_OR_BATCH_SIZE, rows.size()))); } - return removed; + return touched; }); - return deleted == null ? 0 : deleted; + return upserted == null ? 0 : upserted; } private static String loadNoInfringementConclusion() { diff --git a/backend-java/src/main/resources/db/V192__appearance_patent_clean_item_asin_unique.sql b/backend-java/src/main/resources/db/V192__appearance_patent_clean_item_asin_unique.sql new file mode 100644 index 000000000..739107aa0 --- /dev/null +++ b/backend-java/src/main/resources/db/V192__appearance_patent_clean_item_asin_unique.sql @@ -0,0 +1,75 @@ +-- 迁移 V192:无侵权数据按 ASIN 累计的唯一键(2026-11-11 客户拍板「同 ASIN 只保留一条」) +-- ================================================================================ +-- 0. 编号说明:本件初稿编 V191,与另一路会话已提交的 V191(菜单更名,9acb2211)撞号, +-- 落盘前改 V192——Flyway 同号两文件会让两台 java 同时起不来(MigrationInventoryTest 同轮判红)。 +-- 1. 变更目的:客户口径「ASIN 累计的」「不同 ASIN 同品牌都要留着」——同一公司/管理员 +-- +国家+ASIN 只保留一条,重复检测更新那条(最近一次检测的值与 synced_at)。 +-- 同步链(AppearancePatentCleanSyncService)随之从「按 result_id delete-then-insert +-- 覆盖式重写」改为「按唯一键 upsert、永不删除」。本迁移负责数据底座: +-- 备份 → 存量去重 → 唯一键替换。 +-- +-- 2. 现网事故背景(当天归因,写死防复发):已交付任务被事件重投时,同步链从分片 +-- 载荷重读行(唯一数据源),重投载荷与出表口径可能不一致(2026-11-11 实测:交付 +-- 的结果 XLSX 里有上千行「无侵权」,同步读载荷却 cleanRows=0)——旧覆盖语义在 +-- cleanRows=0 时按 result_id 删光自己上次的贡献(04:00 一笔 deleted=1902 抹掉 +-- 先锋-团队全部存量)。upsert-only 语义下重投读出 0 行=什么都不写,存量天然保留。 +-- +-- 3. 形状口径: +-- - 唯一键 uk_company_user_country_asin (company_id, user_id, country, asin): +-- 四列在 V189 全部 NOT NULL,无 NULL 边界(空串 ASIN 行按组折叠成一条, +-- 同步链已不再落空 ASIN 的新行)。 +-- - 撤销 uk_result_row (result_id, row_no):它是旧覆盖语义的幂等键;upsert 语义下 +-- 同一 (result_id, row_no) 可能被多行复用(不同 ASIN 的行后来被别的任务更新), +-- 继续保留反而会在跨任务更新时撞假唯一。本表只由同步链写入,撤销无旁路依赖 +-- (清理安全排查:全仓引用仅同步链与只读页,读侧不按该键查询)。 +-- - 去重保留规则=(synced_at, id) 最大(最近一次检测;同刻按 id 稳定序)。 +-- 用 DATE_FORMAT+LPAD 拼定长 rank 串比较,避开 1093(同表删除取同表子查询) +-- ——派生表物化后 JOIN 删除,MySQL 5.7/8 通用。 +-- +-- 4. 备份与回滚:第 1 步先落全量备份表 bak_v191(当天上午刚发生数据抹除疑云, +-- 动任何行之前先留底)。回滚= +-- DROP INDEX 用 SHOW INDEX 先确认再手工执行(MySQL 无 DROP INDEX IF EXISTS); +-- 数据回滚=TRUNCATE biz_appearance_patent_clean_item 后 +-- INSERT ... SELECT FROM biz_appearance_patent_clean_item_bak_v191 +-- (仅限本迁移后尚未新增行时;bak_v191 确认不再需要后手工 DROP)。 +-- +-- 5. 可重跑性:备份表 IF NOT EXISTS 可重跑;去重 DELETE 与 ALTER 重跑会报 +-- (唯一键已存在/0 行可删)——Flyway 正常只执行一次,人工重跑前先 +-- SHOW INDEX 核对现状,不要盲跑。 +-- +-- 6. 验证 SQL(迁移后跑,不许只看启动日志 Successfully applied): +-- SHOW CREATE TABLE biz_appearance_patent_clean_item; +-- -> 期望含 uk_company_user_country_asin(company_id,user_id,country,asin), +-- 不再含 uk_result_row;idx_company/idx_task/idx_asin 保留。 +-- SELECT COUNT(*) FROM biz_appearance_patent_clean_item_bak_v191; -- 去重前行数 +-- SELECT COUNT(*) FROM biz_appearance_patent_clean_item; -- 去重后行数 +-- 应用侧:MigrationInventoryTest 自动覆盖本迁移;同步语义由 +-- AppearancePatentCleanSyncTest 钉住「永不删除、upsert 累计」。 +-- ============================================================= + +-- 第 1 步:全量备份(去重动数据之前的底) +CREATE TABLE IF NOT EXISTS biz_appearance_patent_clean_item_bak_v191 AS +SELECT * FROM biz_appearance_patent_clean_item; + +-- 第 2 步:按 (company_id, user_id, country, asin) 去重,保留 (synced_at, id) 最大的一行 +DELETE i +FROM biz_appearance_patent_clean_item i +JOIN ( + SELECT t.id + FROM biz_appearance_patent_clean_item t + JOIN ( + SELECT company_id, user_id, country, asin, + MAX(CONCAT(DATE_FORMAT(synced_at, '%Y%m%d%H%i%s'), LPAD(id, 15, '0'))) AS keep_rank + FROM biz_appearance_patent_clean_item + GROUP BY company_id, user_id, country, asin + ) k ON t.company_id = k.company_id + AND t.user_id = k.user_id + AND t.country = k.country + AND t.asin = k.asin + AND CONCAT(DATE_FORMAT(t.synced_at, '%Y%m%d%H%i%s'), LPAD(t.id, 15, '0')) < k.keep_rank +) d ON i.id = d.id; + +-- 第 3 步:唯一键替换(uk_result_row 退役,ASIN 累计键上岗) +ALTER TABLE biz_appearance_patent_clean_item + DROP INDEX uk_result_row, + ADD UNIQUE KEY uk_company_user_country_asin (company_id, user_id, country, asin); diff --git a/backend-java/src/main/resources/mapper/appearancepatent/AppearancePatentCleanItemMapper.xml b/backend-java/src/main/resources/mapper/appearancepatent/AppearancePatentCleanItemMapper.xml index 5c97d49cd..c3fa6afdd 100644 --- a/backend-java/src/main/resources/mapper/appearancepatent/AppearancePatentCleanItemMapper.xml +++ b/backend-java/src/main/resources/mapper/appearancepatent/AppearancePatentCleanItemMapper.xml @@ -44,13 +44,17 @@ - - DELETE FROM biz_appearance_patent_clean_item - WHERE result_id = #{resultId} - - - - + + INSERT INTO biz_appearance_patent_clean_item (result_id, task_id, user_id, company_id, row_no, asin, country, sku, brand, price, title, image_url, item_url, conclusion, @@ -62,6 +66,23 @@ #{row.imageUrl}, #{row.itemUrl}, #{row.conclusion}, #{row.titleReason}, #{row.appearanceReason}, #{row.patentReason}, #{row.sourceFilename}) + ON DUPLICATE KEY UPDATE + result_id = VALUES(result_id), + task_id = VALUES(task_id), + user_id = VALUES(user_id), + row_no = VALUES(row_no), + sku = VALUES(sku), + brand = VALUES(brand), + price = VALUES(price), + title = VALUES(title), + image_url = VALUES(image_url), + item_url = VALUES(item_url), + conclusion = VALUES(conclusion), + title_reason = VALUES(title_reason), + appearance_reason = VALUES(appearance_reason), + patent_reason = VALUES(patent_reason), + source_filename = VALUES(source_filename), + synced_at = CURRENT_TIMESTAMP