feat(appearance-patent): 无侵权明细改按 ASIN 累计(V192 唯一键+同步链 upsert-only,永不删行)
This commit is contained in:
@@ -0,0 +1,75 @@
|
||||
-- 迁移 V192:无侵权数据按 ASIN 累计的唯一键(2026-11-11 客户拍板「同 ASIN 只保留一条」)
|
||||
-- ================================================================================
|
||||
-- 0. 编号说明:本件初稿编 V191,与另一路会话已提交的 V191(菜单更名,9acb2211)撞号,
|
||||
-- 落盘前改 V192——Flyway 同号两文件会让两台 java 同时起不来(MigrationInventoryTest 同轮判红)。
|
||||
-- 1. 变更目的:客户口径「ASIN 累计的」「不同 ASIN 同品牌都要留着」——同一公司/管理员
|
||||
-- +国家+ASIN 只保留一条,重复检测更新那条(最近一次检测的值与 synced_at)。
|
||||
-- 同步链(AppearancePatentCleanSyncService)随之从「按 result_id delete-then-insert
|
||||
-- 覆盖式重写」改为「按唯一键 upsert、永不删除」。本迁移负责数据底座:
|
||||
-- 备份 → 存量去重 → 唯一键替换。
|
||||
--
|
||||
-- 2. 现网事故背景(当天归因,写死防复发):已交付任务被事件重投时,同步链从分片
|
||||
-- 载荷重读行(唯一数据源),重投载荷与出表口径可能不一致(2026-11-11 实测:交付
|
||||
-- 的结果 XLSX 里有上千行「无侵权」,同步读载荷却 cleanRows=0)——旧覆盖语义在
|
||||
-- cleanRows=0 时按 result_id 删光自己上次的贡献(04:00 一笔 deleted=1902 抹掉
|
||||
-- 先锋-团队全部存量)。upsert-only 语义下重投读出 0 行=什么都不写,存量天然保留。
|
||||
--
|
||||
-- 3. 形状口径:
|
||||
-- - 唯一键 uk_company_user_country_asin (company_id, user_id, country, asin):
|
||||
-- 四列在 V189 全部 NOT NULL,无 NULL 边界(空串 ASIN 行按组折叠成一条,
|
||||
-- 同步链已不再落空 ASIN 的新行)。
|
||||
-- - 撤销 uk_result_row (result_id, row_no):它是旧覆盖语义的幂等键;upsert 语义下
|
||||
-- 同一 (result_id, row_no) 可能被多行复用(不同 ASIN 的行后来被别的任务更新),
|
||||
-- 继续保留反而会在跨任务更新时撞假唯一。本表只由同步链写入,撤销无旁路依赖
|
||||
-- (清理安全排查:全仓引用仅同步链与只读页,读侧不按该键查询)。
|
||||
-- - 去重保留规则=(synced_at, id) 最大(最近一次检测;同刻按 id 稳定序)。
|
||||
-- 用 DATE_FORMAT+LPAD 拼定长 rank 串比较,避开 1093(同表删除取同表子查询)
|
||||
-- ——派生表物化后 JOIN 删除,MySQL 5.7/8 通用。
|
||||
--
|
||||
-- 4. 备份与回滚:第 1 步先落全量备份表 bak_v191(当天上午刚发生数据抹除疑云,
|
||||
-- 动任何行之前先留底)。回滚=
|
||||
-- DROP INDEX 用 SHOW INDEX 先确认再手工执行(MySQL 无 DROP INDEX IF EXISTS);
|
||||
-- 数据回滚=TRUNCATE biz_appearance_patent_clean_item 后
|
||||
-- INSERT ... SELECT FROM biz_appearance_patent_clean_item_bak_v191
|
||||
-- (仅限本迁移后尚未新增行时;bak_v191 确认不再需要后手工 DROP)。
|
||||
--
|
||||
-- 5. 可重跑性:备份表 IF NOT EXISTS 可重跑;去重 DELETE 与 ALTER 重跑会报
|
||||
-- (唯一键已存在/0 行可删)——Flyway 正常只执行一次,人工重跑前先
|
||||
-- SHOW INDEX 核对现状,不要盲跑。
|
||||
--
|
||||
-- 6. 验证 SQL(迁移后跑,不许只看启动日志 Successfully applied):
|
||||
-- SHOW CREATE TABLE biz_appearance_patent_clean_item;
|
||||
-- -> 期望含 uk_company_user_country_asin(company_id,user_id,country,asin),
|
||||
-- 不再含 uk_result_row;idx_company/idx_task/idx_asin 保留。
|
||||
-- SELECT COUNT(*) FROM biz_appearance_patent_clean_item_bak_v191; -- 去重前行数
|
||||
-- SELECT COUNT(*) FROM biz_appearance_patent_clean_item; -- 去重后行数
|
||||
-- 应用侧:MigrationInventoryTest 自动覆盖本迁移;同步语义由
|
||||
-- AppearancePatentCleanSyncTest 钉住「永不删除、upsert 累计」。
|
||||
-- =============================================================
|
||||
|
||||
-- 第 1 步:全量备份(去重动数据之前的底)
|
||||
CREATE TABLE IF NOT EXISTS biz_appearance_patent_clean_item_bak_v191 AS
|
||||
SELECT * FROM biz_appearance_patent_clean_item;
|
||||
|
||||
-- 第 2 步:按 (company_id, user_id, country, asin) 去重,保留 (synced_at, id) 最大的一行
|
||||
DELETE i
|
||||
FROM biz_appearance_patent_clean_item i
|
||||
JOIN (
|
||||
SELECT t.id
|
||||
FROM biz_appearance_patent_clean_item t
|
||||
JOIN (
|
||||
SELECT company_id, user_id, country, asin,
|
||||
MAX(CONCAT(DATE_FORMAT(synced_at, '%Y%m%d%H%i%s'), LPAD(id, 15, '0'))) AS keep_rank
|
||||
FROM biz_appearance_patent_clean_item
|
||||
GROUP BY company_id, user_id, country, asin
|
||||
) k ON t.company_id = k.company_id
|
||||
AND t.user_id = k.user_id
|
||||
AND t.country = k.country
|
||||
AND t.asin = k.asin
|
||||
AND CONCAT(DATE_FORMAT(t.synced_at, '%Y%m%d%H%i%s'), LPAD(t.id, 15, '0')) < k.keep_rank
|
||||
) d ON i.id = d.id;
|
||||
|
||||
-- 第 3 步:唯一键替换(uk_result_row 退役,ASIN 累计键上岗)
|
||||
ALTER TABLE biz_appearance_patent_clean_item
|
||||
DROP INDEX uk_result_row,
|
||||
ADD UNIQUE KEY uk_company_user_country_asin (company_id, user_id, country, asin);
|
||||
+28
-7
@@ -44,13 +44,17 @@
|
||||
</sql>
|
||||
|
||||
|
||||
<delete id="deleteByResultId">
|
||||
DELETE FROM biz_appearance_patent_clean_item
|
||||
WHERE result_id = #{resultId}
|
||||
</delete>
|
||||
|
||||
<!-- 刻意不写 synced_at:该列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null 会覆盖掉默认值。 -->
|
||||
<insert id="insertBatch">
|
||||
<!-- 同步链唯一写入口(2026-11-11「ASIN 累计」改造):按唯一键
|
||||
uk_company_user_country_asin(company_id,user_id,country,asin) upsert——同 ASIN
|
||||
重复检测更新那条(最近一次检测的值与 synced_at),不同 ASIN 全保留,跨任务累计。
|
||||
刻意不写 company_id/country/asin 的 UPDATE 段(唯一键四元组自身不随更新漂移);
|
||||
user_id 更新=复查人接管该行(主管归属跟着最近一次检测走)。
|
||||
synced_at 在 UPDATE 段显式刷 CURRENT_TIMESTAMP(INSERT 路径走列默认值,
|
||||
显式传 null 会覆盖掉默认值,故两段口径分开)。
|
||||
⚠ 旧「按 result_id delete-then-insert 覆盖式重写」已退役(deleteByResultId/
|
||||
insertBatch 撤销):重投递载荷读不准时(cleanRows=0)按 result 覆盖会抹掉
|
||||
存量(2026-11-11 实抹 1902 行),upsert-only 下读出 0 行=什么都不写。 -->
|
||||
<insert id="upsertBatch">
|
||||
INSERT INTO biz_appearance_patent_clean_item
|
||||
(result_id, task_id, user_id, company_id, row_no,
|
||||
asin, country, sku, brand, price, title, image_url, item_url, conclusion,
|
||||
@@ -62,6 +66,23 @@
|
||||
#{row.imageUrl}, #{row.itemUrl}, #{row.conclusion},
|
||||
#{row.titleReason}, #{row.appearanceReason}, #{row.patentReason}, #{row.sourceFilename})
|
||||
</foreach>
|
||||
ON DUPLICATE KEY UPDATE
|
||||
result_id = VALUES(result_id),
|
||||
task_id = VALUES(task_id),
|
||||
user_id = VALUES(user_id),
|
||||
row_no = VALUES(row_no),
|
||||
sku = VALUES(sku),
|
||||
brand = VALUES(brand),
|
||||
price = VALUES(price),
|
||||
title = VALUES(title),
|
||||
image_url = VALUES(image_url),
|
||||
item_url = VALUES(item_url),
|
||||
conclusion = VALUES(conclusion),
|
||||
title_reason = VALUES(title_reason),
|
||||
appearance_reason = VALUES(appearance_reason),
|
||||
patent_reason = VALUES(patent_reason),
|
||||
source_filename = VALUES(source_filename),
|
||||
synced_at = CURRENT_TIMESTAMP
|
||||
</insert>
|
||||
|
||||
<select id="countCleanItems" resultType="long">
|
||||
|
||||
Reference in New Issue
Block a user