feat(公司隔离): V145 给两张规则库表补归属,唯一键改每公司一套

品牌库/去重库原本没有公司这一列、唯一键是全局的,所以"每公司一套"无从谈起。
V145 破例物化 company_id(含品牌库的 uploader_user_id 审计锚点),并把
uk_data_value / uk_data_value_brand 换成带 company_id 前缀的新键(先 ADD 后 DROP)。

按生产实查改写了计划里的写法:biz_dedupe_total_data 507,306 行 / MySQL 8.4.8,
非末位加列与 MODIFY 收 nullability 都要重建表,故三条加列显式钉 ALGORITHM = INSTANT、
列直接建成 NOT NULL DEFAULT 1、四条索引操作钉 INPLACE, LOCK = NONE,
回填换成由 users 驱动、带 d.company_id = 1 幂等限定的反推 UPDATE。

DEFAULT 1 是为混合版本窗口留的(批量写失败只 log.warn,缺列会静默丢数),
摘它必须用 ALTER COLUMN ... DROP DEFAULT——MODIFY 会按当时列默认值物化 instant 列,
把反推好的归属洗回 1。启动期哨兵据此从只探 users 扩成探三张表。

第二家公司已于 10-04 14:55 开通,历史行的实际上传者从此不可追溯,这笔不能再等。
回滚走 docs/rollback-V145-company-scope.sql 人工补丁,不编成 V146(Flyway 扫描路径会自己跑)。
This commit is contained in:
2026-10-04 16:14:57 +08:00
parent fa0cde0706
commit e6c4c9e7cf
7 changed files with 800 additions and 49 deletions
@@ -0,0 +1,215 @@
-- =============================================================
-- 迁移 V145__brand_dedupe_company_scope
-- 模板:docs/flyway-migration-template.md
-- 设计:crawler-plugin/docs/ops/brand-dedupe-company-isolation-design-2026-10-04.md §4 / §5
-- 实施:crawler-plugin/docs/plans/18-brand-dedupe-company-isolation.md Task 2
--
-- 1. 变更目的:把「品牌数据库」biz_invalid_asin_data 与「去重数据汇总」biz_dedupe_total_data
-- 从"全平台共享一套规则库"改成"每公司一套"。今天 A 公司的品牌会把 B 公司采集结果里同品牌的
-- 行过滤掉(§1.2:CollectDataBatchQuery 的两条裸 SQL 没有任何租户条件),而两张表的全平台
-- 唯一键让 B 公司根本写不进同名值——不是"看不到",是"写进去就互相顶掉"。
-- 这两张表破例物化 company_id(推翻一期 V143:5-8 的"业务表零 DDL",仅限这两张,2026-10-04 定案);
-- 并给 biz_invalid_asin_data 补 uploader_user_id 作归属审计锚点(历史 AUTO 行没有该信息,
-- 从本版本起才记得到"由谁产生"——这就是批次 1 必须现在做的唯一理由,§3.3)。
-- 唯一键改成 company_id 打头:旧键 uk_data_value_brand / uk_data_value 是全平台单行,
-- 不删掉它,第二家公司写同一个 ASIN 会被 INSERT IGNORE 静默丢弃,整套改造白做。
--
-- 2. 影响表与数据量(2026-10-04 15:0x 主机A 业务库只读实查,不是估的):
-- biz_invalid_asin_data = 14,284 行 / 4.3 MB(AUTO 14,224、MANUAL 60、group_id IS NULL 14,224)
-- biz_dedupe_total_data = 507,306 行 / 181.3 MB(group_id IS NULL 2 行)
-- company / columns 与其余业务表一律不动(users 只被第 2 段读,不被写)。
-- **别拿后台看到的最大 ID 当行数**——
-- aiimage.sql 快照的 AUTO_INCREMENT 有跳号。
-- 存量归属:company 表今天有两行(1=厦门米椿花、2 于 10-04 14:55 开通),但第 2 家只有 1 个
-- 管理员账号(users.id=1193)、0 个任务、0 行去重数据 ⇒ 今天全部历史行确实属于公司 1。
-- 这个"0 行"是此刻的快照,不是恒真:所以第 2 段仍要按上传账号反推一次(见该段理由)。
--
-- 3. 锁表风险:**低,且形态与 V143 不同——这里写明为什么不同。**
-- 生产是 MySQL 8.4.8。三条 ADD COLUMN 一律【不加 AFTER】并显式钉 ALGORITHM = INSTANT:
-- 非末位列加列在 InnoDB 里要重建聚簇记录,biz_dedupe_total_data 是 181 MB / 50.7 万行,
-- 重建会在业务时间把去重导入卡住;钉死 INSTANT 之后,万一某个前提不成立,MySQL 直接报
-- 1846 而不是悄悄退化成 COPY——**宁可迁移失败走 repair 重跑,也不要一次没人预期的整表重建。**
-- 同理不加"全表回填 UPDATE + MODIFY NOT NULL"两段(V143 那套):50.7 万行的单语句回填 UPDATE 会
-- 对所有扫描行持 X 锁,MODIFY 改 nullability 又要重建。本文件用 ADD ... NOT NULL DEFAULT 1
-- 一次到位,历史行的值由该行版本记录的默认值给出(见下方"派生值"注意事项)。
-- 全文只有第 2 段那一条 UPDATE:它由 users(140 行、WHERE 命中 1 行)驱动、按
-- idx_uploader_user_id_id 点查去重行,扫描面是"第 2 家公司账号上传的行"(今天 0 行),
-- 不是全表;它存在的理由是那 0 行随时会变成非 0(见第 2 段)。users 只读不写。
-- 四条索引操作钉 ALGORITHM = INPLACE, LOCK = NONE:建 uk_company_data_value 要扫 50.7 万行
-- 排序,INPLACE 允许并发 DML;DROP 旧键只吃一下元数据锁。
-- 索引字节预算(utf8mb4 + DYNAMIC,上限 3072):
-- uk_company_value_brand = 8 + 128*4 + 191*4 = 1284;uk_company_data_value = 8 + 512*4 = 2056。
-- **不用前缀索引迁就长度**(V135:6-9):data_value 的前缀唯一索引会把"前 N 字符相同"的不同值
-- 误判成重复、破坏去重语义。
-- 不碰 biz_task_file_job 等锁热点表。
--
-- 4. 验证 SQL:见文件末尾「验证」段。
--
-- 5. 回滚步骤:人工补丁 backend-java/docs/rollback-V145-company-scope.sql(在 Flyway 扫描路径之外,
-- 不写成 V146——版本化回滚等于让"决定回滚"这件事在没有人工执行的情况下自己发生)。
-- 顺序:停两台应用 → 跑脚本 → 删 flyway_schema_history 的 version=145 行 → 回滚 jar → 起应用。
--
-- 6. 上线窗口:随 jar 双节点同窗口发布,金丝雀过了立刻补第二台,把混合版本窗口压到分钟级。
-- DEFAULT 1 是【临时】的,唯一存在理由是同批的旧 jar:它的 insertBatchIgnore 列清单不含
-- company_id,严格模式下报 1364;而 CollectDataInvalidAsinBatchWriter 把批量写失败
-- catch 成 log.warn 后跳过整批(:58-60),接口仍返回成功 ⇒ 表现为"自动导入静默丢数据"(§11.2)。
--
-- 【摘除时间已被压缩,这点必须写清】原口径是"第二家公司开通前摘掉",而第二家公司
-- (company.id=2)已于 10-04 14:55 开通 ⇒ 本次发布之后 DEFAULT 的每一分钟都是风险:
-- 任何漏传 company_id 的写入会被静默塞进厦门米椿花。**所以摘 DEFAULT 的下一笔迁移必须紧随
-- 本次发布(两台同版确认后)出,不能等。** 本文件的写法已为它留好安全形状:
-- ALTER TABLE biz_invalid_asin_data ALTER COLUMN company_id DROP DEFAULT;
-- ALTER TABLE biz_dedupe_total_data ALTER COLUMN company_id DROP DEFAULT;
-- 用 ALTER COLUMN ... DROP DEFAULT(纯元数据、INSTANT)而不是 MODIFY COLUMN ... NOT NULL:
-- 后者会重建表,而重建时"历史上没有这一列的行"会按【当时】的列默认值物化——默认刚被摘掉,
-- 50.7 万行历史归属就没了依据。users.company_id 没踩到这个坑,是因为 V143 用 UPDATE 把值
-- 真写进过每一行;本文件为了避开 X 锁没有写回,因此只能走元数据那条路。
-- users 的同款 DEFAULT 已由 V144 摘掉;这三列的 DEFAULT 由启动期 CompanyDefaultGuard 的
-- COMPANY_DEFAULT_STILL_PRESENT 盯(它已在本次一并扩到这三列,公司数 > 1 时才喊)。
-- 写入路径不得依赖本 DEFAULT 兜漏传:CompanyScopeSupport 取不到公司就抛(§6.3),
-- 两个写入口在实体进 mapper 前判空(§10 护栏 2)。
--
-- 【可重跑性】MySQL 的 DDL 不进事务。本迁移若在唯一键替换段失败,前面的加列已落库;
-- 按「补数据 → flyway repair → 重启」恢复时 Flyway 从第一条语句重跑整个文件,所以每条 DDL
-- 都先查 information_schema 再 PREPARE。写法首例见 V143 全文件、V124 的索引段。
-- =============================================================
SET @db_name = DATABASE();
-- ---------- 1. 加列(末位 + INSTANT,不给 50.7 万行的表做重建) ----------
SET @col_exists := (SELECT COUNT(*) FROM information_schema.COLUMNS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_invalid_asin_data' AND COLUMN_NAME = 'company_id');
SET @sql := IF(@col_exists = 0,
'ALTER TABLE `biz_invalid_asin_data` ADD COLUMN `company_id` bigint NOT NULL DEFAULT 1 COMMENT ''所属公司(company.id),V145'', ALGORITHM = INSTANT',
'SELECT 1');
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
-- 可为 NULL 且不设默认:历史 AUTO 行确实无从追溯"由谁产生",补一个假的归属比留空更坏。
SET @col_exists := (SELECT COUNT(*) FROM information_schema.COLUMNS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_invalid_asin_data' AND COLUMN_NAME = 'uploader_user_id');
SET @sql := IF(@col_exists = 0,
'ALTER TABLE `biz_invalid_asin_data` ADD COLUMN `uploader_user_id` bigint NULL DEFAULT NULL COMMENT ''归属账号(users.id):AUTO 行取 task.user_id、MANUAL 行取操作人;V145 之前的历史行为 NULL'', ALGORITHM = INSTANT',
'SELECT 1');
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
SET @col_exists := (SELECT COUNT(*) FROM information_schema.COLUMNS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_dedupe_total_data' AND COLUMN_NAME = 'company_id');
SET @sql := IF(@col_exists = 0,
'ALTER TABLE `biz_dedupe_total_data` ADD COLUMN `company_id` bigint NOT NULL DEFAULT 1 COMMENT ''所属公司(company.id),V145'', ALGORITHM = INSTANT',
'SELECT 1');
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
-- ---------- 2. 去重库按上传账号反推归属 ----------
-- 第二家公司(company.id=2)已于 10-04 14:55 开通,它今天导入的行还落在同一张全局表里;
-- 上一段的 DEFAULT 1 会把它们一并归到厦门米椿花。biz_dedupe_total_data.uploader_user_id 是
-- NOT NULL,所以这一张【能】反推,必须反推——否则隔离上线的第一天就是错的归属,且再也分不开。
-- 驱动方向:users 只有 140 行且 WHERE 选择性极高(company_id <> 1,今天 1 行),由 u 出发走
-- idx_uploader_user_id_id (uploader_user_id, id) 点查 d ⇒ 扫描面是"第 2 家账号上传的行",
-- 不是 50.7 万行全表。这是本迁移唯一一条 UPDATE,且带 d.company_id = 1 限定(重跑是 no-op)。
--
-- 品牌库反推不了:AUTO 行今天根本没有账号列(这正是本文件给它补 uploader_user_id 的理由)。
-- 从 14:55 到本次发布之间第 2 家公司的自动导入行会被归到公司 1,无法追回——
-- 所以批次 1 与批次 2 要尽快同批上线,别把这段窗口拉长。
UPDATE `biz_dedupe_total_data` d
JOIN `users` u ON u.`id` = d.`uploader_user_id`
SET d.`company_id` = u.`company_id`
WHERE u.`company_id` <> 1
AND d.`company_id` = 1;
-- ---------- 3. 唯一键按公司放宽(先 ADD 后 DROP:中间任一步失败都至少还有一个唯一键在守并发) ----------
SET @idx_exists := (SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_invalid_asin_data' AND INDEX_NAME = 'uk_company_value_brand');
SET @sql := IF(@idx_exists = 0,
'ALTER TABLE `biz_invalid_asin_data` ADD UNIQUE KEY `uk_company_value_brand` (`company_id`, `data_value`, `brand`(191)), ALGORITHM = INPLACE, LOCK = NONE',
'SELECT 1');
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
SET @idx_exists := (SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_invalid_asin_data' AND INDEX_NAME = 'uk_data_value_brand');
SET @sql := IF(@idx_exists > 0,
'ALTER TABLE `biz_invalid_asin_data` DROP INDEX `uk_data_value_brand`, ALGORITHM = INPLACE, LOCK = NONE',
'SELECT 1');
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
SET @idx_exists := (SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_dedupe_total_data' AND INDEX_NAME = 'uk_company_data_value');
SET @sql := IF(@idx_exists = 0,
'ALTER TABLE `biz_dedupe_total_data` ADD UNIQUE KEY `uk_company_data_value` (`company_id`, `data_value`), ALGORITHM = INPLACE, LOCK = NONE',
'SELECT 1');
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
SET @idx_exists := (SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_dedupe_total_data' AND INDEX_NAME = 'uk_data_value');
SET @sql := IF(@idx_exists > 0,
'ALTER TABLE `biz_dedupe_total_data` DROP INDEX `uk_data_value`, ALGORITHM = INPLACE, LOCK = NONE',
'SELECT 1');
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
-- ---------- 4. 本迁移刻意不做的事 ----------
-- · 不加二级索引:非超管读路径改成 company_id + group_id 后,仍复用既有 idx_invalid_asin_group_id
-- (V86:69) 与 idx_dedupe_total_data_group_id (V87:48)。今天第 2 家公司 0 行数据,company_id 的
-- 选择性≈0,新索引只增加写入维护。第二家公司真有数据后若慢日志出现这两张表的行扫描再单独立项
-- (先例结论:本库的瓶颈是锁不是索引)。
-- · 不给这两张表补 group_id 的历史值:14,224 行 AUTO 的 group_id 为 NULL 是既成事实,
-- 读侧 §7.1 改成"本公司 + 固定组"后它们对所有非超管不可见——这是刻意的切法,不是漏改(§7.3)。
-- =============================================================
-- 验证 SQL(迁移后在库上执行,spec §11.5;上线时必须有人实跑,不许只看启动日志的 Successfully applied)
--
-- SHOW COLUMNS FROM `biz_invalid_asin_data` LIKE 'company_id';
-- -> 期望 Null = NO,Default = 1(混合窗口要求带 DEFAULT;紧随其后的迁移必须把它摘成 Default = NULL)
-- SHOW COLUMNS FROM `biz_dedupe_total_data` LIKE 'company_id';
-- -> 期望 Null = NO,Default = 1
-- SHOW COLUMNS FROM `biz_invalid_asin_data` LIKE 'uploader_user_id';
-- -> 期望 Null = YES(历史 AUTO 行确实无从追溯,只有新行带值)
--
-- SELECT COUNT(*) AS total, SUM(company_id IS NULL) AS null_company, SUM(company_id <> 1) AS not_company_1
-- FROM `biz_invalid_asin_data`;
-- SELECT COUNT(*) AS total, SUM(company_id IS NULL) AS null_company, SUM(company_id <> 1) AS not_company_1
-- FROM `biz_dedupe_total_data`;
-- -> 期望 null_company = 0 且 not_company_1 = 0(历史行全部归厦门米椿花;本表今天 0 行属于第 2 家)
-- -> 【派生值哨兵】本迁移没有写回历史行,这些 1 来自加列时记录的默认值。摘 DEFAULT 的那笔迁移
-- 必须【重跑这两条】:一旦某次表重建按"摘掉之后的默认值"物化历史行,not_company_1 会立刻跳出来。
--
-- SELECT COUNT(*) AS misfiled FROM `biz_dedupe_total_data` d
-- JOIN `users` u ON u.`id` = d.`uploader_user_id`
-- WHERE u.`company_id` <> d.`company_id`;
-- -> 期望 0(第 2 段的反推真的跑到了;不为 0 说明那条 UPDATE 被跳过或写失败了)
--
-- SELECT TABLE_NAME, INDEX_NAME, GROUP_CONCAT(CONCAT(COLUMN_NAME,'@',SEQ_IN_INDEX) ORDER BY SEQ_IN_INDEX) AS cols
-- FROM information_schema.STATISTICS
-- WHERE TABLE_SCHEMA = DATABASE()
-- AND TABLE_NAME IN ('biz_invalid_asin_data','biz_dedupe_total_data')
-- AND NON_UNIQUE = 0
-- GROUP BY TABLE_NAME, INDEX_NAME;
-- -> 期望恰好四行:PRIMARY(id) ×2,加
-- uk_company_value_brand(company_id@1,data_value@2,brand@3)、uk_company_data_value(company_id@1,data_value@2);
-- 旧的 uk_data_value_brand / uk_data_value 必须【不】在结果里
--
-- INSERT IGNORE 在新键下(事务内跑完回滚,见 §11.5.4;只插 ZZTEST 前缀):
-- START TRANSACTION;
-- -- uploader_user_id 是 NOT NULL 且无默认值,必须带上;本实验只验索引宽度,值随便给 1。
-- INSERT INTO `biz_dedupe_total_data` (company_id, data_value, uploader_user_id) VALUES (1, 'ZZTEST0000000001', 1);
-- INSERT INTO `biz_dedupe_total_data` (company_id, data_value, uploader_user_id) VALUES (2, 'ZZTEST0000000001', 1);
-- SELECT COUNT(*) AS two_rows FROM `biz_dedupe_total_data` WHERE data_value = 'ZZTEST0000000001';
-- ROLLBACK;
-- -> 期望两条 INSERT 都成功、two_rows = 2(同一个值能归两家公司 = 键真的放宽了;
-- 第二条报 1062 就说明旧 uk 还在,本文件第 2 段没跑成)
-- =============================================================