From e6c4c9e7cf42e9d0952e68d4306e859528beb91b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Sun, 4 Oct 2026 16:14:57 +0800 Subject: [PATCH] =?UTF-8?q?feat(=E5=85=AC=E5=8F=B8=E9=9A=94=E7=A6=BB):=20V?= =?UTF-8?q?145=20=E7=BB=99=E4=B8=A4=E5=BC=A0=E8=A7=84=E5=88=99=E5=BA=93?= =?UTF-8?q?=E8=A1=A8=E8=A1=A5=E5=BD=92=E5=B1=9E=EF=BC=8C=E5=94=AF=E4=B8=80?= =?UTF-8?q?=E9=94=AE=E6=94=B9=E6=AF=8F=E5=85=AC=E5=8F=B8=E4=B8=80=E5=A5=97?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 品牌库/去重库原本没有公司这一列、唯一键是全局的,所以"每公司一套"无从谈起。 V145 破例物化 company_id(含品牌库的 uploader_user_id 审计锚点),并把 uk_data_value / uk_data_value_brand 换成带 company_id 前缀的新键(先 ADD 后 DROP)。 按生产实查改写了计划里的写法:biz_dedupe_total_data 507,306 行 / MySQL 8.4.8, 非末位加列与 MODIFY 收 nullability 都要重建表,故三条加列显式钉 ALGORITHM = INSTANT、 列直接建成 NOT NULL DEFAULT 1、四条索引操作钉 INPLACE, LOCK = NONE, 回填换成由 users 驱动、带 d.company_id = 1 幂等限定的反推 UPDATE。 DEFAULT 1 是为混合版本窗口留的(批量写失败只 log.warn,缺列会静默丢数), 摘它必须用 ALTER COLUMN ... DROP DEFAULT——MODIFY 会按当时列默认值物化 instant 列, 把反推好的归属洗回 1。启动期哨兵据此从只探 users 扩成探三张表。 第二家公司已于 10-04 14:55 开通,历史行的实际上传者从此不可追溯,这笔不能再等。 回滚走 docs/rollback-V145-company-scope.sql 人工补丁,不编成 V146(Flyway 扫描路径会自己跑)。 --- backend-java/docs/migration-inventory.md | 15 +- .../docs/rollback-V145-company-scope.sql | 36 ++ .../company/service/CompanyDefaultGuard.java | 76 +++- .../db/V145__brand_dedupe_company_scope.sql | 215 +++++++++++ .../config/CompanyMigrationV144Test.java | 17 +- .../config/CompanyScopeMigrationV145Test.java | 363 ++++++++++++++++++ .../service/CompanyDefaultGuardTest.java | 127 +++++- 7 files changed, 800 insertions(+), 49 deletions(-) create mode 100644 backend-java/docs/rollback-V145-company-scope.sql create mode 100644 backend-java/src/main/resources/db/V145__brand_dedupe_company_scope.sql create mode 100644 backend-java/src/test/java/com/nanri/aiimage/config/CompanyScopeMigrationV145Test.java diff --git a/backend-java/docs/migration-inventory.md b/backend-java/docs/migration-inventory.md index 094d43dad..d38661379 100644 --- a/backend-java/docs/migration-inventory.md +++ b/backend-java/docs/migration-inventory.md @@ -1,14 +1,14 @@ # Flyway 迁移盘点(task-193) > 生成方式:`src/test/java/com/nanri/aiimage/config/MigrationInventoryTest.java`(只读审计,可重复)。 -> 快照日期:2026-10-01;2026-10-03 随 V142 追加时同步过概览数字与取号起点;2026-10-04 随 V143 同步;2026-10-04 随 V144 同步。 +> 快照日期:2026-10-01;2026-10-03 随 V142 追加时同步过概览数字与取号起点;2026-10-04 随 V143 同步;2026-10-04 随 V144 同步;2026-10-04 15:1x 随 V145 同步。 ## 概览 -- 版本化迁移文件数:**143**(`src/main/resources/db/V*.sql`,其中整数版本 142 个 + 小版本 V25_1) -- 整数版本范围:**V1..V144**,其中 V132/V133 为已退役空号(见下),其余连续 +- 版本化迁移文件数:**144**(`src/main/resources/db/V*.sql`,其中整数版本 143 个 + 小版本 V25_1) +- 整数版本范围:**V1..V145**,其中 V132/V133 为已退役空号(见下),其余连续 - 历史遗留小版本:**V25_1__shop_manage_group_bind_user.sql**(Flyway 语义 25.1,紧跟在 V25 之后、V26 之前执行,属历史命名,保留) -- 最新版本:**V144__users_company_id_drop_default.sql**(V142 已于 10-03 18:23 应用、V143 已于 10-04 10:48 应用;V144 待下一次 jar 发版执行) +- 最新版本:**V145__brand_dedupe_company_scope.sql**(V142 已于 10-03 18:23 应用、V143 已于 10-04 10:48 应用、**V144 已于 10-04 13:22 应用**;V145 待下一次 jar 发版执行) - 重复版本:无 - 迁移命名:全部符合 `V<整数>(_<子版本>)?__<描述>.sql`,无空格 @@ -20,18 +20,19 @@ 本地曾存在 `V132__web_config_add_is_latest.sql`、`V133__hide_redundant_indexes_invisible.sql`,与另一分支已在生产落库的 V134/V135 冲突。因 Flyway 未开启 `out-of-order`,把任何迁移编到 132/133 会在启动期报 "resolved migration not applied";因此这两条改为 **V136/V137**,132/133 永久退役,不可回填。 -后续新增迁移从 **V145** 起取号(只认"当前最大值 + 1",不要为还没写出来的迁移预留号段——预留会在 1..max 里留洞,`integerVersionsSequentialFromOne` 会红)。 +后续新增迁移从 **V146** 起取号(只认"当前最大值 + 1",不要为还没写出来的迁移预留号段——预留会在 1..max 里留洞,`integerVersionsSequentialFromOne` 会红)。 原先挂在待办里的"V137 冗余索引 DROP"迁移计划取 V139,该号已被 `V139__asin_result_cache.sql` 占用,顺延到 V140;V140 已被品牌补测队列表 `V140__collectdata_brand_recheck.sql` 落用。 -## 已应用迁移的存量校验和(2026-10-04 11:0x 从生产 `flyway_schema_history` 实查) +## 已应用迁移的存量校验和(2026-10-04 15:0x 从生产 `flyway_schema_history` 实查) | 版本 | 文件 | 校验和 | installed_on | |---|---|---|---| | 142 | `V142__web_config_sha256.sql` | `1152261840` | 2026-10-03 18:23:22 | | 143 | `V143__company_and_users_company_id.sql` | `1539570901` | 2026-10-04 10:48:54 | +| 144 | `V144__users_company_id_drop_default.sql` | `1833593804` | 2026-10-04 13:22:00 | -这两行的字节就此封死。校验和算法是 Flyway 的 CRC32 逐 `BufferedReader.readLine()` 的 UTF-8 字节累加(**行尾不入 CRC**,所以 CRLF 工作树与 LF 工作树算出同一个值);上表两个值都被 `CompanyMigrationV144Test#appliedMigrationBytesAreFrozenAgainstProdChecksum` 用工作树字节复算并比对过。 +这三行的字节就此封死。校验和算法是 Flyway 的 CRC32 逐 `BufferedReader.readLine()` 的 UTF-8 字节累加(**行尾不入 CRC**,所以 CRLF 工作树与 LF 工作树算出同一个值);上表三个值都被 `CompanyMigrationV144Test#appliedMigrationBytesAreFrozenAgainstProdChecksum` 用工作树字节复算并比对过。 真事:10-04 上午有人(我)把"摘掉 `users.company_id` 的 DEFAULT"直接改成原地编辑 V143,取证才发现 V143 已在 10:48 落库——那样发出去的 jar 会让下次启动 Flyway 校验失败、**两台 java 都起不来**。口径变更因此写成 V144 前向修复,并把"已应用不许原地改"从注释升级成上面那条用例。 diff --git a/backend-java/docs/rollback-V145-company-scope.sql b/backend-java/docs/rollback-V145-company-scope.sql new file mode 100644 index 000000000..83e3cdbab --- /dev/null +++ b/backend-java/docs/rollback-V145-company-scope.sql @@ -0,0 +1,36 @@ +-- 回滚 V145(人工补丁,不放进 src/main/resources/db/——那里是 Flyway 扫描路径, +-- 任何 V*.sql 都会在应用下次启动时自动执行;把回滚编成版本化迁移等于让"决定回滚"这件事 +-- 在没有人工执行的情况下自己发生。) +-- +-- 顺序:停两台应用 → 执行本脚本 → DELETE FROM flyway_schema_history WHERE version='145' +-- → 回滚 jar → 起应用。 +-- 漏掉"删历史行"那步,将来重装带 V145 的 jar 时 Flyway 判定"已应用"直接跳过,列与键都不会重建, +-- 而 Java 侧实体照常读写 company_id ⇒ 运行期 Unknown column。 +-- +-- ⚠ 本脚本默认只做「保留新列、把唯一键退回全局」这一档。 +-- 退回全局唯一键要求"跨公司没有同名值"——批次 2(消费侧)上线之后这个前提不再由代码保证, +-- 所以第二段是注释掉的,解开前先备份这两张表。 +-- 报 1062 说明确实已经有跨公司同名行:此时【不要】硬删数据,改走"保留新键、只回滚 jar" +-- (新列对新 jar 是惰性的,不读写就不影响)。 + +-- ---------- 1. 唯一键退回全局(先加旧键、后删新键,理由同 V145:中间任一步都至少有一个唯一键在守并发) ---------- + +ALTER TABLE `biz_invalid_asin_data` + ADD UNIQUE KEY `uk_data_value_brand` (`data_value`, `brand`(191)), + ALGORITHM = INPLACE, LOCK = NONE; +ALTER TABLE `biz_invalid_asin_data` + DROP INDEX `uk_company_value_brand`, + ALGORITHM = INPLACE, LOCK = NONE; + +ALTER TABLE `biz_dedupe_total_data` + ADD UNIQUE KEY `uk_data_value` (`data_value`), + ALGORITHM = INPLACE, LOCK = NONE; +ALTER TABLE `biz_dedupe_total_data` + DROP INDEX `uk_company_data_value`, + ALGORITHM = INPLACE, LOCK = NONE; + +-- ---------- 2. 真的要把列也删掉才解开下面两行(不可逆,先备份) ---------- +-- company_id 上带着 50.7 万行的归属信息,一旦 DROP 就只能靠"全表填 1"重建,而第 2 家公司已经开通 +-- ⇒ 那次之后再也分不清哪一行属于谁。除非确认没有任何一行 company_id <> 1,否则不要执行。 +-- ALTER TABLE `biz_invalid_asin_data` DROP COLUMN `uploader_user_id`, DROP COLUMN `company_id`; +-- ALTER TABLE `biz_dedupe_total_data` DROP COLUMN `company_id`; diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuard.java b/backend-java/src/main/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuard.java index e76c3d63f..9ee51e876 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuard.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuard.java @@ -8,12 +8,19 @@ import org.springframework.context.event.EventListener; import org.springframework.jdbc.core.JdbcTemplate; import org.springframework.stereotype.Component; +import java.util.ArrayList; +import java.util.List; +import java.util.Map; + /** - * 「半套发布」哨兵(设计文档 §6.3):第二家公司已经开通,但 {@code users.company_id} 还带着 - * {@code DEFAULT 1}——启动期打 ERROR。 + * 「半套发布」哨兵(设计文档 §6.3 / §10 护栏 1):第二家公司已经开通,但带 {@code DEFAULT 1} + * 的 {@code company_id} 列还没摘掉默认值——启动期打 ERROR。 * - *

这个组合不会报错、不会丢数据,只会让每个没显式传公司的建号被静默塞进默认那家(§8.2 里 - * DEFAULT 存在的唯一理由已经过去了)。正因为它安静,所以由代码来喊,而不是靠人记得。

+ *

这个组合不会报错、不会丢数据,只会让每个没显式传公司的写入被静默塞进默认那家(DEFAULT 存在的 + * 唯一理由是发布期的旧 jar,§8.2 / V145 头注释)。正因为它安静,所以由代码来喊,而不是靠人记得。

+ * + *

盯的列随迁移增长:V143 给 {@code users} 加过一版(DEFAULT 已由 V144 摘),V145 给两张规则库 + * 各加一版。一张表一行都插不进来的时候才是"摘干净",所以这里探的是【清单】而不是单个列名。

* *

标记串({@link #ALARM} / {@link #PROBE_FAILED})是纯 ASCII:巡检脚本要在 docker logs 里 * grep 它,中文一旦在容器里变了编码就整条签名失效。

@@ -23,15 +30,23 @@ import org.springframework.stereotype.Component; @Slf4j public class CompanyDefaultGuard { - /** 巡检签名用:出现即代表"多家公司已上线但 DEFAULT 未摘"。 */ + /** 巡检签名用:出现即代表"多家公司已上线但 company_id 的 DEFAULT 未摘"。 */ public static final String ALARM = "COMPANY_DEFAULT_STILL_PRESENT"; /** 巡检签名用:哨兵自己没跑成(例如没有 information_schema 读权限),不能当成"检查过了"。 */ public static final String PROBE_FAILED = "COMPANY_DEFAULT_PROBE_FAILED"; + /** + * 该带 company_id 且历史上可能被塞过 DEFAULT 的表。新增一列就要在这里登记一条—— + * 漏登记的后果不是报错,是哨兵对着一个不存在的列一声不响({@link #check} 会把它当探不到处理)。 + */ + static final List WATCHED_TABLES = List.of( + "users", "biz_invalid_asin_data", "biz_dedupe_total_data"); + private static final String COLUMN_DEFAULT_SQL = """ - SELECT COLUMN_DEFAULT FROM information_schema.COLUMNS - WHERE TABLE_SCHEMA = DATABASE() AND TABLE_NAME = 'users' AND COLUMN_NAME = 'company_id' + SELECT TABLE_NAME, COLUMN_DEFAULT FROM information_schema.COLUMNS + WHERE TABLE_SCHEMA = DATABASE() AND COLUMN_NAME = 'company_id' + AND TABLE_NAME IN ('users', 'biz_invalid_asin_data', 'biz_dedupe_total_data') """; private final CompanyMapper companyMapper; @@ -44,26 +59,57 @@ public class CompanyDefaultGuard { void check() { long companies; - String columnDefault; + List> rows; try { companies = countCompanies(); if (companies <= 1) { // 一期只有一家公司:DEFAULT 是混合版本窗口的兜底,此时它是正确的,不该喊 return; } - columnDefault = jdbcTemplate.queryForObject(COLUMN_DEFAULT_SQL, String.class); + rows = jdbcTemplate.queryForList(COLUMN_DEFAULT_SQL); } catch (Exception ex) { - log.warn("[company] {} 哨兵没能确认 users.company_id 的 DEFAULT,请手工核查:{}", + log.warn("[company] {} 哨兵没能确认 company_id 的 DEFAULT,请手工核查:{}", PROBE_FAILED, ex.getMessage()); return; } - if (columnDefault == null || columnDefault.isBlank()) { + + List offending = new ArrayList<>(); + List unseen = new ArrayList<>(); + for (String table : WATCHED_TABLES) { + String columnDefault = defaultOf(rows, table); + if (columnDefault == MISSING) { + unseen.add(table); + } else if (columnDefault != null && !columnDefault.isBlank()) { + offending.add(table + ".company_id DEFAULT=" + columnDefault); + } + } + if (!unseen.isEmpty()) { + // 探不到列=这一张表根本没被盯过(改名、迁移没跑、权限不够都会走到这里)。 + // 当成"没问题"报出去就是假绿,所以降级成 WARN 说明哨兵没跑成。 + log.warn("[company] {} 哨兵在 information_schema 里没找到这些表的 company_id:{}", + PROBE_FAILED, unseen); + } + if (offending.isEmpty()) { return; } - log.error("[company] {} 已有 {} 家公司,但 users.company_id 仍带 DEFAULT={}:" - + "不传公司的建号会被静默塞进默认那家。请执行 " - + "ALTER TABLE users ALTER COLUMN company_id DROP DEFAULT", - ALARM, companies, columnDefault); + List fixes = offending.stream() + .map(item -> item.substring(0, item.indexOf('.'))) + .map(table -> "ALTER TABLE " + table + " ALTER COLUMN company_id DROP DEFAULT") + .toList(); + log.error("[company] {} 已有 {} 家公司,但 {} 仍带 DEFAULT:不传公司的写入会被静默塞进默认那家。请执行 {}", + ALARM, companies, offending, fixes); + } + + private static final String MISSING = "\u0000__missing__"; + + private static String defaultOf(List> rows, String table) { + for (Map row : rows) { + if (table.equalsIgnoreCase(String.valueOf(row.get("TABLE_NAME")))) { + Object columnDefault = row.get("COLUMN_DEFAULT"); + return columnDefault == null ? null : String.valueOf(columnDefault); + } + } + return MISSING; } private long countCompanies() { diff --git a/backend-java/src/main/resources/db/V145__brand_dedupe_company_scope.sql b/backend-java/src/main/resources/db/V145__brand_dedupe_company_scope.sql new file mode 100644 index 000000000..2d4aa2f0a --- /dev/null +++ b/backend-java/src/main/resources/db/V145__brand_dedupe_company_scope.sql @@ -0,0 +1,215 @@ +-- ============================================================= +-- 迁移 V145__brand_dedupe_company_scope +-- 模板:docs/flyway-migration-template.md +-- 设计:crawler-plugin/docs/ops/brand-dedupe-company-isolation-design-2026-10-04.md §4 / §5 +-- 实施:crawler-plugin/docs/plans/18-brand-dedupe-company-isolation.md Task 2 +-- +-- 1. 变更目的:把「品牌数据库」biz_invalid_asin_data 与「去重数据汇总」biz_dedupe_total_data +-- 从"全平台共享一套规则库"改成"每公司一套"。今天 A 公司的品牌会把 B 公司采集结果里同品牌的 +-- 行过滤掉(§1.2:CollectDataBatchQuery 的两条裸 SQL 没有任何租户条件),而两张表的全平台 +-- 唯一键让 B 公司根本写不进同名值——不是"看不到",是"写进去就互相顶掉"。 +-- 这两张表破例物化 company_id(推翻一期 V143:5-8 的"业务表零 DDL",仅限这两张,2026-10-04 定案); +-- 并给 biz_invalid_asin_data 补 uploader_user_id 作归属审计锚点(历史 AUTO 行没有该信息, +-- 从本版本起才记得到"由谁产生"——这就是批次 1 必须现在做的唯一理由,§3.3)。 +-- 唯一键改成 company_id 打头:旧键 uk_data_value_brand / uk_data_value 是全平台单行, +-- 不删掉它,第二家公司写同一个 ASIN 会被 INSERT IGNORE 静默丢弃,整套改造白做。 +-- +-- 2. 影响表与数据量(2026-10-04 15:0x 主机A 业务库只读实查,不是估的): +-- biz_invalid_asin_data = 14,284 行 / 4.3 MB(AUTO 14,224、MANUAL 60、group_id IS NULL 14,224) +-- biz_dedupe_total_data = 507,306 行 / 181.3 MB(group_id IS NULL 2 行) +-- company / columns 与其余业务表一律不动(users 只被第 2 段读,不被写)。 +-- **别拿后台看到的最大 ID 当行数**—— +-- aiimage.sql 快照的 AUTO_INCREMENT 有跳号。 +-- 存量归属:company 表今天有两行(1=厦门米椿花、2 于 10-04 14:55 开通),但第 2 家只有 1 个 +-- 管理员账号(users.id=1193)、0 个任务、0 行去重数据 ⇒ 今天全部历史行确实属于公司 1。 +-- 这个"0 行"是此刻的快照,不是恒真:所以第 2 段仍要按上传账号反推一次(见该段理由)。 +-- +-- 3. 锁表风险:**低,且形态与 V143 不同——这里写明为什么不同。** +-- 生产是 MySQL 8.4.8。三条 ADD COLUMN 一律【不加 AFTER】并显式钉 ALGORITHM = INSTANT: +-- 非末位列加列在 InnoDB 里要重建聚簇记录,biz_dedupe_total_data 是 181 MB / 50.7 万行, +-- 重建会在业务时间把去重导入卡住;钉死 INSTANT 之后,万一某个前提不成立,MySQL 直接报 +-- 1846 而不是悄悄退化成 COPY——**宁可迁移失败走 repair 重跑,也不要一次没人预期的整表重建。** +-- 同理不加"全表回填 UPDATE + MODIFY NOT NULL"两段(V143 那套):50.7 万行的单语句回填 UPDATE 会 +-- 对所有扫描行持 X 锁,MODIFY 改 nullability 又要重建。本文件用 ADD ... NOT NULL DEFAULT 1 +-- 一次到位,历史行的值由该行版本记录的默认值给出(见下方"派生值"注意事项)。 +-- 全文只有第 2 段那一条 UPDATE:它由 users(140 行、WHERE 命中 1 行)驱动、按 +-- idx_uploader_user_id_id 点查去重行,扫描面是"第 2 家公司账号上传的行"(今天 0 行), +-- 不是全表;它存在的理由是那 0 行随时会变成非 0(见第 2 段)。users 只读不写。 +-- 四条索引操作钉 ALGORITHM = INPLACE, LOCK = NONE:建 uk_company_data_value 要扫 50.7 万行 +-- 排序,INPLACE 允许并发 DML;DROP 旧键只吃一下元数据锁。 +-- 索引字节预算(utf8mb4 + DYNAMIC,上限 3072): +-- uk_company_value_brand = 8 + 128*4 + 191*4 = 1284;uk_company_data_value = 8 + 512*4 = 2056。 +-- **不用前缀索引迁就长度**(V135:6-9):data_value 的前缀唯一索引会把"前 N 字符相同"的不同值 +-- 误判成重复、破坏去重语义。 +-- 不碰 biz_task_file_job 等锁热点表。 +-- +-- 4. 验证 SQL:见文件末尾「验证」段。 +-- +-- 5. 回滚步骤:人工补丁 backend-java/docs/rollback-V145-company-scope.sql(在 Flyway 扫描路径之外, +-- 不写成 V146——版本化回滚等于让"决定回滚"这件事在没有人工执行的情况下自己发生)。 +-- 顺序:停两台应用 → 跑脚本 → 删 flyway_schema_history 的 version=145 行 → 回滚 jar → 起应用。 +-- +-- 6. 上线窗口:随 jar 双节点同窗口发布,金丝雀过了立刻补第二台,把混合版本窗口压到分钟级。 +-- DEFAULT 1 是【临时】的,唯一存在理由是同批的旧 jar:它的 insertBatchIgnore 列清单不含 +-- company_id,严格模式下报 1364;而 CollectDataInvalidAsinBatchWriter 把批量写失败 +-- catch 成 log.warn 后跳过整批(:58-60),接口仍返回成功 ⇒ 表现为"自动导入静默丢数据"(§11.2)。 +-- +-- 【摘除时间已被压缩,这点必须写清】原口径是"第二家公司开通前摘掉",而第二家公司 +-- (company.id=2)已于 10-04 14:55 开通 ⇒ 本次发布之后 DEFAULT 的每一分钟都是风险: +-- 任何漏传 company_id 的写入会被静默塞进厦门米椿花。**所以摘 DEFAULT 的下一笔迁移必须紧随 +-- 本次发布(两台同版确认后)出,不能等。** 本文件的写法已为它留好安全形状: +-- ALTER TABLE biz_invalid_asin_data ALTER COLUMN company_id DROP DEFAULT; +-- ALTER TABLE biz_dedupe_total_data ALTER COLUMN company_id DROP DEFAULT; +-- 用 ALTER COLUMN ... DROP DEFAULT(纯元数据、INSTANT)而不是 MODIFY COLUMN ... NOT NULL: +-- 后者会重建表,而重建时"历史上没有这一列的行"会按【当时】的列默认值物化——默认刚被摘掉, +-- 50.7 万行历史归属就没了依据。users.company_id 没踩到这个坑,是因为 V143 用 UPDATE 把值 +-- 真写进过每一行;本文件为了避开 X 锁没有写回,因此只能走元数据那条路。 +-- users 的同款 DEFAULT 已由 V144 摘掉;这三列的 DEFAULT 由启动期 CompanyDefaultGuard 的 +-- COMPANY_DEFAULT_STILL_PRESENT 盯(它已在本次一并扩到这三列,公司数 > 1 时才喊)。 +-- 写入路径不得依赖本 DEFAULT 兜漏传:CompanyScopeSupport 取不到公司就抛(§6.3), +-- 两个写入口在实体进 mapper 前判空(§10 护栏 2)。 +-- +-- 【可重跑性】MySQL 的 DDL 不进事务。本迁移若在唯一键替换段失败,前面的加列已落库; +-- 按「补数据 → flyway repair → 重启」恢复时 Flyway 从第一条语句重跑整个文件,所以每条 DDL +-- 都先查 information_schema 再 PREPARE。写法首例见 V143 全文件、V124 的索引段。 +-- ============================================================= + +SET @db_name = DATABASE(); + +-- ---------- 1. 加列(末位 + INSTANT,不给 50.7 万行的表做重建) ---------- + +SET @col_exists := (SELECT COUNT(*) FROM information_schema.COLUMNS + WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_invalid_asin_data' AND COLUMN_NAME = 'company_id'); +SET @sql := IF(@col_exists = 0, + 'ALTER TABLE `biz_invalid_asin_data` ADD COLUMN `company_id` bigint NOT NULL DEFAULT 1 COMMENT ''所属公司(company.id),V145'', ALGORITHM = INSTANT', + 'SELECT 1'); +PREPARE stmt FROM @sql; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; + +-- 可为 NULL 且不设默认:历史 AUTO 行确实无从追溯"由谁产生",补一个假的归属比留空更坏。 +SET @col_exists := (SELECT COUNT(*) FROM information_schema.COLUMNS + WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_invalid_asin_data' AND COLUMN_NAME = 'uploader_user_id'); +SET @sql := IF(@col_exists = 0, + 'ALTER TABLE `biz_invalid_asin_data` ADD COLUMN `uploader_user_id` bigint NULL DEFAULT NULL COMMENT ''归属账号(users.id):AUTO 行取 task.user_id、MANUAL 行取操作人;V145 之前的历史行为 NULL'', ALGORITHM = INSTANT', + 'SELECT 1'); +PREPARE stmt FROM @sql; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; + +SET @col_exists := (SELECT COUNT(*) FROM information_schema.COLUMNS + WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_dedupe_total_data' AND COLUMN_NAME = 'company_id'); +SET @sql := IF(@col_exists = 0, + 'ALTER TABLE `biz_dedupe_total_data` ADD COLUMN `company_id` bigint NOT NULL DEFAULT 1 COMMENT ''所属公司(company.id),V145'', ALGORITHM = INSTANT', + 'SELECT 1'); +PREPARE stmt FROM @sql; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; + +-- ---------- 2. 去重库按上传账号反推归属 ---------- +-- 第二家公司(company.id=2)已于 10-04 14:55 开通,它今天导入的行还落在同一张全局表里; +-- 上一段的 DEFAULT 1 会把它们一并归到厦门米椿花。biz_dedupe_total_data.uploader_user_id 是 +-- NOT NULL,所以这一张【能】反推,必须反推——否则隔离上线的第一天就是错的归属,且再也分不开。 +-- 驱动方向:users 只有 140 行且 WHERE 选择性极高(company_id <> 1,今天 1 行),由 u 出发走 +-- idx_uploader_user_id_id (uploader_user_id, id) 点查 d ⇒ 扫描面是"第 2 家账号上传的行", +-- 不是 50.7 万行全表。这是本迁移唯一一条 UPDATE,且带 d.company_id = 1 限定(重跑是 no-op)。 +-- +-- 品牌库反推不了:AUTO 行今天根本没有账号列(这正是本文件给它补 uploader_user_id 的理由)。 +-- 从 14:55 到本次发布之间第 2 家公司的自动导入行会被归到公司 1,无法追回—— +-- 所以批次 1 与批次 2 要尽快同批上线,别把这段窗口拉长。 + +UPDATE `biz_dedupe_total_data` d + JOIN `users` u ON u.`id` = d.`uploader_user_id` + SET d.`company_id` = u.`company_id` + WHERE u.`company_id` <> 1 + AND d.`company_id` = 1; + +-- ---------- 3. 唯一键按公司放宽(先 ADD 后 DROP:中间任一步失败都至少还有一个唯一键在守并发) ---------- + +SET @idx_exists := (SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS + WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_invalid_asin_data' AND INDEX_NAME = 'uk_company_value_brand'); +SET @sql := IF(@idx_exists = 0, + 'ALTER TABLE `biz_invalid_asin_data` ADD UNIQUE KEY `uk_company_value_brand` (`company_id`, `data_value`, `brand`(191)), ALGORITHM = INPLACE, LOCK = NONE', + 'SELECT 1'); +PREPARE stmt FROM @sql; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; + +SET @idx_exists := (SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS + WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_invalid_asin_data' AND INDEX_NAME = 'uk_data_value_brand'); +SET @sql := IF(@idx_exists > 0, + 'ALTER TABLE `biz_invalid_asin_data` DROP INDEX `uk_data_value_brand`, ALGORITHM = INPLACE, LOCK = NONE', + 'SELECT 1'); +PREPARE stmt FROM @sql; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; + +SET @idx_exists := (SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS + WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_dedupe_total_data' AND INDEX_NAME = 'uk_company_data_value'); +SET @sql := IF(@idx_exists = 0, + 'ALTER TABLE `biz_dedupe_total_data` ADD UNIQUE KEY `uk_company_data_value` (`company_id`, `data_value`), ALGORITHM = INPLACE, LOCK = NONE', + 'SELECT 1'); +PREPARE stmt FROM @sql; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; + +SET @idx_exists := (SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS + WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_dedupe_total_data' AND INDEX_NAME = 'uk_data_value'); +SET @sql := IF(@idx_exists > 0, + 'ALTER TABLE `biz_dedupe_total_data` DROP INDEX `uk_data_value`, ALGORITHM = INPLACE, LOCK = NONE', + 'SELECT 1'); +PREPARE stmt FROM @sql; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; + +-- ---------- 4. 本迁移刻意不做的事 ---------- +-- · 不加二级索引:非超管读路径改成 company_id + group_id 后,仍复用既有 idx_invalid_asin_group_id +-- (V86:69) 与 idx_dedupe_total_data_group_id (V87:48)。今天第 2 家公司 0 行数据,company_id 的 +-- 选择性≈0,新索引只增加写入维护。第二家公司真有数据后若慢日志出现这两张表的行扫描再单独立项 +-- (先例结论:本库的瓶颈是锁不是索引)。 +-- · 不给这两张表补 group_id 的历史值:14,224 行 AUTO 的 group_id 为 NULL 是既成事实, +-- 读侧 §7.1 改成"本公司 + 固定组"后它们对所有非超管不可见——这是刻意的切法,不是漏改(§7.3)。 + +-- ============================================================= +-- 验证 SQL(迁移后在库上执行,spec §11.5;上线时必须有人实跑,不许只看启动日志的 Successfully applied) +-- +-- SHOW COLUMNS FROM `biz_invalid_asin_data` LIKE 'company_id'; +-- -> 期望 Null = NO,Default = 1(混合窗口要求带 DEFAULT;紧随其后的迁移必须把它摘成 Default = NULL) +-- SHOW COLUMNS FROM `biz_dedupe_total_data` LIKE 'company_id'; +-- -> 期望 Null = NO,Default = 1 +-- SHOW COLUMNS FROM `biz_invalid_asin_data` LIKE 'uploader_user_id'; +-- -> 期望 Null = YES(历史 AUTO 行确实无从追溯,只有新行带值) +-- +-- SELECT COUNT(*) AS total, SUM(company_id IS NULL) AS null_company, SUM(company_id <> 1) AS not_company_1 +-- FROM `biz_invalid_asin_data`; +-- SELECT COUNT(*) AS total, SUM(company_id IS NULL) AS null_company, SUM(company_id <> 1) AS not_company_1 +-- FROM `biz_dedupe_total_data`; +-- -> 期望 null_company = 0 且 not_company_1 = 0(历史行全部归厦门米椿花;本表今天 0 行属于第 2 家) +-- -> 【派生值哨兵】本迁移没有写回历史行,这些 1 来自加列时记录的默认值。摘 DEFAULT 的那笔迁移 +-- 必须【重跑这两条】:一旦某次表重建按"摘掉之后的默认值"物化历史行,not_company_1 会立刻跳出来。 +-- +-- SELECT COUNT(*) AS misfiled FROM `biz_dedupe_total_data` d +-- JOIN `users` u ON u.`id` = d.`uploader_user_id` +-- WHERE u.`company_id` <> d.`company_id`; +-- -> 期望 0(第 2 段的反推真的跑到了;不为 0 说明那条 UPDATE 被跳过或写失败了) +-- +-- SELECT TABLE_NAME, INDEX_NAME, GROUP_CONCAT(CONCAT(COLUMN_NAME,'@',SEQ_IN_INDEX) ORDER BY SEQ_IN_INDEX) AS cols +-- FROM information_schema.STATISTICS +-- WHERE TABLE_SCHEMA = DATABASE() +-- AND TABLE_NAME IN ('biz_invalid_asin_data','biz_dedupe_total_data') +-- AND NON_UNIQUE = 0 +-- GROUP BY TABLE_NAME, INDEX_NAME; +-- -> 期望恰好四行:PRIMARY(id) ×2,加 +-- uk_company_value_brand(company_id@1,data_value@2,brand@3)、uk_company_data_value(company_id@1,data_value@2); +-- 旧的 uk_data_value_brand / uk_data_value 必须【不】在结果里 +-- +-- INSERT IGNORE 在新键下(事务内跑完回滚,见 §11.5.4;只插 ZZTEST 前缀): +-- START TRANSACTION; +-- -- uploader_user_id 是 NOT NULL 且无默认值,必须带上;本实验只验索引宽度,值随便给 1。 +-- INSERT INTO `biz_dedupe_total_data` (company_id, data_value, uploader_user_id) VALUES (1, 'ZZTEST0000000001', 1); +-- INSERT INTO `biz_dedupe_total_data` (company_id, data_value, uploader_user_id) VALUES (2, 'ZZTEST0000000001', 1); +-- SELECT COUNT(*) AS two_rows FROM `biz_dedupe_total_data` WHERE data_value = 'ZZTEST0000000001'; +-- ROLLBACK; +-- -> 期望两条 INSERT 都成功、two_rows = 2(同一个值能归两家公司 = 键真的放宽了; +-- 第二条报 1062 就说明旧 uk 还在,本文件第 2 段没跑成) +-- ============================================================= diff --git a/backend-java/src/test/java/com/nanri/aiimage/config/CompanyMigrationV144Test.java b/backend-java/src/test/java/com/nanri/aiimage/config/CompanyMigrationV144Test.java index 214d16107..6d28c32e7 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/config/CompanyMigrationV144Test.java +++ b/backend-java/src/test/java/com/nanri/aiimage/config/CompanyMigrationV144Test.java @@ -39,15 +39,16 @@ class CompanyMigrationV144Test { private static final Pattern VERSION_FILE = Pattern.compile("^V(\\d+)(?:_(\\d+))?__.*\\.sql$"); /** - * 生产库 flyway_schema_history 的存量校验和(2026-10-04 11:0x 只读实查,主机A 业务库)。 - * 这两个号已经被应用,字节就此封死;改一个空格都会让下次重启启动期校验失败。 + * 生产库 flyway_schema_history 的存量校验和(2026-10-04 15:0x 只读复查实查,主机A 业务库)。 + * 这三个号已经被应用,字节就此封死;改一个空格都会让下次重启启动期校验失败。 */ private record Applied(String fileName, int prodChecksum) { } private static final List APPLIED_IN_PROD = List.of( new Applied("V142__web_config_sha256.sql", 1152261840), - new Applied("V143__company_and_users_company_id.sql", 1539570901)); + new Applied("V143__company_and_users_company_id.sql", 1539570901), + new Applied("V144__users_company_id_drop_default.sql", 1833593804)); // ---------------------------------------------------------------- 取文件 @@ -170,15 +171,19 @@ class CompanyMigrationV144Test { } } - /** 破坏点:取号取到已应用的 143(原地改)或取到退役洞 132/133,Flyway 启动期撞号或报未应用。 */ + /** + * 破坏点:取号取到已应用的 143(原地改)或取到退役洞 132/133,Flyway 启动期撞号或报未应用。 + * + *

这里不断言"V144 是当前最大版本":那条断言在 V145 落盘的那一秒就会红,而它想防的 + * 撞号已经由 {@code MigrationInventoryTest#noDuplicateVersionFiles} 把守。留在这种"每次新增 + * 迁移都必须回来删一行"的断言,本质是给下一笔迁移埋雷。

+ */ @Test void migrationIsVersionedOneFourFour() throws IOException { Path file = migration(); assertEquals(144, versionOf(file), "摘 DEFAULT 必须是 V144(V143 之后的下一号,不能原地改 V143)"); assertTrue(file.getFileName().toString().matches("^V144__[A-Za-z0-9_.-]+$"), "命名应 V144__.sql: " + file.getFileName()); - int maxOnDisk = versionFiles().stream().mapToInt(CompanyMigrationV144Test::versionOf).max().orElse(0); - assertEquals(144, maxOnDisk, "V144 应是当前最大版本"); } /** diff --git a/backend-java/src/test/java/com/nanri/aiimage/config/CompanyScopeMigrationV145Test.java b/backend-java/src/test/java/com/nanri/aiimage/config/CompanyScopeMigrationV145Test.java new file mode 100644 index 000000000..4af49a4ac --- /dev/null +++ b/backend-java/src/test/java/com/nanri/aiimage/config/CompanyScopeMigrationV145Test.java @@ -0,0 +1,363 @@ +package com.nanri.aiimage.config; + +import org.junit.jupiter.api.Test; + +import java.io.BufferedReader; +import java.io.IOException; +import java.io.StringReader; +import java.nio.charset.StandardCharsets; +import java.nio.file.Files; +import java.nio.file.Path; +import java.util.ArrayList; +import java.util.List; +import java.util.regex.Matcher; +import java.util.regex.Pattern; +import java.util.stream.Stream; +import java.util.zip.CRC32; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertTrue; + +/** + * V145(品牌库/去重库物化 company_id + 唯一键按公司放宽)的文件审计。 + * 设计:crawler-plugin/docs/ops/brand-dedupe-company-isolation-design-2026-10-04.md §4 / §5; + * 实施:crawler-plugin/docs/plans/18-brand-dedupe-company-isolation.md Task 2。 + * + *

本仓 pom 无 H2、无 testcontainers,迁移跑不起来,所以文件审计是唯一能守住的层—— + * 与 {@link CompanyMigrationV143Test} / {@link CompanyMigrationV144Test} 同口径: + * 断言打在剥掉注释后的可执行 SQL 上(注释里的 {@code --} 与字符串字面量里的 {@code --} 必须区分开, + * 否则断言打在残缺 SQL 上,见 {@link #stripComments})。

+ * + *

这里的断言形状与 V143 不同(不是"可空 → 回填 → MODIFY NOT NULL"三段式),原因是 2026-10-04 + * 上线前实查:生产 MySQL 8.4.8,{@code biz_dedupe_total_data} 507,306 行 / 181.3 MB。三段式在这张表上 + * 意味着一次 50.7 万行的单语句 UPDATE(对所有扫描行持 X 锁)加一次改 nullability 的重建。 + * 那两条破坏点用例({@link #avoidsTheThreeStageThatWouldRebuildTheBigTable})钉的就是这个。

+ */ +class CompanyScopeMigrationV145Test { + + private static final Path ROOT = Path.of(System.getProperty("user.dir")); + private static final Path DB_DIR = ROOT.resolve("src/main/resources/db"); + private static final String INVALID = "biz_invalid_asin_data"; + private static final String DEDUPE = "biz_dedupe_total_data"; + + // ---------------------------------------------------------------- 取文件 + + private static List versionFiles() throws IOException { + try (Stream s = Files.list(DB_DIR)) { + return s.filter(p -> p.getFileName().toString().matches("^V\\d+(?:_\\d+)?__.*\\.sql$")) + .sorted() + .toList(); + } + } + + private static int versionOf(Path p) { + Matcher m = Pattern.compile("^V(\\d+)(?:_\\d+)?__").matcher(p.getFileName().toString()); + return m.find() ? Integer.parseInt(m.group(1)) : -1; + } + + private static Path migration() throws IOException { + List hits = versionFiles().stream() + .filter(p -> p.getFileName().toString().startsWith("V145__")) + .toList(); + assertFalse(hits.isEmpty(), "缺少 V145__*.sql:两张规则库的 company_id 还没落盘"); + assertEquals(1, hits.size(), "V145 只允许一个迁移文件(撞号会让 Flyway 启动失败)"); + return hits.get(0); + } + + private static String raw(Path file) throws IOException { + return Files.readString(file, StandardCharsets.UTF_8); + } + + private static String rawMigration() throws IOException { + return raw(migration()); + } + + private static String statements() throws IOException { + return normalize(stripComments(rawMigration())); + } + + // ------------------------------------------------------------ SQL 预处理 + // 与 CompanyMigrationV144Test 逐字同实现:注释里的 -- 与字符串里的 -- 是两件事, + // 另写一版简化实现会让断言打在残缺 SQL 上(V144 那份注释就写着这个理由)。 + + private static String stripComments(String sql) { + StringBuilder out = new StringBuilder(sql.length()); + int i = 0; + while (i < sql.length()) { + char c = sql.charAt(i); + if (c == '\'') { + int end = i + 1; + while (end < sql.length()) { + if (sql.charAt(end) == '\'') { + if (end + 1 < sql.length() && sql.charAt(end + 1) == '\'') { + end += 2; + continue; + } + break; + } + end++; + } + out.append(sql, i, Math.min(end + 1, sql.length())); + i = end + 1; + continue; + } + if (c == '-' && i + 1 < sql.length() && sql.charAt(i + 1) == '-') { + while (i < sql.length() && sql.charAt(i) != '\n') { + i++; + } + continue; + } + if (c == '/' && i + 1 < sql.length() && sql.charAt(i + 1) == '*') { + int end = sql.indexOf("*/", i + 2); + i = end < 0 ? sql.length() : end + 2; + continue; + } + out.append(c); + i++; + } + return out.toString(); + } + + private static String normalize(String sql) { + return sql.replaceAll("\\s+", " ").trim(); + } + + /** Flyway 的校验和:CRC32 逐 {@code BufferedReader.readLine()} 的 UTF-8 字节累加,行尾不入 CRC。 */ + private static int flywayChecksum(String content) throws IOException { + CRC32 crc = new CRC32(); + try (BufferedReader reader = new BufferedReader(new StringReader(content))) { + String line; + while ((line = reader.readLine()) != null) { + crc.update(line.getBytes(StandardCharsets.UTF_8)); + } + } + return (int) crc.getValue(); + } + + // ------------------------------------------------------------------ 用例 + + /** 破坏点:取到已应用的 144(原地改=两台都起不来),或为没写出来的迁移预留号段留洞。 */ + @Test + void migrationIsVersionedOneFourFive() throws IOException { + Path file = migration(); + assertEquals(145, versionOf(file), "本迁移必须是 V145(V144 之后的下一号)"); + assertTrue(file.getFileName().toString().matches("^V145__[A-Za-z0-9_.-]+\\.sql$"), + "命名应 V145__.sql:" + file.getFileName()); + } + + /** + * 破坏点:只给一张表加列。另一张表的读侧会拿 null 去过滤 ⇒ 整页空,而不是"少一列"。 + * 且必须是 {@code NOT NULL DEFAULT 1}:可空=混合窗口里旧 jar 写进来的行归不到任何公司。 + */ + @Test + void bothRuleTablesGetANotNullCompanyColumn() throws IOException { + String sql = statements(); + for (String table : List.of(INVALID, DEDUPE)) { + assertTrue(sql.contains("ALTER TABLE `" + table + "` ADD COLUMN `company_id` bigint NOT NULL DEFAULT 1"), + table + " 应一次到位加成 NOT NULL DEFAULT 1,实际:" + sql); + } + assertEquals(2, count(sql, "ADD COLUMN `company_id` bigint NOT NULL DEFAULT 1"), + "只允许这两张表各一次 company_id 加列(第三张=推翻了一期零 DDL)"); + } + + /** + * 破坏点:照 V143 抄三段式。在 507,306 行 / 181.3 MB 的 biz_dedupe_total_data 上, + * 单语句回填 UPDATE 会对所有扫描行持 X 锁,MODIFY 改 nullability 要重建表—— + * 而这两件事都不会报错,只会让去重导入在业务时间卡住。 + * 末位加列 + ALGORITHM=INSTANT 才是本表该用的形状(MySQL 8.4.8 实查版本已写进头注释)。 + */ + @Test + void avoidsTheThreeStageThatWouldRebuildTheBigTable() throws IOException { + String sql = statements(); + assertEquals(3, count(sql, "ALGORITHM = INSTANT"), "三条加列都要钉 INSTANT,不认就报 1846 而不是悄悄 COPY"); + assertFalse(sql.contains(" AFTER "), + "非末位加列不能走 INSTANT(会重建聚簇记录),本迁移一律加在表尾"); + assertFalse(sql.contains("MODIFY COLUMN"), + "不许用 MODIFY 收 nullability:那是第二次表重建,DEFAULT 已经由加列语句带上了"); + + List updates = new ArrayList<>(); + Matcher m = Pattern.compile("UPDATE `(biz_[a-z_]+|users)`[^;]*;").matcher(sql); + while (m.find()) { + updates.add(m.group()); + } + assertEquals(1, updates.size(), "本迁移只允许一条 UPDATE(按上传账号反推第 2 家的去重行),实际 " + updates); + String derivation = updates.get(0); + assertTrue(derivation.contains("JOIN `users` u"), "那条 UPDATE 必须由 users 驱动,否则扫描面是 50.7 万行"); + assertTrue(derivation.contains("u.`company_id` <> 1"), + "必须限定在\"不属于第 1 家\"的行上——写成 IS NULL 回填就是全表扫"); + assertTrue(derivation.contains("d.`company_id` = 1"), "必须带幂等限定,重跑才是 no-op"); + assertTrue(rawMigration().contains("派生值"), + "头注释必须写明历史行的 1 是加列时记录的默认值(不是写进每一行的),否则后人不知道摘 DEFAULT 前要重跑核对"); + } + + /** + * 破坏点:不补 uploader_user_id。AUTO 行永远没有审计锚点,下次再要回填就只能全表填 1(§1.1、§3.3)。 + * 这一列必须是【可空且无默认值】:历史行确实无从追溯,补一个假的归属比留空更坏。 + */ + @Test + void invalidAsinAlsoGainsUploaderAnchor() throws IOException { + String sql = statements(); + assertTrue(sql.contains("ALTER TABLE `" + INVALID + "` ADD COLUMN `uploader_user_id` bigint NULL DEFAULT NULL"), + "uploader_user_id 应可空且无默认值"); + assertTrue(rawMigration().contains("AUTO 行取 task.user_id"), + "头注释/列注释应写明这一列的两个取值来源,否则后人会以为它是操作人字段"); + } + + /** + * 破坏点:新唯一键没把 company_id 放第一位,或旧唯一键还在。 + * 旧键不删,第二家公司写同一个 ASIN 会被 INSERT IGNORE 静默吞掉——整套改造白做,而且一声不响。 + */ + @Test + void uniqueKeysAreReplacedNotLayered() throws IOException { + String sql = statements(); + assertTrue(sql.contains("ADD UNIQUE KEY `uk_company_value_brand` (`company_id`, `data_value`, `brand`(191))"), sql); + assertTrue(sql.contains("ADD UNIQUE KEY `uk_company_data_value` (`company_id`, `data_value`)"), sql); + assertTrue(sql.contains("DROP INDEX `uk_data_value_brand`"), sql); + assertTrue(sql.contains("DROP INDEX `uk_data_value`"), sql); + // 先加新再删旧:中间任何一步失败都至少还有一个唯一键在守并发 + assertTrue(sql.indexOf("ADD UNIQUE KEY `uk_company_value_brand`") < sql.indexOf("DROP INDEX `uk_data_value_brand`"), + "品牌库顺序必须是先 ADD 后 DROP"); + assertTrue(sql.indexOf("ADD UNIQUE KEY `uk_company_data_value`") < sql.indexOf("DROP INDEX `uk_data_value`"), + "去重库顺序必须是先 ADD 后 DROP"); + assertEquals(4, count(sql, "ALGORITHM = INPLACE, LOCK = NONE"), + "四条索引操作都要钉 INPLACE+LOCK=NONE,否则 MySQL 可以选 COPY 锁写"); + assertFalse(sql.contains("USING BTREE `uk_"), "不该出现的形式"); + } + + /** + * 破坏点:写成裸 ALTER(不可重跑)。MySQL 的 DDL 不进事务,repair+重启会从第一条语句重跑整个文件, + * 裸 ALTER 在恢复路径上必撞 1060/1050。这里按"每条条件 DDL 都配一份元数据判断"计数, + * 数量由本轮扫描得出,不自挑。 + */ + @Test + void everyConditionalDdlIsGuardedByInformationSchema() throws IOException { + String sql = statements(); + long alters = count(sql, "ALTER TABLE"); + assertEquals(7, alters, "本迁移应有 7 条条件 DDL(3 加列 + 4 索引),实际 " + alters); + assertEquals(alters, count(sql, "PREPARE stmt FROM @sql"), "每条条件 DDL 都要走 PREPARE"); + assertEquals(alters, count(sql, "DEALLOCATE PREPARE stmt"), "PREPARE 名复用前必须 DEALLOCATE"); + assertTrue(count(sql, "information_schema") >= alters, + "每条条件 DDL 各自要一次元数据存在性判断"); + } + + /** 破坏点:动了别的表 / 建了表(一期定案是业务表零 DDL,破例只限这两张)。 */ + @Test + void touchesOnlyTheTwoRuleTables() throws IOException { + List altered = new ArrayList<>(); + Matcher m = Pattern.compile("ALTER TABLE `([a-z_]+)`").matcher(statements()); + while (m.find()) { + altered.add(m.group(1)); + } + assertEquals(List.of(DEDUPE, INVALID), altered.stream().distinct().sorted().toList(), + "V145 只允许动这两张表,实际动到了 " + altered); + assertFalse(statements().contains("CREATE TABLE"), "不建新表"); + assertFalse(statements().contains("ALTER TABLE `users`"), "不许顺手改 users(V144 已经管过它;本迁移只读它)"); + assertFalse(statements().contains("INSERT INTO `columns`"), "本迁移不加菜单,公司管理菜单归 V143"); + } + + /** 破坏点:头注释的"影响表与数据量"是估的。锁表风险的结论只有配上实查行数才站得住。 */ + @Test + void headerCarriesMeasuredVolumesAndTheDefaultCountdown() throws IOException { + String raw = rawMigration(); + for (int i = 1; i <= 6; i++) { + assertTrue(raw.contains(i + ". "), "头注释缺模板第 " + i + " 项"); + } + for (String field : List.of("变更目的", "影响表与数据量", "锁表风险", "验证 SQL", "回滚步骤", "上线窗口")) { + assertTrue(raw.contains(field), "头注释应含必填项:" + field); + } + assertTrue(raw.contains("507,306"), "去重库行数必须是生产实查值(写进锁表风险的依据)"); + assertTrue(raw.contains("14,284"), "品牌库行数必须是生产实查值"); + assertTrue(raw.contains("8.4.8"), "DDL 形状是按生产 MySQL 版本选的,头注释要记下版本"); + assertTrue(raw.contains("1364"), "头注释要写清 DEFAULT 1 是为混合窗口的旧 jar 存在(1364 是被吞掉的那条错)"); + assertTrue(raw.contains("COMPANY_DEFAULT_STILL_PRESENT"), + "头注释必须点名启动期哨兵签名,摘 DEFAULT 的倒计时才有人接"); + assertTrue(raw.contains("ALTER COLUMN") && raw.contains("DROP DEFAULT"), + "头注释要给出摘 DEFAULT 的安全写法(纯元数据),否则后人会照 V144 用 MODIFY 重建表"); + assertTrue(raw.contains("已于 10-04 14:55 开通") || raw.contains("14:55"), + "第二家公司已经开通这件事必须写在头注释里——它是 DEFAULT 摘除时点被压缩的唯一依据"); + } + + /** 破坏点:验证段没核对派生值、没核对新键的幂等语义。 */ + @Test + void shipsPostDeployVerificationSql() throws IOException { + String raw = rawMigration(); + assertTrue(raw.contains("SHOW COLUMNS FROM `" + INVALID + "` LIKE 'company_id'"), "验证 SQL 要核对品牌库列"); + assertTrue(raw.contains("SHOW COLUMNS FROM `" + DEDUPE + "` LIKE 'company_id'"), "验证 SQL 要核对去重库列"); + assertTrue(raw.contains("Default = 1"), "验证 SQL 要写明期望 Default = 1(混合窗口)"); + assertTrue(raw.contains("SUM(company_id <> 1)"), "验证 SQL 要核对历史行的派生值真的是 1"); + assertTrue(raw.contains("u.`company_id` <> d.`company_id`"), + "验证 SQL 要核对反推那条 UPDATE 真跑到了(misfiled 必须为 0),否则第 2 段的归属无人复核"); + assertTrue(raw.contains("重跑这两条"), "摘 DEFAULT 的那笔迁移必须重跑派生值核对,验证段要把这句话留下"); + assertTrue(raw.contains("INSERT IGNORE 在新键下"), "验证 SQL 要复验新唯一键的幂等语义"); + assertTrue(raw.contains("uploader_user_id") && raw.contains("ZZTEST"), + "验收 INSERT 必须显式带上 NOT NULL 的 uploader_user_id,否则那条 SQL 在生产直接报错、实验做不成"); + } + + /** + * 破坏点:回滚被编成 V146(Flyway 扫描路径里的任何 V*.sql 都会在下次启动自动执行), + * 或者回滚脚本没删历史行(重装时 Flyway 判定"已应用"而跳过重建)。 + */ + @Test + void rollbackStaysOutOfFlywayScanAndCoversTheHistoryRow() throws IOException { + try (Stream s = Files.list(DB_DIR)) { + assertTrue(s.noneMatch(p -> p.getFileName().toString().startsWith("V146__")), + "回滚不许编成版本化迁移:V146 会被 Flyway 在下次启动自动执行"); + } + Path rollback = ROOT.resolve("docs/rollback-V145-company-scope.sql"); + assertTrue(Files.isRegularFile(rollback), "回滚人工补丁必须存在:" + rollback); + String whole = raw(rollback); + assertTrue(whole.contains("flyway_schema_history"), "回滚必须删本版本历史行"); + String executable = normalize(stripComments(whole)); + assertTrue(executable.contains("ADD UNIQUE KEY `uk_data_value_brand` (`data_value`, `brand`(191))"), + "回滚要把品牌库的全局唯一键加回来"); + assertTrue(executable.contains("ADD UNIQUE KEY `uk_data_value` (`data_value`)"), + "回滚要去把去重库的全局唯一键加回来"); + assertFalse(executable.contains("DROP COLUMN"), + "DROP COLUMN 是丢归属信息的动作,必须留在注释里由人工解开(第 2 家已开通,删了就无法再分清)"); + } + + /** + * 破坏点:头注释喊了哨兵,哨兵却没探这两列 ⇒ "有人盯着摘 DEFAULT"这件事是假的。 + * 这条把文档承诺与代码实现对齐(§10 护栏 1 的可执行部分)。 + */ + @Test + void startupSentinelActuallyWatchesTheTwoNewColumns() throws IOException { + Path guard = ROOT.resolve("src/main/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuard.java"); + assertTrue(Files.isRegularFile(guard), "启动期 DEFAULT 哨兵应存在:" + guard); + String text = raw(guard); + assertTrue(text.contains("COMPANY_DEFAULT_STILL_PRESENT"), "哨兵标记串必须保持 ASCII 原样(巡检按它 grep docker logs)"); + assertTrue(text.contains("'" + INVALID + "'"), "哨兵要探品牌库的 company_id,否则 V145 的 DEFAULT 没人盯"); + assertTrue(text.contains("'" + DEDUPE + "'"), "哨兵要探去重库的 company_id"); + assertTrue(text.contains("COLUMN_DEFAULT"), "哨兵应真的读列元数据,而不是靠猜"); + } + + /** 破坏点:盘点文档没跟着改,下一个人按"取号起点"取号就撞号。 */ + @Test + void inventoryDocTracksV145() throws IOException { + Path doc = ROOT.resolve("docs/migration-inventory.md"); + String text = raw(doc); + assertTrue(text.contains(migration().getFileName().toString()), "盘点文档应记录 V145 文件名"); + assertTrue(text.contains("V146"), "盘点文档应把取号起点推到 V146"); + assertTrue(text.contains("1833593804"), "盘点文档应记下 V144 的生产存量校验和"); + assertTrue(text.contains("1539570901"), "盘点文档应保留 V143 的生产存量校验和"); + } + + /** 自检:本用例集扫的是真文件,且 normalize 后仍能命中关键串(0 命中的断言是恒绿的)。 */ + @Test + void scannedSignaturesAreActuallyPresent() throws IOException { + String sql = statements(); + assertTrue(sql.length() > 1000, "剥注释后的 SQL 太短,说明预处理把内容吃掉了:" + sql.length()); + assertTrue(count(sql, "ALTER TABLE") > 0 && count(sql, "information_schema") > 0, + "关键签名 0 命中=预处理或文件路径坏了,本类的断言全部不可信"); + } + + private static long count(String haystack, String needle) { + int n = 0, i = haystack.indexOf(needle); + while (i >= 0) { + n++; + i = haystack.indexOf(needle, i + needle.length()); + } + return n; + } +} diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuardTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuardTest.java index ce63520ef..ab21cc460 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuardTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuardTest.java @@ -15,19 +15,27 @@ import org.springframework.boot.context.event.ApplicationReadyEvent; import org.springframework.context.event.EventListener; import org.springframework.jdbc.core.JdbcTemplate; +import java.util.ArrayList; +import java.util.LinkedHashMap; +import java.util.List; +import java.util.Map; + import static org.assertj.core.api.Assertions.assertThat; import static org.mockito.ArgumentMatchers.anyString; -import static org.mockito.ArgumentMatchers.eq; import static org.mockito.Mockito.mock; +import static org.mockito.Mockito.never; import static org.mockito.Mockito.verify; import static org.mockito.Mockito.when; /** - * 「半套发布」哨兵(设计文档 §6.3)。 + * 「半套发布」哨兵(设计文档 §6.3 / §10 护栏 1)。 * - *

{@code users.company_id DEFAULT 1} 只为发布期的旧 jar 存在(§8.2)。第二家公司一旦开通而 DEFAULT - * 还没摘,此后每个没显式传公司的建号都会被静默塞进默认那家——不报错、不丢数据,只在后台列表里 - * 表现成"这个人怎么在别家公司"。所以必须用代码在启动期喊出来,而不是写在注释里等人记得。

+ *

{@code company_id DEFAULT 1} 只为发布期的旧 jar 存在(§8.2)。第二家公司一旦开通而 DEFAULT + * 还没摘,此后每个没显式传公司的写入都会被静默塞进默认那家——不报错、不丢数据,只在后台列表里 + * 表现成"这条数据怎么在别家公司"。所以必须用代码在启动期喊出来,而不是写在注释里等人记得。

+ * + *

V145 之后盯的是【三张表】(users + 两张规则库),不是一列:漏登记的那张表等于没人盯, + * 所以"探不到列"也要出声(见 {@link #unwatchedTableIsAnnouncedInsteadOfLookingClean})。

*/ class CompanyDefaultGuardTest { @@ -58,8 +66,18 @@ class CompanyDefaultGuardTest { when(companyMapper.selectCount(null)).thenReturn(count); } - private void columnDefault(String value) { - when(jdbcTemplate.queryForObject(anyString(), eq(String.class))).thenReturn(value); + /** 一条探针结果都没有=这些表在 information_schema 里查不到 company_id。 */ + private void probeReturns(String... tableAndDefault) { + List> rows = new ArrayList<>(); + for (String entry : tableAndDefault) { + int split = entry.indexOf('='); + Map row = new LinkedHashMap<>(); + row.put("TABLE_NAME", entry.substring(0, split)); + row.put("COLUMN_DEFAULT", split + 1 >= entry.length() || "null".equals(entry.substring(split + 1)) + ? null : entry.substring(split + 1)); + rows.add(row); + } + when(jdbcTemplate.queryForList(anyString())).thenReturn(rows); } private String messageAt(Level level) { @@ -71,45 +89,76 @@ class CompanyDefaultGuardTest { } @Test - @DisplayName("第二家公司已开通、DEFAULT 还在:打 ERROR 并带上哨兵标记") + @DisplayName("第二家公司已开通、users 的 DEFAULT 还在:打 ERROR 并带上哨兵标记") void secondCompanyWithDefaultStillOnShoutsError() { companies(2); - columnDefault("1"); + probeReturns("users=1", "biz_invalid_asin_data=null", "biz_dedupe_total_data=null"); guard.check(); assertThat(messageAt(Level.ERROR)) .contains(CompanyDefaultGuard.ALARM) - .contains("2"); + .contains("2") + .contains("users.company_id DEFAULT=1"); } @Test - @DisplayName("只有一家公司:DEFAULT 是发布期故意留的,不许报警") + @DisplayName("V145 的两张规则库带 DEFAULT:两张都要点出来,不许只报第一条") + void ruleTablesAreWatchedToo() { + companies(2); + probeReturns("users=null", + "biz_invalid_asin_data=1", + "biz_dedupe_total_data=1"); + + guard.check(); + + assertThat(messageAt(Level.ERROR)) + .contains(CompanyDefaultGuard.ALARM) + .contains("biz_invalid_asin_data.company_id DEFAULT=1") + .contains("biz_dedupe_total_data.company_id DEFAULT=1"); + } + + @Test + @DisplayName("给出的修复语句必须是 ALTER COLUMN ... DROP DEFAULT:MODIFY 会重建表、把派生归属洗掉") + void fixHintIsTheMetadataOnlyForm() { + companies(2); + probeReturns("users=null", "biz_invalid_asin_data=null", "biz_dedupe_total_data=1"); + + guard.check(); + + assertThat(messageAt(Level.ERROR)) + .contains("ALTER TABLE biz_dedupe_total_data ALTER COLUMN company_id DROP DEFAULT") + .doesNotContain("MODIFY"); + } + + @Test + @DisplayName("只有一家公司:DEFAULT 是发布期故意留的,不许报警,也不该去探库") void singleCompanyKeepsQuiet() { companies(1); - columnDefault("1"); guard.check(); assertThat(messageAt(Level.ERROR)).isEmpty(); + verify(jdbcTemplate, never()).queryForList(anyString()); } @Test - @DisplayName("DEFAULT 已经摘掉:一声不响") + @DisplayName("三张表的 DEFAULT 都已摘掉:一声不响") void droppedDefaultKeepsQuiet() { companies(3); - columnDefault(null); + probeReturns("users=null", "biz_invalid_asin_data=null", "biz_dedupe_total_data=null"); guard.check(); assertThat(messageAt(Level.ERROR)).isEmpty(); + assertThat(messageAt(Level.WARN)).isEmpty(); } @Test @DisplayName("DEFAULT 是空串也按「已摘除」处理,别把空值读成还在") void blankDefaultCountsAsDropped() { companies(2); - columnDefault(" "); + probeReturns("users= ", "biz_invalid_asin_data=null", "biz_dedupe_total_data=null"); guard.check(); @@ -124,7 +173,7 @@ class CompanyDefaultGuardTest { guard.check(); assertThat(messageAt(Level.ERROR)).isEmpty(); - verify(jdbcTemplate, org.mockito.Mockito.never()).queryForObject(anyString(), eq(String.class)); + verify(jdbcTemplate, never()).queryForList(anyString()); } @Test @@ -140,21 +189,57 @@ class CompanyDefaultGuardTest { .contains("没有 information_schema 读权限"); } + /** 改名、迁移没跑、权限不够都会让某一列从探针结果里消失——那不能读成"没问题"。 */ @Test - @DisplayName("探的是 users.company_id 这一列,表名列名写错就等于没探") - void probeReadsTheRightColumn() { + @DisplayName("盯不到的那张表要出声,不能装作检查过了") + void unwatchedTableIsAnnouncedInsteadOfLookingClean() { companies(2); - columnDefault("1"); + probeReturns("users=null"); + + guard.check(); + + assertThat(messageAt(Level.ERROR)).isEmpty(); + assertThat(messageAt(Level.WARN)) + .contains(CompanyDefaultGuard.PROBE_FAILED) + .contains("biz_invalid_asin_data") + .contains("biz_dedupe_total_data"); + } + + @Test + @DisplayName("探的是这三张表的 company_id 列,表名列名写错就等于没探") + void probeReadsTheRightColumns() { + companies(2); + probeReturns("users=null", "biz_invalid_asin_data=null", "biz_dedupe_total_data=null"); guard.check(); ArgumentCaptor sql = ArgumentCaptor.forClass(String.class); - verify(jdbcTemplate).queryForObject(sql.capture(), eq(String.class)); + verify(jdbcTemplate).queryForList(sql.capture()); assertThat(sql.getValue()) .contains("information_schema.COLUMNS") .contains("DATABASE()") + .contains("'company_id'") .contains("'users'") - .contains("'company_id'"); + .contains("'biz_invalid_asin_data'") + .contains("'biz_dedupe_total_data'"); + } + + @Test + @DisplayName("清单与探针 SQL 的 IN 列表必须同源:漏一条就是那张表没人盯") + void watchedTablesMatchTheProbeSql() { + String probeSql = probeSqlText(); + for (String table : CompanyDefaultGuard.WATCHED_TABLES) { + assertThat(probeSql).contains("'" + table + "'"); + } + } + + private String probeSqlText() { + companies(2); + probeReturns("users=null", "biz_invalid_asin_data=null", "biz_dedupe_total_data=null"); + guard.check(); + ArgumentCaptor sql = ArgumentCaptor.forClass(String.class); + verify(jdbcTemplate).queryForList(sql.capture()); + return sql.getValue(); } @Test