Files
crawler-plugin/backend-java/docs/migration-inventory.md
T
huangzd1997 2b7c377e7e fix(多租户): V152 摘 columns/biz_shop_key 的 company_id 列默认值,去重库写侧显式带归属
- V152:两条裸 ALTER COLUMN DROP DEFAULT(纯元数据、可重跑)。依据 V150 §6「合并成一版」
  与 migration-inventory 取号;前提=V149/150/151 已于 10-06 17:32:29 落库、写侧三条通道
  (PermissionMenuService create/copyTreeFromTemplate、ShopKeyService)均显式落列。
- 去重库:DedupeTotalDataMapper/Entity/Service 的 INSERT 显式写 company_id,不再靠列
  DEFAULT 1 兜底(第二家公司开通后静默归错)。biz_dedupe_total_data 的 DEFAULT 摘除排在
  本批上线并验证写入之后,不在本版。
- CompanyDefaultDropV152Test 9 例(含 V149/150/151 已应用字节的 CRC 冻结)+ dedupe 两支测试
  + rollback-V152 人工补丁(默认档可直接执行)+ 盘点文档同步(取号起点改 V153)。
2026-10-07 04:26:43 +08:00

63 lines
9.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Flyway 迁移盘点(task-193)
> 生成方式:`src/test/java/com/nanri/aiimage/config/MigrationInventoryTest.java`(只读审计,可重复)。
> 快照日期:2026-10-01;2026-10-03 随 V142 追加时同步过概览数字与取号起点;2026-10-04 随 V143 同步;2026-10-04 随 V144 同步;2026-10-04 15:1x 随 V145 同步;2026-10-05 随 V146 同步;2026-10-05 23:0x 随 V147 同步;2026-10-06 随 V148 同步(并把 V145/V146/V147 从"待发版"挪进"已应用");2026-10-06 随 V149 同步(菜单树按公司一套;V148 仍未上线,故 V149 与它同批);2026-10-06 随 V150/V151 同步,并删掉未上线的 V148(该号就此退役,见下);2026-10-07 随 V152 同步(并把 V149/V150/V151 从"待发版"挪进"已应用"——10-06 17:32 只读实查,success 全 1)。
## 概览
- 版本化迁移文件数:**150**(`src/main/resources/db/V*.sql`,其中整数版本 149 个 + 小版本 V25_1)
- 整数版本范围:**V1..V152**,其中 V132/V133/V148 为已退役空号(见下),其余连续
- 历史遗留小版本:**V25_1__shop_manage_group_bind_user.sql**(Flyway 语义 25.1,紧跟在 V25 之后、V26 之前执行,属历史命名,保留)
- 最新版本:**V152__columns_shop_key_company_id_drop_default.sql**(上一版 **V151__rule_tables_shared_across_companies.sql**,再上一版 **V150__shop_key_company_scope.sql**)
- 待下一次 jar 发版执行:**V152**(摘 `columns` 与 `biz_shop_key` 的 DEFAULT;V149/V150/V151 已于 10-06 17:32 应用,见下)
- 已应用:V142(10-03 18:23)、V143(10-04 10:48)、**V144(10-04 13:22)**、`V145__brand_dedupe_company_scope.sql`(10-05 13:01)、`V146__users_expires_at_admin_expiry.sql`(10-05 13:01)、**`V147__product_category_company_scope.sql`(10-06 11:03)**、`V149__permission_menu_company_tree.sql` / `V150__shop_key_company_scope.sql` / `V151__rule_tables_shared_across_companies.sql`(三条均为 10-06 17:32)
- 末段 `flyway_schema_history` 为 2026-10-07 主机A 只读实查(`success` 全 1,最大整数版本 151),不是从 jar 版本推的
- 重复版本:无
- 迁移命名:全部符合 `V<整数>(_<子版本>)?__<描述>.sql`,无空格
## 生产已执行核对
生产 `flyway_schema_history` 末段:V125..V131 之后直接是 **V134__publish_item_free_text_columns**、**V135__dedupe_total_data_wide_columns**(两条 `installed_on` 均为 2026-09-25 20:46:16),库内没有 132/133 记录。
## 空号的来历(V132/V133/V148)
本地曾存在 `V132__web_config_add_is_latest.sql`、`V133__hide_redundant_indexes_invisible.sql`,与另一分支已在生产落库的 V134/V135 冲突。因 Flyway 未开启 `out-of-order`,把任何迁移编到 132/133 会在启动期报 "resolved migration not applied";因此这两条改为 **V136/V137**,132/133 永久退役,不可回填。
`V148__product_category_builtin_owned_by_company.sql`(把 18 行内置类目的归属从共享哨兵 0 改成厦门米椿花 1)从未上线,2026-10-06 控制方点名「商品类目做成共享的,不区分」⇒ 它的口径被 V151 整体推翻,文件连同 `ProductCategoryMigrationV148Test`、`docs/rollback-V148-product-category-builtin-shared.sql` 一起删除。它与 132/133 的区别要写清:**把新迁移编号写回 148 在 Flyway 语义上是可行的**(生产最大值仍是 147,不存在 out-of-order),这里禁它是共树并发的护栏——148 与 149/150 是同一工作区里另一路会话此刻正在引用的号,被删的 `V148` 文件可能被再次写出,而同号两个文件会让 Flyway 启动期报 "Found more than one migration with version 148" ⇒ 两台 java 同时起不来。宁可让 `integerVersionsSequentialFromOne` 的红字出现在测试里,也不把撞号留到运行期发现。因此这三个号都在 `MigrationInventoryTest.RETIRED_HOLES` 里登记。
后续新增迁移从 **V153** 起取号(只认"当前最大值 + 1",不要为还没写出来的迁移预留号段——预留会在 1..max 里留洞,`integerVersionsSequentialFromOne` 会红;也不要回填上面那三个洞)。原先挂在 V149 名下的"摘 DEFAULT"待办,`columns` 那条已与 `biz_shop_key` 合并成 **V152** 发出(V150 头注释第 6 段要求"合并成一版发出";发布前的只读取证:`columns` 154 行按公司 52/51/51、`biz_shop_key` 16 行全 company_id=1 且无 NULL,两列 COLUMN_DEFAULT 都是 1)。摘 DEFAULT 这一族现在只剩一条:
- `ALTER TABLE biz_dedupe_total_data ALTER COLUMN company_id DROP DEFAULT;` —— 前提:写侧显式落列的修复(`insertBatchIgnore` 的列清单补 `company_id` + 实体加字段)**先上线并验证真实导入**。历史上它的导入不算这一列、全靠 `DEFAULT 1` 兜底,先摘=每次导入 1364;修复已落码、尚未出厂,按"先上线并验过写入 → 才谈摘"的顺序排下一版。
**`biz_product_category.company_id` 的 DEFAULT 由"待摘"改成"必须保留"**(这一条与 V151 同批生效):V151 之后新 jar 的 INSERT 列清单不含 `company_id`,而该列是 `NOT NULL`,全靠 `DEFAULT 1` 满足——此时执行 `DROP DEFAULT` 会让每一次新建类目报 1364。`biz_invalid_asin_data.company_id` 同理(品牌库那条写入失败还会被 `CollectDataInvalidAsinBatchWriter` 吞成 `log.warn` ⇒ 接口返回成功而黑名单静默少一批)。所以这两张表已从 `CompanyDefaultGuard.WATCHED_TABLES` 与探针 SQL 的 IN 列表里同时摘掉(清单与 SQL 由 `CompanyDefaultGuardTest` 双向钉同源),否则哨兵会在每次启动时对着一列"没人读、摘了会炸"的默认值喊 `COMPANY_DEFAULT_STILL_PRESENT`,而巡检把那条签名计进 ALERTS。
它们真正消失的时点是下一版(两台同版之后):
- `ALTER TABLE biz_invalid_asin_data DROP COLUMN company_id;`
- `ALTER TABLE biz_product_category DROP COLUMN company_id;`
摘除 DEFAULT 的动作在这两条里"顺带完成"(列没了,默认值随之消失),**仍然禁写成 `MODIFY COLUMN ... NOT NULL`**(重建表会按当时的列默认值物化历史行)。`biz_shop_key` 已在 **V152** 摘掉 DEFAULT(哨兵清单保留:被装回时会再喊出来);`biz_dedupe_total_data` 仍按公司写、DEFAULT 待摘(等写侧修复上线),哨兵继续盯。
原先挂在待办里的"V137 冗余索引 DROP"迁移计划取 V139,该号已被 `V139__asin_result_cache.sql` 占用,顺延到 V140;V140 已被品牌补测队列表 `V140__collectdata_brand_recheck.sql` 落用。
## 已应用迁移的存量校验和(2026-10-04 与 2026-10-07 从生产 `flyway_schema_history` 只读实查)
| 版本 | 文件 | 校验和 | installed_on |
|---|---|---|---|
| 142 | `V142__web_config_sha256.sql` | `1152261840` | 2026-10-03 18:23:22 |
| 143 | `V143__company_and_users_company_id.sql` | `1539570901` | 2026-10-04 10:48:54 |
| 144 | `V144__users_company_id_drop_default.sql` | `1833593804` | 2026-10-04 13:22:00 |
| 149 | `V149__permission_menu_company_tree.sql` | `593432281` | 2026-10-06 17:32:29 |
| 150 | `V150__shop_key_company_scope.sql` | `2113095084` | 2026-10-06 17:32:29 |
| 151 | `V151__rule_tables_shared_across_companies.sql` | `613473408` | 2026-10-06 17:32:30 |
上表各行的字节就此封死。校验和算法是 Flyway 的 CRC32 逐 `BufferedReader.readLine()` 的 UTF-8 字节累加(**行尾不入 CRC**,所以 CRLF 工作树与 LF 工作树算出同一个值);142/143/144 三个值被 `CompanyMigrationV144Test#appliedMigrationBytesAreFrozenAgainstProdChecksum` 用工作树字节复算比对,149/150/151 被 `CompanyDefaultDropV152Test#appliedV149V150V151BytesAreFrozenAgainstProdChecksum` 复算比对(10-07 本机复算三值全中)。
真事:10-04 上午有人(我)把"摘掉 `users.company_id` 的 DEFAULT"直接改成原地编辑 V143,取证才发现 V143 已在 10:48 落库——那样发出去的 jar 会让下次启动 Flyway 校验失败、**两台 java 都起不来**。口径变更因此写成 V144 前向修复,并把"已应用不许原地改"从注释升级成上面那条用例。
## 约束
- 审计测试断言:整数版本从 1 到当前最大值连续(`RETIRED_HOLES = {132, 133}` 内的号段除外)、无重复文件名、命名正则合规、历史文件校验和可复算稳定。
- 修改任何已部署历史迁移会破坏 Flyway checksum,属违规;由本盘点测试 + code review 把关(git 层是否改动由 CI/review 校验)。
- **回滚不得写成版本化迁移。** 本目录是 Flyway 扫描路径,任何 `V*.sql` 都会在应用下次启动时自动执行;把回滚编成 `V{N+1}__rollback_*.sql` 等于让"决定回滚"这件事在没有人工执行的情况下自己发生。回滚一律是本目录之外的人工补丁脚本(首例:`docs/rollback-V143-company.sql`),并要按"停应用 → 跑脚本 → 删 `flyway_schema_history` 对应版本行 → 回滚 jar"的顺序做,漏掉删历史那步会让将来重装时 Flyway 判定"已应用"而跳过重建。
- **迁移必须可重跑。** MySQL 的 DDL 不进事务:迁移中途失败时前面的语句已经落库,而 `flyway repair` + 重启会让 Flyway 从第一条语句重跑整个文件。所以建表用 `IF NOT EXISTS`、插种子行用 `INSERT IGNORE` 或 `WHERE NOT EXISTS`、`ADD COLUMN/INDEX` 先查 `information_schema` 再 `PREPARE`(首例:V142 的条件 DDL、V143 全文件)。写成裸 `CREATE TABLE` / 裸 `INSERT ... VALUES` 的迁移,恢复路径本身会撞 1050/1060/1062,把"补数据后重启"变成"必须手工清库"。