a24d7b9bac
付费客户「先锋-团队」一次报的四件事,根因各自独立,这一版一起收: 1) 去重数据汇总「新增导入」选自己公司的分组提交必 403。DedupeTotalDataService .resolveAccessScope 给 company_super_admin 时只开了 wholeCompany 那一支、groupIds 留空集,而写侧闸门 resolveWritableGroup / ensureImportTaskAccess 只认 allUsers 与 groupIds——读侧宽、写侧窄,表现就是「下拉选得到、提交就 403」,且 403 是 HTTP 状态 不是中文文案,前端只能显示 Request failed with status code 403。改为同一口径把本公司的 分组 id 一起带上(src/main/.../DedupeTotalDataService.java:86,104,112 + 注释)。 2) 「暂无分组」与「分组名称已存在」是同一行的两面:老「先锋」的组长 uid=1188 已被删, 分组 id=33 成了孤儿行,仍占着全平台唯一的组名;而 list() 只按 created_by_id 筛, 这一行被每一个公司的 tab 静默排除(生产 13 个分组里 2 个组长只落在旧列 user_id 上)。 V153 给 biz_shop_manage_group 加 company_id(建组按组长定死、改名按组长当前公司纠回, 顺手治「移人」造成的落值漂移),唯一键换成 uk_company_group_name(company_id, group_name), 先 ADD 后 DROP。校验收窄到本公司,文案也从「分组名称已存在」改成「本公司内已存在同名分组」。 MySQL 唯一索引里 NULL 互不相异 ⇒ 迁移上线后 (NULL,'先锋') 不挡 (3,'先锋'), 客户当场就能建组,不需要先清那两行孤儿数据。 3) 删号/凭证过期后「软件还能用、没有强制退出」:前端 http 拦截器只认业务码 4011(互踢), JWT 过期或被拒返回的 401 一路静默,页面停在原处。新增 handleSessionExpired(), 401 与「code/status=401」都清本地登录态并跳 /login?expired=1;匿名 401 不收口 (那是常态噪声,且没登录态可清)。403 仍不触发下线——那是权限缺口,不能说成登录坏了。 4) 互踢(客户要「支持同时登录」)走配置不改码:AIIMAGE_AUTH_SINGLE_DEVICE_ENABLED=false, 开关只有 3 个消费点、OFF 支已有用例钉着。这里只把公司超管的角色串收成 DeviceSessionPolicy.COMPANY_SUPER_ADMIN,并记下它 src/main 仍有 22 处手抄比较 (SuperAdminPredicateSingleOutletTest 那支绊线只管 super_admin,别以为它也在守这一串)。 ⚠ 本提交带着并行会话 10-07 那批分组公司归属校验一起上线(ShopManageGroupService 的 ensureLeaderSharesOperatorCompany / resolveMembers 公司校验等,约 58 行):HEAD 里这个类 连 companyScope 字段都没有,我的写侧代码压在同一处,逐 hunk 拆不出「纯本批」的一版, 拆出来的也编不过。他那支 ShopManageGroupCompanyScopeTest(5 例)一并收了,否则这 58 行进仓 却没有用例。他的 ShopKey*/AdminUserService/admin-frontend-vue 账号页那批一个字没动,仍在 工作树里等他自己发。 验证:mvn -o clean test 全量在 detached worktree(HEAD + 本批白名单)跑;定向 8 支类 61 例 0 红; shopkey+dedupe 整包 130 例 0 红;本批判据变异自证 6/6 被杀(每轮还原后与注入前哈希逐字节一致); 前端 node --test 21 例 0 红、变异 3/3。回滚:jar 单独回退即可,V153 的手术式回滚见 backend-java/docs/rollback-V153-shop-manage-group-company-id.sql(不要 DROP COLUMN,它是资产)。
63 lines
10 KiB
Markdown
63 lines
10 KiB
Markdown
# Flyway 迁移盘点(task-193)
|
||
|
||
> 生成方式:`src/test/java/com/nanri/aiimage/config/MigrationInventoryTest.java`(只读审计,可重复)。
|
||
> 快照日期:2026-10-01;2026-10-03 随 V142 追加时同步过概览数字与取号起点;2026-10-04 随 V143 同步;2026-10-04 随 V144 同步;2026-10-04 15:1x 随 V145 同步;2026-10-05 随 V146 同步;2026-10-05 23:0x 随 V147 同步;2026-10-06 随 V148 同步(并把 V145/V146/V147 从"待发版"挪进"已应用");2026-10-06 随 V149 同步(菜单树按公司一套;V148 仍未上线,故 V149 与它同批);2026-10-06 随 V150/V151 同步,并删掉未上线的 V148(该号就此退役,见下);2026-10-07 随 V152 同步(并把 V149/V150/V151 从"待发版"挪进"已应用"——10-06 17:32 只读实查,success 全 1);2026-10-08 随 V153 同步(分组名收窄到同公司唯一;表侧只 13 行,写侧代码与本版必须同批)。
|
||
|
||
## 概览
|
||
|
||
- 版本化迁移文件数:**151**(`src/main/resources/db/V*.sql`,其中整数版本 150 个 + 小版本 V25_1)
|
||
- 整数版本范围:**V1..V153**,其中 V132/V133/V148 为已退役空号(见下),其余连续
|
||
- 历史遗留小版本:**V25_1__shop_manage_group_bind_user.sql**(Flyway 语义 25.1,紧跟在 V25 之后、V26 之前执行,属历史命名,保留)
|
||
- 最新版本:**V153__shop_manage_group_company_id.sql**(上一版 **V152__columns_shop_key_company_id_drop_default.sql**,再上一版 **V151__rule_tables_shared_across_companies.sql**)
|
||
- 待下一次 jar 发版执行:**V152、V153**(V152 摘 `columns` 与 `biz_shop_key` 的 DEFAULT;V153 给分组表加 `company_id` 并把分组名从"全平台唯一"收窄成"同公司唯一",**写侧代码必须同批**,两个方向单独发都不行——见 V153 头注释第 6 段;V149/V150/V151 已于 10-06 17:32 应用,见下)
|
||
- 已应用:V142(10-03 18:23)、V143(10-04 10:48)、**V144(10-04 13:22)**、`V145__brand_dedupe_company_scope.sql`(10-05 13:01)、`V146__users_expires_at_admin_expiry.sql`(10-05 13:01)、**`V147__product_category_company_scope.sql`(10-06 11:03)**、`V149__permission_menu_company_tree.sql` / `V150__shop_key_company_scope.sql` / `V151__rule_tables_shared_across_companies.sql`(三条均为 10-06 17:32)
|
||
- 末段 `flyway_schema_history` 为 2026-10-07 主机A 只读实查(`success` 全 1,最大整数版本 151),不是从 jar 版本推的
|
||
- 重复版本:无
|
||
- 迁移命名:全部符合 `V<整数>(_<子版本>)?__<描述>.sql`,无空格
|
||
|
||
## 生产已执行核对
|
||
|
||
生产 `flyway_schema_history` 末段:V125..V131 之后直接是 **V134__publish_item_free_text_columns**、**V135__dedupe_total_data_wide_columns**(两条 `installed_on` 均为 2026-09-25 20:46:16),库内没有 132/133 记录。
|
||
|
||
## 空号的来历(V132/V133/V148)
|
||
|
||
本地曾存在 `V132__web_config_add_is_latest.sql`、`V133__hide_redundant_indexes_invisible.sql`,与另一分支已在生产落库的 V134/V135 冲突。因 Flyway 未开启 `out-of-order`,把任何迁移编到 132/133 会在启动期报 "resolved migration not applied";因此这两条改为 **V136/V137**,132/133 永久退役,不可回填。
|
||
|
||
`V148__product_category_builtin_owned_by_company.sql`(把 18 行内置类目的归属从共享哨兵 0 改成厦门米椿花 1)从未上线,2026-10-06 控制方点名「商品类目做成共享的,不区分」⇒ 它的口径被 V151 整体推翻,文件连同 `ProductCategoryMigrationV148Test`、`docs/rollback-V148-product-category-builtin-shared.sql` 一起删除。它与 132/133 的区别要写清:**把新迁移编号写回 148 在 Flyway 语义上是可行的**(生产最大值仍是 147,不存在 out-of-order),这里禁它是共树并发的护栏——148 与 149/150 是同一工作区里另一路会话此刻正在引用的号,被删的 `V148` 文件可能被再次写出,而同号两个文件会让 Flyway 启动期报 "Found more than one migration with version 148" ⇒ 两台 java 同时起不来。宁可让 `integerVersionsSequentialFromOne` 的红字出现在测试里,也不把撞号留到运行期发现。因此这三个号都在 `MigrationInventoryTest.RETIRED_HOLES` 里登记。
|
||
|
||
后续新增迁移从 **V154** 起取号(V153 已被 `shop_manage_group_company_id` 占用:分组名从全平台唯一收窄到同公司唯一,回滚见 `docs/rollback-V153-shop-manage-group-company-id.sql`。只认"当前最大值 + 1",不要为还没写出来的迁移预留号段——预留会在 1..max 里留洞,`integerVersionsSequentialFromOne` 会红;也不要回填上面那三个洞)。原先挂在 V149 名下的"摘 DEFAULT"待办,`columns` 那条已与 `biz_shop_key` 合并成 **V152** 发出(V150 头注释第 6 段要求"合并成一版发出";发布前的只读取证:`columns` 154 行按公司 52/51/51、`biz_shop_key` 16 行全 company_id=1 且无 NULL,两列 COLUMN_DEFAULT 都是 1)。摘 DEFAULT 这一族现在只剩一条:
|
||
|
||
- `ALTER TABLE biz_dedupe_total_data ALTER COLUMN company_id DROP DEFAULT;` —— 前提:写侧显式落列的修复(`insertBatchIgnore` 的列清单补 `company_id` + 实体加字段)**先上线并验证真实导入**。历史上它的导入不算这一列、全靠 `DEFAULT 1` 兜底,先摘=每次导入 1364;修复已落码、尚未出厂,按"先上线并验过写入 → 才谈摘"的顺序排下一版。
|
||
|
||
**`biz_product_category.company_id` 的 DEFAULT 由"待摘"改成"必须保留"**(这一条与 V151 同批生效):V151 之后新 jar 的 INSERT 列清单不含 `company_id`,而该列是 `NOT NULL`,全靠 `DEFAULT 1` 满足——此时执行 `DROP DEFAULT` 会让每一次新建类目报 1364。`biz_invalid_asin_data.company_id` 同理(品牌库那条写入失败还会被 `CollectDataInvalidAsinBatchWriter` 吞成 `log.warn` ⇒ 接口返回成功而黑名单静默少一批)。所以这两张表已从 `CompanyDefaultGuard.WATCHED_TABLES` 与探针 SQL 的 IN 列表里同时摘掉(清单与 SQL 由 `CompanyDefaultGuardTest` 双向钉同源),否则哨兵会在每次启动时对着一列"没人读、摘了会炸"的默认值喊 `COMPANY_DEFAULT_STILL_PRESENT`,而巡检把那条签名计进 ALERTS。
|
||
它们真正消失的时点是下一版(两台同版之后):
|
||
|
||
- `ALTER TABLE biz_invalid_asin_data DROP COLUMN company_id;`
|
||
- `ALTER TABLE biz_product_category DROP COLUMN company_id;`
|
||
|
||
摘除 DEFAULT 的动作在这两条里"顺带完成"(列没了,默认值随之消失),**仍然禁写成 `MODIFY COLUMN ... NOT NULL`**(重建表会按当时的列默认值物化历史行)。`biz_shop_key` 已在 **V152** 摘掉 DEFAULT(哨兵清单保留:被装回时会再喊出来);`biz_dedupe_total_data` 仍按公司写、DEFAULT 待摘(等写侧修复上线),哨兵继续盯。
|
||
|
||
原先挂在待办里的"V137 冗余索引 DROP"迁移计划取 V139,该号已被 `V139__asin_result_cache.sql` 占用,顺延到 V140;V140 已被品牌补测队列表 `V140__collectdata_brand_recheck.sql` 落用。
|
||
|
||
## 已应用迁移的存量校验和(2026-10-04 与 2026-10-07 从生产 `flyway_schema_history` 只读实查)
|
||
|
||
| 版本 | 文件 | 校验和 | installed_on |
|
||
|---|---|---|---|
|
||
| 142 | `V142__web_config_sha256.sql` | `1152261840` | 2026-10-03 18:23:22 |
|
||
| 143 | `V143__company_and_users_company_id.sql` | `1539570901` | 2026-10-04 10:48:54 |
|
||
| 144 | `V144__users_company_id_drop_default.sql` | `1833593804` | 2026-10-04 13:22:00 |
|
||
| 149 | `V149__permission_menu_company_tree.sql` | `593432281` | 2026-10-06 17:32:29 |
|
||
| 150 | `V150__shop_key_company_scope.sql` | `2113095084` | 2026-10-06 17:32:29 |
|
||
| 151 | `V151__rule_tables_shared_across_companies.sql` | `613473408` | 2026-10-06 17:32:30 |
|
||
|
||
上表各行的字节就此封死。校验和算法是 Flyway 的 CRC32 逐 `BufferedReader.readLine()` 的 UTF-8 字节累加(**行尾不入 CRC**,所以 CRLF 工作树与 LF 工作树算出同一个值);142/143/144 三个值被 `CompanyMigrationV144Test#appliedMigrationBytesAreFrozenAgainstProdChecksum` 用工作树字节复算比对,149/150/151 被 `CompanyDefaultDropV152Test#appliedV149V150V151BytesAreFrozenAgainstProdChecksum` 复算比对(10-07 本机复算三值全中)。
|
||
|
||
真事:10-04 上午有人(我)把"摘掉 `users.company_id` 的 DEFAULT"直接改成原地编辑 V143,取证才发现 V143 已在 10:48 落库——那样发出去的 jar 会让下次启动 Flyway 校验失败、**两台 java 都起不来**。口径变更因此写成 V144 前向修复,并把"已应用不许原地改"从注释升级成上面那条用例。
|
||
|
||
## 约束
|
||
|
||
- 审计测试断言:整数版本从 1 到当前最大值连续(`RETIRED_HOLES = {132, 133}` 内的号段除外)、无重复文件名、命名正则合规、历史文件校验和可复算稳定。
|
||
- 修改任何已部署历史迁移会破坏 Flyway checksum,属违规;由本盘点测试 + code review 把关(git 层是否改动由 CI/review 校验)。
|
||
- **回滚不得写成版本化迁移。** 本目录是 Flyway 扫描路径,任何 `V*.sql` 都会在应用下次启动时自动执行;把回滚编成 `V{N+1}__rollback_*.sql` 等于让"决定回滚"这件事在没有人工执行的情况下自己发生。回滚一律是本目录之外的人工补丁脚本(首例:`docs/rollback-V143-company.sql`),并要按"停应用 → 跑脚本 → 删 `flyway_schema_history` 对应版本行 → 回滚 jar"的顺序做,漏掉删历史那步会让将来重装时 Flyway 判定"已应用"而跳过重建。
|
||
- **迁移必须可重跑。** MySQL 的 DDL 不进事务:迁移中途失败时前面的语句已经落库,而 `flyway repair` + 重启会让 Flyway 从第一条语句重跑整个文件。所以建表用 `IF NOT EXISTS`、插种子行用 `INSERT IGNORE` 或 `WHERE NOT EXISTS`、`ADD COLUMN/INDEX` 先查 `information_schema` 再 `PREPARE`(首例:V142 的条件 DDL、V143 全文件)。写成裸 `CREATE TABLE` / 裸 `INSERT ... VALUES` 的迁移,恢复路径本身会撞 1050/1060/1062,把"补数据后重启"变成"必须手工清库"。
|