From 2b7c377e7e888075959abe840756adab9e964af0 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Wed, 7 Oct 2026 04:26:43 +0800 Subject: [PATCH] =?UTF-8?q?fix(=E5=A4=9A=E7=A7=9F=E6=88=B7):=20V152=20?= =?UTF-8?q?=E6=91=98=20columns/biz=5Fshop=5Fkey=20=E7=9A=84=20company=5Fid?= =?UTF-8?q?=20=E5=88=97=E9=BB=98=E8=AE=A4=E5=80=BC=EF=BC=8C=E5=8E=BB?= =?UTF-8?q?=E9=87=8D=E5=BA=93=E5=86=99=E4=BE=A7=E6=98=BE=E5=BC=8F=E5=B8=A6?= =?UTF-8?q?=E5=BD=92=E5=B1=9E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - V152:两条裸 ALTER COLUMN DROP DEFAULT(纯元数据、可重跑)。依据 V150 §6「合并成一版」 与 migration-inventory 取号;前提=V149/150/151 已于 10-06 17:32:29 落库、写侧三条通道 (PermissionMenuService create/copyTreeFromTemplate、ShopKeyService)均显式落列。 - 去重库:DedupeTotalDataMapper/Entity/Service 的 INSERT 显式写 company_id,不再靠列 DEFAULT 1 兜底(第二家公司开通后静默归错)。biz_dedupe_total_data 的 DEFAULT 摘除排在 本批上线并验证写入之后,不在本版。 - CompanyDefaultDropV152Test 9 例(含 V149/150/151 已应用字节的 CRC 冻结)+ dedupe 两支测试 + rollback-V152 人工补丁(默认档可直接执行)+ 盘点文档同步(取号起点改 V153)。 --- backend-java/docs/migration-inventory.md | 27 +- ...rollback-V152-columns-shop-key-default.sql | 36 ++ .../dedupe/mapper/DedupeTotalDataMapper.java | 4 +- .../model/entity/DedupeTotalDataEntity.java | 10 + .../service/DedupeTotalDataService.java | 32 +- ...lumns_shop_key_company_id_drop_default.sql | 79 ++++ .../config/CompanyDefaultDropV152Test.java | 337 ++++++++++++++++++ .../mapper/DedupeTotalDataMapperSqlTest.java | 65 ++++ .../service/DedupeTotalDataServiceTest.java | 29 ++ 9 files changed, 594 insertions(+), 25 deletions(-) create mode 100644 backend-java/docs/rollback-V152-columns-shop-key-default.sql create mode 100644 backend-java/src/main/resources/db/V152__columns_shop_key_company_id_drop_default.sql create mode 100644 backend-java/src/test/java/com/nanri/aiimage/config/CompanyDefaultDropV152Test.java create mode 100644 backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/mapper/DedupeTotalDataMapperSqlTest.java diff --git a/backend-java/docs/migration-inventory.md b/backend-java/docs/migration-inventory.md index c026f5a03..e2c48e153 100644 --- a/backend-java/docs/migration-inventory.md +++ b/backend-java/docs/migration-inventory.md @@ -1,17 +1,17 @@ # Flyway 迁移盘点(task-193) > 生成方式:`src/test/java/com/nanri/aiimage/config/MigrationInventoryTest.java`(只读审计,可重复)。 -> 快照日期:2026-10-01;2026-10-03 随 V142 追加时同步过概览数字与取号起点;2026-10-04 随 V143 同步;2026-10-04 随 V144 同步;2026-10-04 15:1x 随 V145 同步;2026-10-05 随 V146 同步;2026-10-05 23:0x 随 V147 同步;2026-10-06 随 V148 同步(并把 V145/V146/V147 从"待发版"挪进"已应用");2026-10-06 随 V149 同步(菜单树按公司一套;V148 仍未上线,故 V149 与它同批);2026-10-06 随 V150/V151 同步,并删掉未上线的 V148(该号就此退役,见下)。 +> 快照日期:2026-10-01;2026-10-03 随 V142 追加时同步过概览数字与取号起点;2026-10-04 随 V143 同步;2026-10-04 随 V144 同步;2026-10-04 15:1x 随 V145 同步;2026-10-05 随 V146 同步;2026-10-05 23:0x 随 V147 同步;2026-10-06 随 V148 同步(并把 V145/V146/V147 从"待发版"挪进"已应用");2026-10-06 随 V149 同步(菜单树按公司一套;V148 仍未上线,故 V149 与它同批);2026-10-06 随 V150/V151 同步,并删掉未上线的 V148(该号就此退役,见下);2026-10-07 随 V152 同步(并把 V149/V150/V151 从"待发版"挪进"已应用"——10-06 17:32 只读实查,success 全 1)。 ## 概览 -- 版本化迁移文件数:**149**(`src/main/resources/db/V*.sql`,其中整数版本 148 个 + 小版本 V25_1) -- 整数版本范围:**V1..V151**,其中 V132/V133/V148 为已退役空号(见下),其余连续 +- 版本化迁移文件数:**150**(`src/main/resources/db/V*.sql`,其中整数版本 149 个 + 小版本 V25_1) +- 整数版本范围:**V1..V152**,其中 V132/V133/V148 为已退役空号(见下),其余连续 - 历史遗留小版本:**V25_1__shop_manage_group_bind_user.sql**(Flyway 语义 25.1,紧跟在 V25 之后、V26 之前执行,属历史命名,保留) -- 最新版本:**V151__rule_tables_shared_across_companies.sql**(上一版 **V150__shop_key_company_scope.sql**,再上一版 **V149__permission_menu_company_tree.sql**) -- 待下一次 jar 发版执行的三条(按序):`V149__permission_menu_company_tree.sql`、`V150__shop_key_company_scope.sql`、`V151__rule_tables_shared_across_companies.sql` -- 已应用:V142(10-03 18:23)、V143(10-04 10:48)、**V144(10-04 13:22)**、`V145__brand_dedupe_company_scope.sql`(10-05 13:01)、`V146__users_expires_at_admin_expiry.sql`(10-05 13:01)、**`V147__product_category_company_scope.sql`(10-06 11:03)** - - 末段 `flyway_schema_history` 为 2026-10-06 主机A 只读实查(`success` 全 1,最大整数版本 147),不是从 jar 版本推的 +- 最新版本:**V152__columns_shop_key_company_id_drop_default.sql**(上一版 **V151__rule_tables_shared_across_companies.sql**,再上一版 **V150__shop_key_company_scope.sql**) +- 待下一次 jar 发版执行:**V152**(摘 `columns` 与 `biz_shop_key` 的 DEFAULT;V149/V150/V151 已于 10-06 17:32 应用,见下) +- 已应用:V142(10-03 18:23)、V143(10-04 10:48)、**V144(10-04 13:22)**、`V145__brand_dedupe_company_scope.sql`(10-05 13:01)、`V146__users_expires_at_admin_expiry.sql`(10-05 13:01)、**`V147__product_category_company_scope.sql`(10-06 11:03)**、`V149__permission_menu_company_tree.sql` / `V150__shop_key_company_scope.sql` / `V151__rule_tables_shared_across_companies.sql`(三条均为 10-06 17:32) + - 末段 `flyway_schema_history` 为 2026-10-07 主机A 只读实查(`success` 全 1,最大整数版本 151),不是从 jar 版本推的 - 重复版本:无 - 迁移命名:全部符合 `V<整数>(_<子版本>)?__<描述>.sql`,无空格 @@ -25,9 +25,9 @@ `V148__product_category_builtin_owned_by_company.sql`(把 18 行内置类目的归属从共享哨兵 0 改成厦门米椿花 1)从未上线,2026-10-06 控制方点名「商品类目做成共享的,不区分」⇒ 它的口径被 V151 整体推翻,文件连同 `ProductCategoryMigrationV148Test`、`docs/rollback-V148-product-category-builtin-shared.sql` 一起删除。它与 132/133 的区别要写清:**把新迁移编号写回 148 在 Flyway 语义上是可行的**(生产最大值仍是 147,不存在 out-of-order),这里禁它是共树并发的护栏——148 与 149/150 是同一工作区里另一路会话此刻正在引用的号,被删的 `V148` 文件可能被再次写出,而同号两个文件会让 Flyway 启动期报 "Found more than one migration with version 148" ⇒ 两台 java 同时起不来。宁可让 `integerVersionsSequentialFromOne` 的红字出现在测试里,也不把撞号留到运行期发现。因此这三个号都在 `MigrationInventoryTest.RETIRED_HOLES` 里登记。 -后续新增迁移从 **V152** 起取号(只认"当前最大值 + 1",不要为还没写出来的迁移预留号段——预留会在 1..max 里留洞,`integerVersionsSequentialFromOne` 会红;也不要回填上面那三个洞)。原先挂在 V149 名下的"摘 DEFAULT"待办,现在只剩一条元数据操作: +后续新增迁移从 **V153** 起取号(只认"当前最大值 + 1",不要为还没写出来的迁移预留号段——预留会在 1..max 里留洞,`integerVersionsSequentialFromOne` 会红;也不要回填上面那三个洞)。原先挂在 V149 名下的"摘 DEFAULT"待办,`columns` 那条已与 `biz_shop_key` 合并成 **V152** 发出(V150 头注释第 6 段要求"合并成一版发出";发布前的只读取证:`columns` 154 行按公司 52/51/51、`biz_shop_key` 16 行全 company_id=1 且无 NULL,两列 COLUMN_DEFAULT 都是 1)。摘 DEFAULT 这一族现在只剩一条: -- `ALTER TABLE columns ALTER COLUMN company_id DROP DEFAULT;` —— 前提:V149 那版 jar 两台同版(`PermissionMenuService` 的所有建/改菜单出口都显式写 companyId),旧 jar 已不可能再靠 DEFAULT 兜住插行。 +- `ALTER TABLE biz_dedupe_total_data ALTER COLUMN company_id DROP DEFAULT;` —— 前提:写侧显式落列的修复(`insertBatchIgnore` 的列清单补 `company_id` + 实体加字段)**先上线并验证真实导入**。历史上它的导入不算这一列、全靠 `DEFAULT 1` 兜底,先摘=每次导入 1364;修复已落码、尚未出厂,按"先上线并验过写入 → 才谈摘"的顺序排下一版。 **`biz_product_category.company_id` 的 DEFAULT 由"待摘"改成"必须保留"**(这一条与 V151 同批生效):V151 之后新 jar 的 INSERT 列清单不含 `company_id`,而该列是 `NOT NULL`,全靠 `DEFAULT 1` 满足——此时执行 `DROP DEFAULT` 会让每一次新建类目报 1364。`biz_invalid_asin_data.company_id` 同理(品牌库那条写入失败还会被 `CollectDataInvalidAsinBatchWriter` 吞成 `log.warn` ⇒ 接口返回成功而黑名单静默少一批)。所以这两张表已从 `CompanyDefaultGuard.WATCHED_TABLES` 与探针 SQL 的 IN 列表里同时摘掉(清单与 SQL 由 `CompanyDefaultGuardTest` 双向钉同源),否则哨兵会在每次启动时对着一列"没人读、摘了会炸"的默认值喊 `COMPANY_DEFAULT_STILL_PRESENT`,而巡检把那条签名计进 ALERTS。 它们真正消失的时点是下一版(两台同版之后): @@ -35,19 +35,22 @@ - `ALTER TABLE biz_invalid_asin_data DROP COLUMN company_id;` - `ALTER TABLE biz_product_category DROP COLUMN company_id;` -摘除 DEFAULT 的动作在这两条里"顺带完成"(列没了,默认值随之消失),**仍然禁写成 `MODIFY COLUMN ... NOT NULL`**(重建表会按当时的列默认值物化历史行)。`biz_dedupe_total_data` 与 `biz_shop_key` 不在此列:它们仍然按公司写,DEFAULT 该摘还是要摘,哨兵继续盯。 +摘除 DEFAULT 的动作在这两条里"顺带完成"(列没了,默认值随之消失),**仍然禁写成 `MODIFY COLUMN ... NOT NULL`**(重建表会按当时的列默认值物化历史行)。`biz_shop_key` 已在 **V152** 摘掉 DEFAULT(哨兵清单保留:被装回时会再喊出来);`biz_dedupe_total_data` 仍按公司写、DEFAULT 待摘(等写侧修复上线),哨兵继续盯。 原先挂在待办里的"V137 冗余索引 DROP"迁移计划取 V139,该号已被 `V139__asin_result_cache.sql` 占用,顺延到 V140;V140 已被品牌补测队列表 `V140__collectdata_brand_recheck.sql` 落用。 -## 已应用迁移的存量校验和(2026-10-04 15:0x 从生产 `flyway_schema_history` 实查) +## 已应用迁移的存量校验和(2026-10-04 与 2026-10-07 从生产 `flyway_schema_history` 只读实查) | 版本 | 文件 | 校验和 | installed_on | |---|---|---|---| | 142 | `V142__web_config_sha256.sql` | `1152261840` | 2026-10-03 18:23:22 | | 143 | `V143__company_and_users_company_id.sql` | `1539570901` | 2026-10-04 10:48:54 | | 144 | `V144__users_company_id_drop_default.sql` | `1833593804` | 2026-10-04 13:22:00 | +| 149 | `V149__permission_menu_company_tree.sql` | `593432281` | 2026-10-06 17:32:29 | +| 150 | `V150__shop_key_company_scope.sql` | `2113095084` | 2026-10-06 17:32:29 | +| 151 | `V151__rule_tables_shared_across_companies.sql` | `613473408` | 2026-10-06 17:32:30 | -这三行的字节就此封死。校验和算法是 Flyway 的 CRC32 逐 `BufferedReader.readLine()` 的 UTF-8 字节累加(**行尾不入 CRC**,所以 CRLF 工作树与 LF 工作树算出同一个值);上表三个值都被 `CompanyMigrationV144Test#appliedMigrationBytesAreFrozenAgainstProdChecksum` 用工作树字节复算并比对过。 +上表各行的字节就此封死。校验和算法是 Flyway 的 CRC32 逐 `BufferedReader.readLine()` 的 UTF-8 字节累加(**行尾不入 CRC**,所以 CRLF 工作树与 LF 工作树算出同一个值);142/143/144 三个值被 `CompanyMigrationV144Test#appliedMigrationBytesAreFrozenAgainstProdChecksum` 用工作树字节复算比对,149/150/151 被 `CompanyDefaultDropV152Test#appliedV149V150V151BytesAreFrozenAgainstProdChecksum` 复算比对(10-07 本机复算三值全中)。 真事:10-04 上午有人(我)把"摘掉 `users.company_id` 的 DEFAULT"直接改成原地编辑 V143,取证才发现 V143 已在 10:48 落库——那样发出去的 jar 会让下次启动 Flyway 校验失败、**两台 java 都起不来**。口径变更因此写成 V144 前向修复,并把"已应用不许原地改"从注释升级成上面那条用例。 diff --git a/backend-java/docs/rollback-V152-columns-shop-key-default.sql b/backend-java/docs/rollback-V152-columns-shop-key-default.sql new file mode 100644 index 000000000..59e888719 --- /dev/null +++ b/backend-java/docs/rollback-V152-columns-shop-key-default.sql @@ -0,0 +1,36 @@ +-- 回滚 V152(人工补丁,不放进 src/main/resources/db/——那里是 Flyway 扫描路径, +-- 任何 V*.sql 都会在应用下次启动时自动执行;把回滚编成版本化迁移等于让"决定回滚"这件事 +-- 在没有人工执行的情况下自己发生。) +-- +-- 触发场景:V152 上线后「摘错了」——出现场外的、省略 company_id 的写入被 1364 打出来。 +-- 如果只是回滚 jar(代码问题、与默认值无关),【不需要本补丁】:V149/V150 起的 jar 全部 +-- 显式落列,对默认值在不在毫无感知,V152 保持应用态即可。 +-- +-- 顺序:停两台应用 → 执行本脚本 → DELETE FROM flyway_schema_history WHERE version='152' +-- → 回滚 jar → 起应用。 +-- 漏掉"删历史行"那步,将来重装带 V152 的 jar 时 Flyway 判定"已应用"直接跳过, +-- 而脚本已经把 DEFAULT 装回去了 ⇒ 库状态与 history 声明的"已摘"长期互相矛盾 +-- (表现为启动期哨兵对这两张表一直喊 COMPANY_DEFAULT_STILL_PRESENT,而没人知道该不该摘)。 +-- +-- 与 rollback-V150 的差别:那里默认档是"保留新列、只回滚 jar"(删列不可逆,留注释由人工解开); +-- 本笔只有默认值属性被动过,回滚就是把它装回去——纯元数据、可逆、无损,所以【默认档直接可执行】。 +-- +-- 【禁写成 MODIFY COLUMN ... NOT NULL DEFAULT 1】(V144 时代那种写法已废弃): +-- MODIFY 会重建表,而这两张表历史行的归属依据就是加列时记录的默认值,重建是没必要的风险。 + +-- ---------- 1. 默认档:两列装回 DEFAULT 1(还原到 V152 之前的 schema) ---------- +-- 用 ALTER COLUMN ... SET DEFAULT 1——纯元数据操作,瞬时完成;重复执行无副作用 +-- (发布前在 scratch MySQL 8.4.9 上连跑两遍证实)。 +ALTER TABLE `columns` + ALTER COLUMN company_id SET DEFAULT 1; + +ALTER TABLE `biz_shop_key` + ALTER COLUMN company_id SET DEFAULT 1; + +-- ---------- 0. 验证(跑完第 1 段后) ---------- +-- SELECT TABLE_NAME, COLUMN_DEFAULT FROM information_schema.COLUMNS +-- WHERE TABLE_SCHEMA = DATABASE() AND COLUMN_NAME = 'company_id' +-- AND TABLE_NAME IN ('columns','biz_shop_key'); +-- -> 期望两行 COLUMN_DEFAULT 均为 1 +-- SHOW COLUMNS FROM `columns` LIKE 'company_id'; -> Default = 1 +-- SHOW COLUMNS FROM `biz_shop_key` LIKE 'company_id'; -> Default = 1 diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/mapper/DedupeTotalDataMapper.java b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/mapper/DedupeTotalDataMapper.java index 3ef7dc91a..be5bf244b 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/mapper/DedupeTotalDataMapper.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/mapper/DedupeTotalDataMapper.java @@ -28,10 +28,10 @@ public interface DedupeTotalDataMapper extends BaseMapper @Insert(""" """) diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/model/entity/DedupeTotalDataEntity.java b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/model/entity/DedupeTotalDataEntity.java index 3f1de9f95..f46f71e43 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/model/entity/DedupeTotalDataEntity.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/model/entity/DedupeTotalDataEntity.java @@ -15,6 +15,16 @@ public class DedupeTotalDataEntity { @TableId(type = IdType.AUTO) private Long id; + /** + * 归属公司(V145 加列)。写侧一律显式落值——create 与 insertBatchIgnore 的入口都经 + * {@code CompanyScopeSupport.requireCompanyId(操作者)} 解析后带进每个 insert,不许依赖列上那条 + * 临时的 {@code DEFAULT 1}:V145 留它只为历史行与同批的旧 jar 不报 1364,待摘 + * (CompanyDefaultGuard 哨兵在喊)。 + * + *

读侧仍按 {@code uploader_user_id} 认公司(见 DedupeTotalDataService.applyCompanyScope): + * 历史行该列全部是 DEFAULT 兜的 1,对区分公司没有信息量。

+ */ + private Long companyId; private String dataValue; private String country; private Long groupId; diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java index dc90710b1..5f98cc242 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java @@ -468,6 +468,7 @@ public class DedupeTotalDataService { @Transactional public DedupeTotalDataItemVo create(DedupeTotalDataCreateRequest request, Long operatorId) { AdminUserEntity uploader = getOperator(operatorId); + Long companyId = companyScopeSupport.requireCompanyId(uploader); ShopManageGroupEntity group = resolveWritableGroup(request.getGroupId(), uploader); String dataValue = normalizeComparableValue(request.getDataValue()); ensureUnique(dataValue, null); @@ -476,6 +477,7 @@ public class DedupeTotalDataService { entity.setGroupId(group.getId()); entity.setUploaderUserId(uploader.getId()); entity.setUploaderUsername(uploader.getUsername()); + entity.setCompanyId(companyId); dedupeTotalDataMapper.insert(entity); return toItemVo(getById(entity.getId()), group.getGroupName()); } @@ -526,6 +528,7 @@ public class DedupeTotalDataService { throw new BusinessException("导入文件超过大小上限"); } AdminUserEntity uploader = getOperator(operatorId); + Long companyId = companyScopeSupport.requireCompanyId(uploader); ShopManageGroupEntity group = resolveWritableGroup(groupId, uploader); if (!importSlots.tryAcquire()) { throw new BusinessException("导入任务过多,请稍后重试"); @@ -546,7 +549,8 @@ public class DedupeTotalDataService { File tempFile = saveMultipartToTempFile(file); String filename = file.getOriginalFilename(); Thread.ofVirtual().start(() -> runImportTask( - importId, tempFile, filename, uploader.getId(), uploader.getUsername(), group.getId())); + importId, tempFile, filename, uploader.getId(), uploader.getUsername(), group.getId(), + companyId)); } catch (Exception e) { importSlots.release(); importProgressMap.remove(importId); @@ -660,7 +664,7 @@ public class DedupeTotalDataService { } private void runImportTask(String importId, File tempFile, String filename, - Long uploaderUserId, String uploaderUsername, Long groupId) { + Long uploaderUserId, String uploaderUsername, Long groupId, Long companyId) { DedupeTotalDataImportProgressVo progress = importProgressMap.get(importId); if (progress == null) { importSlots.release(); @@ -669,7 +673,7 @@ public class DedupeTotalDataService { progress.setStatus("running"); try (InputStream inputStream = Files.newInputStream(tempFile.toPath())) { DedupeTotalDataImportVo result = importFromExcelInternal( - inputStream, filename, progress, uploaderUserId, uploaderUsername, groupId); + inputStream, filename, progress, uploaderUserId, uploaderUsername, groupId, companyId); progress.setTotalRows(result.getTotalRows()); progress.setAsinCount(result.getAsinCount()); progress.setInsertedCount(result.getInsertedCount()); @@ -721,11 +725,12 @@ public class DedupeTotalDataService { throw new BusinessException("请上传 xlsx 文件"); } AdminUserEntity uploader = getOperator(operatorId); + Long companyId = companyScopeSupport.requireCompanyId(uploader); ShopManageGroupEntity group = resolveWritableGroup(groupId, uploader); try (InputStream inputStream = file.getInputStream()) { return importFromExcelInternal( inputStream, file.getOriginalFilename(), null, uploader.getId(), uploader.getUsername(), - group.getId()); + group.getId(), companyId); } catch (BusinessException e) { throw e; } catch (Exception e) { @@ -759,7 +764,7 @@ public class DedupeTotalDataService { private DedupeTotalDataImportVo importFromExcelInternal(InputStream inputStream, String filename, DedupeTotalDataImportProgressVo progress, Long uploaderUserId, String uploaderUsername, - Long groupId) { + Long groupId, Long companyId) { String lowerFilename = filename == null ? "" : filename.toLowerCase(); if (!(lowerFilename.endsWith(".xlsx") || lowerFilename.endsWith(".xls"))) { throw new BusinessException("仅支持 .xlsx 或 .xls 文件"); @@ -769,7 +774,7 @@ public class DedupeTotalDataService { // 此前 WorkbookFactory.create 把整表读成 DOM(50 万行约 1~2GB 堆),且行数上限在 // 加载完之后才校验(等于没有防线)。现在内存只保留单批待插入值与文件内去重集合, // 行数上限在迭代过程中即时生效。 - ImportSession session = new ImportSession(progress, groupId, uploaderUserId, uploaderUsername); + ImportSession session = new ImportSession(progress, groupId, uploaderUserId, uploaderUsername, companyId); try { ExcelStreamReader.readFirstSheet(inputStream, new ExcelStreamReader.SheetRowHandler() { private Integer countryColumnIndex; @@ -845,6 +850,7 @@ public class DedupeTotalDataService { private final Long groupId; private final Long uploaderUserId; private final String uploaderUsername; + private final Long companyId; private final Set seenInFile = new HashSet<>(); private final List pendingValues = new ArrayList<>(IMPORT_BATCH_SIZE); private final Map pendingCountries = new HashMap<>(); @@ -855,11 +861,12 @@ public class DedupeTotalDataService { private int skippedCount; private ImportSession(DedupeTotalDataImportProgressVo progress, Long groupId, - Long uploaderUserId, String uploaderUsername) { + Long uploaderUserId, String uploaderUsername, Long companyId) { this.progress = progress; this.groupId = groupId; this.uploaderUserId = uploaderUserId; this.uploaderUsername = uploaderUsername; + this.companyId = companyId; } private void acceptRow(Map rowMap, Integer countryColumnIndex) { @@ -897,7 +904,7 @@ public class DedupeTotalDataService { return; } ImportBatchResult batch = insertImportBatch( - pendingValues, pendingCountries, groupId, uploaderUserId, uploaderUsername); + pendingValues, pendingCountries, groupId, uploaderUserId, uploaderUsername, companyId); insertedCount += batch.insertedCount(); skippedCount += batch.skippedCount(); pendingValues.clear(); @@ -928,7 +935,8 @@ public class DedupeTotalDataService { Map countriesByValue, Long groupId, Long uploaderUserId, - String uploaderUsername) { + String uploaderUsername, + Long companyId) { if (values == null || values.isEmpty()) { return new ImportBatchResult(0, 0); } @@ -944,6 +952,7 @@ public class DedupeTotalDataService { entity.setGroupId(groupId); entity.setUploaderUserId(uploaderUserId); entity.setUploaderUsername(uploaderUsername); + entity.setCompanyId(companyId); rows.add(entity); } if (rows.isEmpty()) { @@ -1285,8 +1294,9 @@ public class DedupeTotalDataService { * 公司 tab 收窄:本表按「上传账号」认公司——{@code uploader_user_id} 是 NOT NULL(V75 先回灌再收紧), * 且有 idx_uploader_user_id_id 可走点查。 * - *

不读 V145 新加的 company_id:写入侧实体没有该字段、{@code insertBatchIgnore} 的列清单也不带, - * 全靠 MySQL 的 DEFAULT 1 兜底,所以第 2 家账号新导入的行今天仍会被盖成公司 1。那一列不能当读侧依据。

+ *

不按 V145 加的 company_id 筛:那一列对 V145 之前的历史行全部是 DEFAULT 兜的 1,没有区分力。 + * 写侧现已显式落值(create 与 insertBatchIgnore 都带 company_id),但读侧一旦改用它,历史行会整批归到 + * 公司 1——所以那列只供写入留存与 uk_company_data_value 使用,读侧口径维持按上传账号推导。

* *

空集给一条不可能命中的条件而不是"不筛":tab 选了这家公司却看得到全平台,比看不到更坏。

*/ diff --git a/backend-java/src/main/resources/db/V152__columns_shop_key_company_id_drop_default.sql b/backend-java/src/main/resources/db/V152__columns_shop_key_company_id_drop_default.sql new file mode 100644 index 000000000..fc9af5bde --- /dev/null +++ b/backend-java/src/main/resources/db/V152__columns_shop_key_company_id_drop_default.sql @@ -0,0 +1,79 @@ +-- ============================================================= +-- 迁移 V152__columns_shop_key_company_id_drop_default +-- 模板:docs/flyway-migration-template.md +-- 需求:2026-10-06「优先处理 columns 等三列 DEFAULT 问题」 +-- 合并依据:V150 头注释第 6 段与 docs/migration-inventory.md 的同款待办都要求 +-- 「columns 与 biz_shop_key 这两条摘 DEFAULT 合并成一版发出」(两条都是纯元数据、 +-- 前提各自独立);第三条 biz_dedupe_total_data 为什么不在本版见第 6 段。 +-- +-- 1. 变更目的:摘掉两列在混合版本窗口期留的兜底默认值 DEFAULT 1—— +-- 留着的唯一后果是:任何绕过显式落列的写入被静默塞进第 1 家(厦门米椿花)。 +-- 摘掉之后同类写入会撞 MySQL 1364(Field 'company_id' doesn't have a default value) +-- 炸在日志里——这是取舍,不是缺陷:宁可当场炸,也不要静默归错公司(同 V144 的取舍)。 +-- +-- 摘除的前提【已逐条取证,2026-10-07】: +-- · 带 V149/V150 的 jar 已在两台同版运行:flyway_schema_history 只读实查, +-- 149/150/151 三条 success=1、installed_on=2026-10-06 17:32:29(此后 10-07 各批 jar +-- 均为其后代,写侧代码只多不少); +-- · columns 的 INSERT 通道都显式落 company_id:PermissionMenuService.create / +-- copyTreeFromTemplate;PermissionMenuSchemaInitializer 的种子 INSERT(生产默认关: +-- @ConditionalOnProperty 要求 AIIMAGE_PERMISSION_SCHEMA_INIT_ENABLED=true, +-- 两台 .env 实查未设); +-- · biz_shop_key 的唯一 INSERT 通道 ShopKeyService.create 显式落 company_id; +-- · 两列的 COLUMN_DEFAULT 当前都是 1(10-07 只读实查 information_schema)。 +-- +-- 2. 影响表与数据量:只动两列的默认值属性。不写数据、不加索引、不删列。 +-- · columns:154 行(10-07 只读取证:公司 1/2/3 各 52/51/51 行); +-- · biz_shop_key:16 行(全部 company_id = 1)。 +-- DROP DEFAULT 不改变任何已存行的读值:instant 加列后的历史行读值由加列时记录的 +-- 默认值给出(本机 MySQL 8.4.9 实验证实摘除前后读值一致),摘除只影响"之后省略 +-- 该列的 INSERT"。 +-- +-- 3. 锁表风险:极低。ALTER TABLE ... ALTER COLUMN ... DROP DEFAULT 是纯元数据操作 +-- (瞬时完成、不重建表、不扫描行)。 +-- 【禁写成 MODIFY COLUMN ... NOT NULL】——MODIFY 走重建表,重建按"当时的列默认值" +-- 物化历史行;默认值刚被摘掉,历史归属就失去依据(V144/V150 头注释同款禁令)。 +-- 不碰 users / company / biz_shop_manage / biz_dedupe_total_data 等任何其他表。 +-- +-- 4. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied): +-- SHOW COLUMNS FROM `columns` LIKE 'company_id'; +-- -> 期望 Null = NO,Default = NULL +-- SHOW COLUMNS FROM `biz_shop_key` LIKE 'company_id'; +-- -> 期望 Null = NO,Default = NULL +-- SELECT TABLE_NAME, COLUMN_DEFAULT FROM information_schema.COLUMNS +-- WHERE TABLE_SCHEMA = DATABASE() AND COLUMN_NAME = 'company_id' +-- AND TABLE_NAME IN ('columns','biz_shop_key'); +-- -> 期望两行 COLUMN_DEFAULT 均为 NULL +-- 启动期 CompanyDefaultGuard 对这两张表不再打 COMPANY_DEFAULT_STILL_PRESENT +-- (签名与清单原样保留:哪天 DEFAULT 被装回——dump 重建、手滑 SET DEFAULT—— +-- 它会再喊出来;biz_dedupe_total_data 仍会喊,它还没摘,见第 6 段)。 +-- +-- 5. 回滚步骤:人工补丁 backend-java/docs/rollback-V152-columns-shop-key-default.sql +-- (在 Flyway 扫描路径之外;版本化回滚等于让"决定回滚"这件事自己发生)。 +-- 触发场景是「摘错了」——场外的、省略 company_id 的写入被 1364 打出来。 +-- 顺序:停两台应用 → 跑脚本(两条 ALTER COLUMN ... SET DEFAULT 1,纯元数据) +-- → 删 flyway_schema_history 的 version='152' 行 → 回滚 jar → 起应用。 +-- 仅仅回滚 jar(代码问题、与默认值无关)不需要本补丁:V149/V150 起的 jar 全部 +-- 显式落列,对默认值在不在毫无感知,V152 保持应用态即可。 +-- +-- 6. 上线窗口与「为什么只剩这一条」:随 jar 双节点同窗口发布,金丝雀过了立刻补第二台。 +-- biz_dedupe_total_data 的 DEFAULT 1 不在本版:它的写入侧(insertBatchIgnore 的列 +-- 清单)历史上不带 company_id、实体也没有该字段,全靠 DEFAULT 兜底——先修写侧、 +-- 上线并验证真实导入之后才谈摘(修复已落码,尚未出厂)。在那之前启动期哨兵继续 +-- 通过 COMPANY_DEFAULT_STILL_PRESENT 盯它,不靠人记得。 +-- 【不要顺手加入 biz_product_category / biz_invalid_asin_data】:那两张共享表的 +-- DEFAULT 1 是承重约束(写侧有意不落该列、靠 DEFAULT 满足 NOT NULL),摘它=每次 +-- 新建报 1364。它们真正消失的时点是另一笔迁移直接 DROP COLUMN,不是这里。 +-- +-- 【可重跑性】本文件只有两条 ALTER COLUMN ... DROP DEFAULT:对"已无默认值"的列重复 +-- 执行是无操作(发布前在 scratch MySQL 8.4.9 上重放两遍证实),列由 V149/V150 建、 +-- Flyway 保证顺序 ⇒ 不需要 information_schema 守卫(与 V144 同口径;守卫是留给 +-- "重复执行会报错"的 ADD COLUMN/INDEX 那一类)。按「补数据 → flyway repair → 重启」 +-- 恢复时重跑本文件安全。 +-- ============================================================= + +ALTER TABLE `columns` + ALTER COLUMN company_id DROP DEFAULT; + +ALTER TABLE `biz_shop_key` + ALTER COLUMN company_id DROP DEFAULT; diff --git a/backend-java/src/test/java/com/nanri/aiimage/config/CompanyDefaultDropV152Test.java b/backend-java/src/test/java/com/nanri/aiimage/config/CompanyDefaultDropV152Test.java new file mode 100644 index 000000000..4fdf7a667 --- /dev/null +++ b/backend-java/src/test/java/com/nanri/aiimage/config/CompanyDefaultDropV152Test.java @@ -0,0 +1,337 @@ +package com.nanri.aiimage.config; + +import org.junit.jupiter.api.Test; + +import java.io.BufferedReader; +import java.io.IOException; +import java.io.StringReader; +import java.nio.charset.StandardCharsets; +import java.nio.file.Files; +import java.nio.file.Path; +import java.util.ArrayList; +import java.util.List; +import java.util.regex.Matcher; +import java.util.regex.Pattern; +import java.util.stream.Stream; +import java.util.zip.CRC32; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertTrue; + +/** + * V152(摘掉 columns 与 biz_shop_key 的 company_id 默认值)的文件审计。 + * 需求:2026-10-06「优先处理 columns 等三列 DEFAULT 问题」;合并口径见 V150 头注释第 6 段 + * 与 docs/migration-inventory.md(两条都是纯元数据、前提各自独立,要求合并成一版发出)。 + * + *

为什么必须单独有一支:本仓 pom 无 H2、无 testcontainers,迁移跑不起来,文件审计是唯一 + * 能守住的那层(与 {@link CompanyMigrationV144Test}、{@link ShopKeyMigrationV150Test} 同口径)。 + * V152 的三条关键决定全都"错了不报错":

+ *
    + *
  1. 摘除范围的边界:只许 columns 与 biz_shop_key。biz_dedupe_total_data 的写侧修复 + * (insertBatchIgnore 显式落 company_id)尚未出厂,先摘=每次导入 1364; + * biz_product_category / biz_invalid_asin_data 的 DEFAULT 1 是承重约束 + * (共享表写侧有意不落该列、靠它满足 NOT NULL),先摘=每次新建 1364——三个名字 + * 都不许出现在可执行段;
  2. + *
  3. 写法只许 ALTER COLUMN ... DROP DEFAULT(纯元数据、不重建表);写成 MODIFY 会重建表 + * 并按"当时的列默认值"物化历史行——V144/V150 头注释都点名过这条禁写;
  4. + *
  5. 前提是"两台已跑 V149/V150 起的 jar":本类把 149/150/151 的生产校验和在本机复算比对 + * (10-07 只读实查:success=1、installed_on=2026-10-06 17:32:29、checksum 见 + * {@link #appliedV149V150V151BytesAreFrozenAgainstProdChecksum})。谁动了已应用迁移的 + * 字节,会在部署前的测试里先红,而不是在下次重启的启动期把两台 java 一起撂倒。
  6. + *
+ * + *

{@code stripComments}/{@code normalize}/{@code flywayChecksum} 逐字沿用 + * {@link CompanyMigrationV144Test} 那一份实现:注释里的 {@code --} 与字符串字面量里的 + * {@code --} 是两件事,另写一版简化实现会让断言打在残缺 SQL 上。

+ */ +class CompanyDefaultDropV152Test { + + private static final Path ROOT = Path.of(System.getProperty("user.dir")); + private static final Path DB_DIR = ROOT.resolve("src/main/resources/db"); + + /** 生产 flyway_schema_history 只读取证(2026-10-07,主机A):这三条已应用,字节就此封死。 */ + private record Applied(String fileName, int prodChecksum) { + } + + private static final List APPLIED_IN_PROD = List.of( + new Applied("V149__permission_menu_company_tree.sql", 593432281), + new Applied("V150__shop_key_company_scope.sql", 2113095084), + new Applied("V151__rule_tables_shared_across_companies.sql", 613473408)); + + // ---------------------------------------------------------------- 取文件 + + private static List versionFiles() throws IOException { + try (Stream s = Files.list(DB_DIR)) { + return s.filter(p -> p.getFileName().toString().matches("^V\\d+(?:_\\d+)?__.*\\.sql$")) + .sorted() + .toList(); + } + } + + private static Path migration() throws IOException { + List hits = versionFiles().stream() + .filter(p -> p.getFileName().toString().startsWith("V152__")) + .toList(); + assertEquals(1, hits.size(), + "V152 必须恰好一个迁移文件,实际 " + hits.size() + " 个(0 个=摘 DEFAULT 还没落盘;2 个=撞号,Flyway 启动即失败)"); + return hits.get(0); + } + + private static String raw(Path file) throws IOException { + return Files.readString(file, StandardCharsets.UTF_8); + } + + private static String rawMigration() throws IOException { + return raw(migration()); + } + + private static String statements() throws IOException { + return normalize(stripComments(rawMigration())); + } + + private static Path rollbackPatch() { + return ROOT.resolve("docs/rollback-V152-columns-shop-key-default.sql"); + } + + // ------------------------------------------------------------ SQL 预处理 + // 与 CompanyMigrationV144Test / ShopKeyMigrationV150Test 逐字同实现,理由见类注释。 + + private static String stripComments(String sql) { + StringBuilder out = new StringBuilder(sql.length()); + int i = 0; + while (i < sql.length()) { + char c = sql.charAt(i); + if (c == '\'') { + int end = i + 1; + while (end < sql.length()) { + if (sql.charAt(end) == '\'') { + if (end + 1 < sql.length() && sql.charAt(end + 1) == '\'') { + end += 2; + continue; + } + break; + } + end++; + } + out.append(sql, i, Math.min(end + 1, sql.length())); + i = end + 1; + continue; + } + if (c == '-' && i + 1 < sql.length() && sql.charAt(i + 1) == '-') { + while (i < sql.length() && sql.charAt(i) != '\n') { + i++; + } + continue; + } + if (c == '/' && i + 1 < sql.length() && sql.charAt(i + 1) == '*') { + int end = sql.indexOf("*/", i + 2); + i = end < 0 ? sql.length() : end + 2; + continue; + } + out.append(c); + i++; + } + return out.toString(); + } + + private static String normalize(String sql) { + return sql.replaceAll("\\s+", " ").trim(); + } + + /** + * Flyway 的校验和:CRC32 逐 {@code BufferedReader.readLine()} 的 UTF-8 字节累加, + * 行尾不入 CRC(所以 CRLF 工作树与 LF 工作树算出同一个值)。 + */ + private static int flywayChecksum(String content) throws IOException { + CRC32 crc = new CRC32(); + try (BufferedReader reader = new BufferedReader(new StringReader(content))) { + String line; + while ((line = reader.readLine()) != null) { + crc.update(line.getBytes(StandardCharsets.UTF_8)); + } + } + return (int) crc.getValue(); + } + + private static int count(String haystack, String needle) { + int n = 0, i = haystack.indexOf(needle); + while (i >= 0) { + n++; + i = haystack.indexOf(needle, i + needle.length()); + } + return n; + } + + // ------------------------------------------------------------------ 用例 + + /** 破坏点:取到已应用的号(原地改=两台起不来),或取到退役洞 132/133/148(Flyway 报未应用)。 */ + @Test + void migrationIsVersionedOneFiveTwo() throws IOException { + Path file = migration(); + Matcher m = Pattern.compile("^V(\\d+)(?:_\\d+)?__").matcher(file.getFileName().toString()); + assertTrue(m.find(), "文件名应能抽出整数版本:" + file.getFileName()); + assertEquals(152, Integer.parseInt(m.group(1)), "本迁移必须是 V152(V151 之后的下一号)"); + assertTrue(file.getFileName().toString().matches("^V152__[A-Za-z0-9_.-]+\\.sql$"), + "命名应 V152__.sql:" + file.getFileName()); + } + + /** + * 可执行段必须恰好是两条裸的 ALTER COLUMN ... DROP DEFAULT,一张表一条。 + * + *

破坏点 ①:加了 information_schema 守卫却又留在"无操作"事实之外——守卫是留给 + * "重复执行会报错"的动作(V142/V143 的 ADD COLUMN/INDEX);DROP DEFAULT 对已无默认值的列 + * 重复执行不发生任何改变(scratch MySQL 8.4.9 重放两遍证实),裸写才是与 V144 同口径。 + * 破坏点 ②:把列名写错(companyId/company_id 手滑)或把 DROP DEFAULT 写成 MODIFY—— + * 后者会重建表并把历史行按"当时的默认值"物化(本迁移要防的那件事本身)。

+ */ + @Test + void executableSectionIsExactlyTwoBareDropDefaults() throws IOException { + String sql = statements(); + + assertTrue(sql.contains("ALTER TABLE `columns` ALTER COLUMN company_id DROP DEFAULT;"), + "应有 columns 的摘默认语句(逐字):" + sql); + assertTrue(sql.contains("ALTER TABLE `biz_shop_key` ALTER COLUMN company_id DROP DEFAULT;"), + "应有 biz_shop_key 的摘默认语句(逐字):" + sql); + + List altered = new ArrayList<>(); + Matcher alter = Pattern.compile("ALTER TABLE `([A-Za-z0-9_]+)`").matcher(sql); + while (alter.find()) { + altered.add(alter.group(1)); + } + assertEquals(List.of("columns", "biz_shop_key"), altered, + "只允许改这两张表、各恰一次(多了=范围越界;少了=漏摘);实际 " + altered); + + assertFalse(sql.toUpperCase().contains("PREPARE"), "本笔不需要条件 DDL 守卫(裸写口径,理由见头注释)"); + assertFalse(sql.contains("information_schema"), "可执行段不该查元数据表(验证 SQL 只在注释里给人工跑)"); + assertFalse(sql.toUpperCase().contains("MODIFY"), "禁 MODIFY COLUMN:重建表会按当时的默认值物化历史行"); + assertFalse(Pattern.compile("DROP\\s+(COLUMN|TABLE|INDEX)", Pattern.CASE_INSENSITIVE).matcher(sql).find(), + "本笔不是回滚也不是删列:不得出现 DROP COLUMN/TABLE/INDEX"); + assertFalse(sql.toUpperCase().contains("ADD COLUMN"), "列由 V149/V150 建好,这里再 ADD COLUMN 重跑必报 1060"); + assertFalse(sql.toUpperCase().contains("CREATE TABLE"), "V152 不建表"); + assertFalse(Pattern.compile("\\b(UPDATE|INSERT|DELETE|REPLACE)\\b", Pattern.CASE_INSENSITIVE).matcher(sql).find(), + "摘默认值是纯元数据:一条 DML 都不该有(历史行不靠回填)"); + assertFalse(sql.toUpperCase().contains("ADD INDEX") || sql.toUpperCase().contains("ADD KEY"), + "本版本不加索引"); + } + + /** + * 漏口防线:可执行段不得出现三张"碰不得"的表。 + * dedupe 的写侧修复未出厂(先摘=每次导入 1364);两张共享表的 DEFAULT 是承重约束 + * (先摘=每次新建 1364,next 版走 DROP COLUMN)。名字出现在注释里没问题—— + * 断言只打在可执行段上。 + */ + @Test + void forbiddenTablesStayOutOfTheExecutableSection() throws IOException { + String sql = statements(); + for (String table : List.of("biz_dedupe_total_data", "biz_product_category", "biz_invalid_asin_data")) { + assertFalse(sql.contains(table), table + " 不在本版的摘除范围(理由见头注释第 6 段),不许出现在可执行段"); + } + assertFalse(sql.contains("`users`"), "users 的 DEFAULT 已由 V144 摘掉,本文件不该再出现它"); + } + + /** 破坏点:头注释没把"为什么是这两张、为什么不是那三张"与前提证据写全 → 下一笔迁移会重演误摘。 */ + @Test + void headerCarriesPremiseEvidenceAndMergeBasis() throws IOException { + String raw = rawMigration(); + for (int i = 1; i <= 6; i++) { + assertTrue(raw.contains(i + ". "), "头注释应含模板第 " + i + " 项必填"); + } + for (String field : List.of("变更目的", "影响表与数据量", "锁表风险", "验证 SQL", "回滚步骤", "上线窗口")) { + assertTrue(raw.contains(field), "头注释应含必填项:" + field); + } + assertTrue(raw.contains("V150"), "头注释应点名合并依据来自 V150 第 6 段"); + assertTrue(raw.contains("migration-inventory"), "头注释应点名盘点文档里的同款待办"); + assertTrue(raw.contains("1364"), "头注释应写清「宁可撞 1364 也不静默归错公司」的取舍"); + assertTrue(raw.contains("2026-10-06 17:32"), "头注释应带上「V149/V150 已应用」的实查时刻"); + assertTrue(raw.contains("COMPANY_DEFAULT_STILL_PRESENT"), + "头注释应点名哨兵签名,上线后才能把「这两张表还响不响」当验收项"); + assertTrue(raw.contains("biz_dedupe_total_data"), + "头注释应写明 dedupe 为什么不在本版(写侧修复未出厂,先摘=每次导入 1364)"); + assertTrue(raw.contains("biz_product_category") && raw.contains("biz_invalid_asin_data"), + "头注释应写明两张共享表为什么永远不许加进来(DEFAULT 承重)"); + assertTrue(raw.contains("无操作"), "头注释应写清可重跑的依据(重复执行无操作,非守卫式)"); + } + + /** + * V152 的前提是"V149/V150 的写侧已在两台生产跑";而这又要求它们的字节没被人动过。 + * 破坏点:有人"顺手"改进已应用迁移的一个空格、一句注释——那样 jar 里的字节与 + * flyway_schema_history.checksum 不等,下一批部署重启时两台都报校验失败直接起不来。 + */ + @Test + void appliedV149V150V151BytesAreFrozenAgainstProdChecksum() throws IOException { + for (Applied applied : APPLIED_IN_PROD) { + Path file = DB_DIR.resolve(applied.fileName()); + assertTrue(Files.isRegularFile(file), "已应用迁移应仍在扫描路径内:" + applied.fileName()); + int computed = flywayChecksum(raw(file)); + assertEquals(applied.prodChecksum(), computed, + applied.fileName() + " 已经应用到生产库(2026-10-06 17:32),原地改它的字节会让" + + "下次启动 Flyway 校验失败、两台都起不来。要改口径就写下一条迁移。"); + } + } + + /** + * 回滚补丁的默认档就是"两条 SET DEFAULT 1"——与 rollback-V150 的"空档"相反: + * 本笔被动过的只有默认值属性,装回它既是完整回滚、又是纯元数据、可逆无损。 + * 破坏点:写成 MODIFY(重建表)或忘了删 flyway_schema_history 行(半套回滚, + * 会让"重装 V152 时跳过执行"与"库里 DEFAULT 已被装回"长期互相矛盾)。 + */ + @Test + void rollbackPatchRestoresTheDefaultAndDeletesHistoryRow() throws IOException { + Path doc = rollbackPatch(); + assertTrue(Files.isRegularFile(doc), "V152 的人工回滚补丁必须存在:" + doc); + String whole = raw(doc); + assertTrue(whole.contains("flyway_schema_history"), "回滚必须写明删 version='152' 的历史行"); + assertTrue(whole.contains("'152'"), "回滚补丁要点名本版本号,后来人才知道删的是哪一行"); + String executable = normalize(stripComments(whole)); + assertTrue(!executable.isEmpty(), "本笔回滚是可逆的元数据操作,默认档必须直接可执行(不学 V150 的空档)"); + assertEquals(2, count(executable, "SET DEFAULT 1"), + "默认档应把两列的 DEFAULT 都装回去(各恰一次),实际可执行段:" + executable); + assertTrue(executable.contains("ALTER TABLE `columns` ALTER COLUMN company_id SET DEFAULT 1;") + && executable.contains("ALTER TABLE `biz_shop_key` ALTER COLUMN company_id SET DEFAULT 1;"), + "装回语句应逐字用 ALTER COLUMN ... SET DEFAULT 1:" + executable); + assertFalse(executable.toUpperCase().contains("MODIFY"), + "禁 MODIFY:重建表对这两张表的历史行归属没有意义且徒增风险"); + } + + /** + * 摘掉 DEFAULT 之后哨兵对这两张表本应静默,但清单要留着——它是"被装回"(dump 重建、 + * 手滑 SET DEFAULT)时的唯一自动出口(V144 摘 users 时同样没把 users 从清单里删)。 + * 破坏点:有人把"已摘除"读成"可以清理",把两表从 WATCHED_TABLES 或探针 SQL 里删掉。 + */ + @Test + void sentinelStillListsBothTablesAfterRemoval() throws IOException { + Path guard = ROOT.resolve("src/main/java/com/nanri/aiimage/modules/company/service/CompanyDefaultGuard.java"); + assertTrue(Files.isRegularFile(guard), "启动期 DEFAULT 哨兵应存在:" + guard); + String text = raw(guard); + assertTrue(text.contains("COMPANY_DEFAULT_STILL_PRESENT"), "哨兵标记串必须保持 ASCII 原样(巡检按它 grep)"); + assertTrue(text.contains("\"columns\"") && text.contains("\"biz_shop_key\""), + "WATCHED_TABLES 应保留这两张表(摘除后静默;被装回时要能再喊)"); + assertTrue(text.contains("'columns'") && text.contains("'biz_shop_key'"), + "探针 SQL 的 IN 列表应同时保留这两张表(清单与 SQL 双向钉同源)"); + } + + /** 破坏点:盘点文档没跟着 V152 改 ⇒ 下一个人按"取号起点"取号就撞号,或按"最新版本"漏掉本文件。 */ + @Test + void inventoryDocTracksV152() throws IOException { + Path doc = ROOT.resolve("docs/migration-inventory.md"); + String text = raw(doc); + assertTrue(text.contains(migration().getFileName().toString()), + "盘点文档应逐字保留本迁移文件名:" + migration().getFileName()); + assertTrue(text.contains("V150__shop_key_company_scope.sql"), + "盘点文档应同时保留更早的文件名:只钉最新一条会重演「推进概览时把旧条目挤掉」那一次回归"); + } + + /** 自检:本用例集扫的是真文件,且 normalize 后仍能命中关键串(0 命中的断言是恒绿的)。 */ + @Test + void scannedSignaturesAreActuallyPresent() throws IOException { + String sql = statements(); + assertTrue(sql.length() > 100, "剥注释后的 SQL 太短,说明预处理把内容吃掉了:" + sql.length()); + assertTrue(count(sql, "ALTER COLUMN") == 2, + "关键签名命中数应为 2(恰好两条),实际 " + count(sql, "ALTER COLUMN") + + ":预处理或文件路径坏了,本类的断言全部不可信"); + String rollbackExecutable = normalize(stripComments(raw(rollbackPatch()))); + assertTrue(count(rollbackExecutable, "ALTER COLUMN") == 2, + "回滚补丁可执行段的 ALTER COLUMN 也应为 2(否则上面「装回两次」的断言进了恒绿分支)"); + } +} diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/mapper/DedupeTotalDataMapperSqlTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/mapper/DedupeTotalDataMapperSqlTest.java new file mode 100644 index 000000000..a64adb6ec --- /dev/null +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/mapper/DedupeTotalDataMapperSqlTest.java @@ -0,0 +1,65 @@ +package com.nanri.aiimage.modules.dedupe.mapper; + +import com.baomidou.mybatisplus.core.MybatisConfiguration; +import com.nanri.aiimage.modules.dedupe.model.entity.DedupeTotalDataEntity; +import org.apache.ibatis.builder.annotation.MapperAnnotationBuilder; +import org.apache.ibatis.mapping.BoundSql; +import org.apache.ibatis.mapping.MappedStatement; +import org.apache.ibatis.session.Configuration; +import org.junit.jupiter.api.Test; + +import java.lang.reflect.Method; +import java.util.List; +import java.util.Map; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertTrue; + +/** + * {@code insertBatchIgnore} 生成 SQL 的审计:去重库写侧必须显式带 {@code company_id}。 + * + *

为什么必须单独有一支:服务层测试用 mock 捕获的是实体对象,看不到最终 SQL——本表写侧 + * 靠的是注解里的列清单(不是 MyBatis-Plus 的实体字段推导),把 {@code company_id} 从清单里漏掉 + * 或把 {@code #{row.companyId}} 写成 {@code ${...}} 都是"SQL 变了而 service 测试照样绿"。 + * 走 {@code MapperAnnotationBuilder} 解析注解、向真 {@code BoundSql} 断言, + * 口径照抄 {@code ShopDataDuplicateCheckCompanyScopeTest#boundSqlFor}。

+ */ +class DedupeTotalDataMapperSqlTest { + + @Test + void insertBatchCarriesCompanyIdOnEveryRow() throws Exception { + BoundSql boundSql = boundSqlFor(2); + + String sql = boundSql.getSql().replaceAll("\\s+", " "); + assertTrue(sql.contains("INSERT IGNORE INTO biz_dedupe_total_data"), + "批插语句应保留 INSERT IGNORE 形态: " + sql); + assertTrue(sql.contains( + "(data_value, country, group_id, uploader_user_id, uploader_username, company_id)"), + "列清单必须逐字带上 company_id(去重库写侧修复的就是这一列): " + sql); + // 每行 6 个值占位符:写成 ${row.companyId} 或漏掉一列都会让这里的数字对不上 + assertEquals(12, sql.chars().filter(c -> c == '?').count(), + "2 行应有 12 个 ? 占位符(6 列 x 2 行): " + sql); + assertEquals(12, boundSql.getParameterMappings().size(), + "参数绑定数应等于占位符数"); + assertFalse(sql.contains("$"), "不得出现 ${} 拼接面: " + sql); + } + + private static BoundSql boundSqlFor(int rowCount) throws Exception { + Method method = DedupeTotalDataMapper.class.getMethod("insertBatchIgnore", List.class); + String script = String.join(" ", method.getAnnotation(org.apache.ibatis.annotations.Insert.class).value()); + assertTrue(script.contains("company_id"), "注解原文应含 company_id(生成 SQL 才可能含): " + script); + Configuration configuration = new MybatisConfiguration(); + new MapperAnnotationBuilder(configuration, DedupeTotalDataMapper.class).parse(); + MappedStatement statement = configuration.getMappedStatement( + DedupeTotalDataMapper.class.getName() + ".insertBatchIgnore"); + List rows = new java.util.ArrayList<>(rowCount); + for (int i = 0; i < rowCount; i++) { + DedupeTotalDataEntity row = new DedupeTotalDataEntity(); + row.setDataValue("B00000000" + i); + row.setCompanyId(2L); + rows.add(row); + } + return statement.getBoundSql(Map.of("rows", rows)); + } +} diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataServiceTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataServiceTest.java index 8587830a9..c9bc54276 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataServiceTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataServiceTest.java @@ -7,6 +7,7 @@ import com.nanri.aiimage.common.exception.BusinessException; import com.nanri.aiimage.modules.dedupe.mapper.DedupeTotalDataMapper; import com.nanri.aiimage.modules.dedupe.model.dto.DedupeTotalDataCreateRequest; import com.nanri.aiimage.modules.dedupe.model.entity.DedupeTotalDataEntity; +import com.nanri.aiimage.common.service.CompanyScopeSupport; import com.nanri.aiimage.common.service.NodeSharedStore; import com.nanri.aiimage.modules.dedupe.model.vo.DedupeTotalDataImportProgressVo; import com.nanri.aiimage.modules.dedupe.model.vo.DedupeTotalDataItemVo; @@ -64,6 +65,8 @@ class DedupeTotalDataServiceTest { @Mock private ShopManageGroupMapper shopManageGroupMapper; @Mock + private CompanyScopeSupport companyScopeSupport; + @Mock private PlatformTransactionManager transactionManager; @Mock private TransactionStatus transactionStatus; @@ -74,6 +77,7 @@ class DedupeTotalDataServiceTest { void createRecordsUploaderIdentity() { AdminUserEntity uploader = user(23L, "normal", "member-a"); when(adminUserMapper.selectById(23L)).thenReturn(uploader); + when(companyScopeSupport.requireCompanyId(any(AdminUserEntity.class))).thenReturn(1L); stubWritableGroup(23L, 7L); when(dedupeTotalDataMapper.selectOne(any())).thenReturn(null); when(dedupeTotalDataMapper.insert(any(DedupeTotalDataEntity.class))).thenAnswer(invocation -> { @@ -102,6 +106,7 @@ class DedupeTotalDataServiceTest { assertEquals("member-a", captor.getValue().getUploaderUsername()); assertEquals("B012345678", captor.getValue().getDataValue()); assertEquals(7L, captor.getValue().getGroupId()); + assertEquals(1L, captor.getValue().getCompanyId(), "create 必须显式落 company_id,不许靠列上的 DEFAULT 兜"); assertEquals("member-a", item.getUsername()); assertEquals(7L, item.getGroupId()); assertEquals("group-7", item.getGroupName()); @@ -179,6 +184,7 @@ class DedupeTotalDataServiceTest { @Test void duplicateExcelValueKeepsOriginalUploader() throws Exception { when(adminUserMapper.selectById(23L)).thenReturn(user(23L, "normal", "member-a")); + when(companyScopeSupport.requireCompanyId(any(AdminUserEntity.class))).thenReturn(1L); stubWritableGroup(23L, 7L); when(dedupeTotalDataMapper.selectExistingDataValues(List.of("B012345678"))) .thenReturn(List.of("B012345678")); @@ -191,9 +197,27 @@ class DedupeTotalDataServiceTest { verify(dedupeTotalDataMapper, never()).insert(any(DedupeTotalDataEntity.class)); } + @Test + void importRejectsOperatorWithoutCompany() throws Exception { + AdminUserEntity noCompany = user(23L, "normal", "member-a"); + noCompany.setCompanyId(null); + when(adminUserMapper.selectById(23L)).thenReturn(noCompany); + when(companyScopeSupport.requireCompanyId(any(AdminUserEntity.class))) + .thenThrow(new BusinessException(403, "当前账号没有所属公司,无法按公司读写数据")); + + BusinessException exception = assertThrows( + BusinessException.class, + () -> service.importFromExcel(asinWorkbook("B012345678"), 7L, 23L)); + + assertEquals("当前账号没有所属公司,无法按公司读写数据", exception.getMessage()); + verify(dedupeTotalDataMapper, never()).insertBatchIgnore(any()); + verify(dedupeTotalDataMapper, never()).insert(any(DedupeTotalDataEntity.class)); + } + @Test void importReadsAndNormalizesCountryColumn() throws Exception { when(adminUserMapper.selectById(23L)).thenReturn(user(23L, "normal", "member-a")); + when(companyScopeSupport.requireCompanyId(any(AdminUserEntity.class))).thenReturn(1L); stubWritableGroup(23L, 7L); when(dedupeTotalDataMapper.selectExistingDataValues(List.of("B012345678"))).thenReturn(List.of()); when(dedupeTotalDataMapper.insertBatchIgnore(any())).thenReturn(1); @@ -206,11 +230,14 @@ class DedupeTotalDataServiceTest { verify(dedupeTotalDataMapper).insertBatchIgnore(captor.capture()); // US 不在五国范围内,应被过滤掉 assertEquals("DE,UK", captor.getValue().getFirst().getCountry()); + assertEquals(1L, captor.getValue().getFirst().getCompanyId(), + "import 批插必须显式带 company_id(DEFAULT 是给历史行与旧 jar 的临时兜底,待摘)"); } @Test void importKeepsCountryBlankWhenHeaderMissing() throws Exception { when(adminUserMapper.selectById(23L)).thenReturn(user(23L, "normal", "member-a")); + when(companyScopeSupport.requireCompanyId(any(AdminUserEntity.class))).thenReturn(1L); stubWritableGroup(23L, 7L); when(dedupeTotalDataMapper.selectExistingDataValues(List.of("B012345678"))).thenReturn(List.of()); when(dedupeTotalDataMapper.insertBatchIgnore(any())).thenReturn(1); @@ -247,6 +274,7 @@ class DedupeTotalDataServiceTest { @Test void concurrentDuplicateDuringImportIsSkipped() throws Exception { when(adminUserMapper.selectById(23L)).thenReturn(user(23L, "normal", "member-a")); + when(companyScopeSupport.requireCompanyId(any(AdminUserEntity.class))).thenReturn(1L); stubWritableGroup(23L, 7L); when(dedupeTotalDataMapper.selectOne(any())).thenReturn(null); when(dedupeTotalDataMapper.selectExistingDataValues(List.of("B012345678"))).thenReturn(List.of()); @@ -531,6 +559,7 @@ class DedupeTotalDataServiceTest { user.setRole(role); user.setUsername(username); user.setIsAdmin("normal".equals(role) ? 0 : 1); + user.setCompanyId(1L); return user; }