diff --git a/backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql b/backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql new file mode 100644 index 000000000..c086ebaf4 --- /dev/null +++ b/backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql @@ -0,0 +1,23 @@ +-- 回滚 V154(人工补丁,不放进 src/main/resources/db/——那是 Flyway 扫描路径, +-- 任何 V*.sql 都会在应用下次启动时自动执行;把回滚编成版本化迁移等于让"决定回滚" +-- 这件事在没有人工执行的情况下自己发生)。 +-- +-- 触发场景只有一个:出现了本迁移没预见的、省略 company_id 的写入通道,且它绕过了 +-- DedupeTotalDataService.requireCompanyAttribution 那道 Java 闸门(表现为 1364, +-- 或被 INSERT IGNORE 落成 company_id=0 的行)。 +-- 仅仅"代码有问题需要回滚 jar"不需要本补丁:带闸门的 jar 全部显式落列, +-- 对默认值在不在毫无感知,V154 保持应用态即可。 +-- +-- 执行顺序(两台都要,中间不停服会混版): +-- 1) 停两台应用(docker stop java-server) +-- 2) 在 aiimage 库执行下面的 SET DEFAULT 1(纯元数据、瞬时) +-- 3) DELETE FROM flyway_schema_history WHERE version = '154'; +-- 4) 回滚 jar 到上一版 +-- 5) 起两台,确认 health=200 且 CompanyDefaultGuard 重新打 COMPANY_DEFAULT_STILL_PRESENT +-- (它重新喊才是"回到改前"的证据,不喊说明 DEFAULT 没装回去) +-- 6) 复查是否已经产生 company_id=0 的行: +-- SELECT COUNT(*) FROM biz_dedupe_total_data WHERE company_id = 0; +-- 有的话回滚不解决存量,要单独按 uploader/group 追认归属后再改。 + +ALTER TABLE `biz_dedupe_total_data` + ALTER COLUMN company_id SET DEFAULT 1; diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java index a104416e9..08c6aa2b6 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java @@ -483,6 +483,7 @@ public class DedupeTotalDataService { entity.setUploaderUserId(uploader.getId()); entity.setUploaderUsername(uploader.getUsername()); entity.setCompanyId(companyId); + requireCompanyAttribution(entity); dedupeTotalDataMapper.insert(entity); return toItemVo(getById(entity.getId()), group.getGroupName()); } @@ -936,6 +937,25 @@ public class DedupeTotalDataService { } } + /** + * 归属闸门:{@code biz_dedupe_total_data.company_id} 为空就在 Java 侧当场炸,一条语句都不许发到库里。 + * + *

为什么必须由代码来拦:这张表有两条写通道,省略该列的后果不一样——通用 {@code insert} 会撞 + * MySQL 1364({@code Field 'company_id' doesn't have a default value})当场炸出来;而批量导入用的 + * {@code INSERT IGNORE} 在 {@code STRICT_TRANS_TABLES}(生产 sql_mode 实查含之)下把该错误降级成 + * warning,并把 NOT NULL 数值列落成隐式默认 0——0 不是任何一家公司,行会插进去但对所有公司 + * 都隐形。V154 摘掉 {@code DEFAULT 1} 之前,如果只靠数据库层兜,"静默归第 1 家"就变成"静默归 0 家", + * 比改之前更难发现,所以闸门必须在前面。

+ * + *

只判空值,不判等值:历史行的归属由迁移与业务口径决定,这里不替它们背书。

+ */ + static void requireCompanyAttribution(DedupeTotalDataEntity entity) { + if (entity == null || entity.getCompanyId() == null) { + throw new BusinessException( + "去重库写入缺少归属公司(biz_dedupe_total_data.company_id 不许为空,也不能省略)"); + } + } + private ImportBatchResult insertImportBatch(List values, Map countriesByValue, Long groupId, @@ -963,6 +983,9 @@ public class DedupeTotalDataService { if (rows.isEmpty()) { return new ImportBatchResult(0, values.size()); } + for (DedupeTotalDataEntity row : rows) { + requireCompanyAttribution(row); + } int inserted; try { diff --git a/backend-java/src/main/resources/db/V154__biz_dedupe_total_data_company_id_drop_default.sql b/backend-java/src/main/resources/db/V154__biz_dedupe_total_data_company_id_drop_default.sql new file mode 100644 index 000000000..dee98398d --- /dev/null +++ b/backend-java/src/main/resources/db/V154__biz_dedupe_total_data_company_id_drop_default.sql @@ -0,0 +1,66 @@ +-- ============================================================= +-- 迁移 V154__biz_dedupe_total_data_company_id_drop_default +-- 模板:docs/flyway-migration-template.md +-- 需求:四面9分口径 §2「半套发布」哨兵自 10-08 起每次启动必报 COMPANY_DEFAULT_STILL_PRESENT +-- 合并依据:V152 头注释第 6 段把这张表**单独留在门外**,理由是"写侧 insertBatchIgnore 的列清单历史上 +-- 不带 company_id、实体也没有该字段,全靠 DEFAULT 兜底——先修写侧、上线并验证真实导入之后才谈摘"。 +-- 那三件事如今都成立,所以本版单独发出,不与任何其他 DDL 合并。 +-- +-- 1. 变更目的:摘掉 biz_dedupe_total_data.company_id 的 DEFAULT 1。 +-- 留着的后果:任何省略该列的写入被静默塞进第 1 家(厦门米椿花),事后无法追认是谁写的。 +-- 摘掉之后通用 insert 那条通道会撞 MySQL 1364(Field 'company_id' doesn't have a default value) +-- 当场炸——这是取舍,不是缺陷(同 V144/V152 的口径)。 +-- +-- ⚠ 但本表批量导入用的是 INSERT IGNORE(DedupeTotalDataMapper.xml 的 insertBatchIgnore), +-- 它在 STRICT_TRANS_TABLES 下把该错误降级成 warning,并把 NOT NULL 数值列落成隐式默认 0; +-- 0 不是任何一家公司 ⇒ 行插得进去但对所有公司都隐形,比"归第 1 家"更难发现。 +-- 因此本版的前提是代码侧闸门已先落地:DedupeTotalDataService.requireCompanyAttribution +-- 在两条写通道(create / insertImportBatch)上都拦空归属,用例 +-- DedupeTotalDataWriteAttributionTest 4 例(含"摘掉一处调用必须判红"的接线钉)。 +-- ——顺序不能反:先上带闸门的 jar,再让本迁移跟着同一版 jar 生效。 +-- +-- 2. 前提取证(2026-10-09 只读探针 scripts/_probe_dedupe_default.py,主机A,零写入): +-- · MySQL 8.4.8,sql_mode 含 STRICT_TRANS_TABLES; +-- · 哨兵登记表四张表里只有本表仍带 DEFAULT 1: +-- users / biz_shop_key / columns 的 COLUMN_DEFAULT 均为空,biz_dedupe_total_data = 1; +-- · 归属分布:company_id=1 共 546,344 行、=3 共 8,125 行;**没有 0,也没有 NULL**; +-- · 孤儿归属(company_id 不在 company 表):0 行; +-- · 写侧那版(显式落 company_id)上线后的真实导入:2026-10-07 09:48:38 → 2026-10-08 23:57:51 +-- 共 29,555 行 ⇒ V152 第 6 段要求的"上线并验证真实导入"成立; +-- · 全表 554,469 行,时间跨度 2026-08-05 → 2026-10-08。 +-- +-- 3. 影响表与数据量:只动一列的默认值属性。不写数据、不加索引、不删列、不碰其他任何表。 +-- DROP DEFAULT 不改变已存行的读值(V152 同条结论:本机 MySQL 8.4.9 实验证实摘除前后读值一致), +-- 摘除只影响"之后省略该列的 INSERT"。 +-- +-- 4. 锁表风险:极低。ALTER TABLE ... ALTER COLUMN ... DROP DEFAULT 是纯元数据操作(瞬时完成、 +-- 不重建表、不扫描行)。【禁写成 MODIFY COLUMN ... NOT NULL】——MODIFY 走重建表,重建按"当时的 +-- 列默认值"物化历史行;默认值刚被摘掉,历史归属就失去依据(V144/V150/V152 同款禁令)。 +-- 本表 554,469 行,重建代价与风险都不成比例。 +-- +-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied): +-- SHOW COLUMNS FROM `biz_dedupe_total_data` LIKE 'company_id'; +-- -> 期望 Null = NO,Default = NULL +-- SELECT TABLE_NAME, COLUMN_DEFAULT FROM information_schema.COLUMNS +-- WHERE TABLE_SCHEMA = DATABASE() AND COLUMN_NAME = 'company_id' +-- AND TABLE_NAME IN ('users','biz_dedupe_total_data','biz_shop_key','columns'); +-- -> 期望四行 COLUMN_DEFAULT 全部为 NULL +-- 启动期 CompanyDefaultGuard 不再打 COMPANY_DEFAULT_STILL_PRESENT; +-- 【清单原样保留,不要摘】——哪天 DEFAULT 被装回(dump 重建、手滑 SET DEFAULT),它还得喊出来。 +-- 同时确认应用侧没有新增 1364:docker logs java-server --since 30m | grep -a "doesn't have a default"。 +-- +-- 6. 回滚步骤:人工补丁 backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql +-- (在 Flyway 扫描路径之外;版本化回滚等于让"决定回滚"这件事自己发生)。 +-- 触发场景是"摘错了"——即出现本迁移没预见到的、省略 company_id 的写入通道,且它绕过了 Java 闸门。 +-- 顺序:停两台应用 → 跑补丁(一条 ALTER COLUMN ... SET DEFAULT 1,纯元数据) +-- → 删 flyway_schema_history 的 version='154' 行 → 回滚 jar → 起应用。 +-- 仅仅回滚 jar(代码问题、与默认值无关)不需要本补丁:带闸门的 jar 全部显式落列, +-- 对默认值在不在毫无感知,V154 保持应用态即可。 +-- +-- 【可重跑性】本文件只有一条 ALTER COLUMN ... DROP DEFAULT:对"已无默认值"的列重复执行是无操作 +-- (V152 已在 scratch MySQL 8.4.9 上重放同类语句证实),列由 V145 建、Flyway 保证顺序 +-- ⇒ 不需要 information_schema 守卫。按「补数据 → flyway repair → 重启」恢复时重跑本文件安全。 +-- ============================================================= + +ALTER TABLE `biz_dedupe_total_data` + ALTER COLUMN company_id DROP DEFAULT; diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataWriteAttributionTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataWriteAttributionTest.java new file mode 100644 index 000000000..9130d91ce --- /dev/null +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataWriteAttributionTest.java @@ -0,0 +1,74 @@ +package com.nanri.aiimage.modules.dedupe.service; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertThrows; +import static org.junit.jupiter.api.Assertions.assertTrue; + +import com.nanri.aiimage.common.exception.BusinessException; +import com.nanri.aiimage.modules.dedupe.model.entity.DedupeTotalDataEntity; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.nio.file.Files; +import java.nio.file.Path; +import java.util.List; +import org.junit.jupiter.api.Test; + +/** + * V154(摘 {@code biz_dedupe_total_data.company_id} 的 {@code DEFAULT 1})的前置闸门。 + * + *

为什么这里必须有代码级闸门:这张表的两条写通道对"省略该列"的反应不一样—— + * 通用 {@code insert} 会撞 MySQL 1364 当场炸;批量导入用的 {@code INSERT IGNORE} + * 在生产 {@code sql_mode}(只读取证含 {@code STRICT_TRANS_TABLES})下把错误降级成 warning, + * 并把 NOT NULL 数值列落成隐式默认 {@code 0}。0 不是任何一家公司,行插得进去但对所有公司都隐形—— + * 比摘 DEFAULT 之前的"静默归第 1 家"更难被发现。所以先由代码拦,再动库。

+ */ +class DedupeTotalDataWriteAttributionTest { + + private static DedupeTotalDataEntity row(Long companyId) { + DedupeTotalDataEntity entity = new DedupeTotalDataEntity(); + entity.setDataValue("B0TESTVALUE01"); + entity.setCompanyId(companyId); + return entity; + } + + @Test + void companyId为空必须当场炸且报的是这张表() { + BusinessException ex = assertThrows(BusinessException.class, + () -> DedupeTotalDataService.requireCompanyAttribution(row(null))); + assertTrue(ex.getMessage().contains("biz_dedupe_total_data.company_id"), + "报错要能定位到列,否则线上只看到一个笼统的失败:" + ex.getMessage()); + } + + @Test + void 整行是null也算空归属() { + // 防的是"以后有人把 null 元素塞进批量 rows"——那时 NPE 比 1364 更难查 + assertThrows(BusinessException.class, + () -> DedupeTotalDataService.requireCompanyAttribution(null)); + } + + @Test + void 显式落值就放行() { + DedupeTotalDataService.requireCompanyAttribution(row(3L)); + } + + /** + * 接线钉:两个写通道({@code create} 与批量导入)都必须真的调用闸门。 + * + *

只判"闸门存在"等于没判——一道没人调的校验和没有是同一件事(这一族错误本轮踩过多次)。 + * 计数按行首语句匹配,不是全文件 grep:定义行、javadoc 里的同名提及都不算调用, + * 否则一处注释就能把这条钉子喂饱。

+ */ + @Test + void 两条写通道都真的接上了闸门() throws IOException { + Path p = Path.of("src/main/java/com/nanri/aiimage/modules/dedupe/service", + "DedupeTotalDataService.java"); + assertTrue(Files.exists(p), "找不到被测源文件:" + p.toAbsolutePath()); + List calls = Files.readAllLines(p, StandardCharsets.UTF_8).stream() + .map(String::trim) + .filter(line -> line.startsWith("requireCompanyAttribution(")) + .toList(); + assertEquals(2, calls.size(), + "调用闸门的写通道应当正好 2 条(create + 批量导入),实测 " + calls.size() + + " 条 ⇒ 有一条通道省略归属时会直接落到库里(1364 或 INSERT IGNORE 的隐式 0)"); + } +}