From 1553635124731dc47b1a97a8590e0971566e0512 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Fri, 9 Oct 2026 11:58:43 +0800 Subject: [PATCH] =?UTF-8?q?feat(=E5=A4=9A=E5=85=AC=E5=8F=B8):=20V154=20?= =?UTF-8?q?=E6=91=98=E5=8E=BB=E9=87=8D=E5=BA=93=20company=5Fid=20=E7=9A=84?= =?UTF-8?q?=20DEFAULT=201=EF=BC=8C=E5=89=8D=E7=BD=AE=E6=98=AF=20Java=20?= =?UTF-8?q?=E4=BE=A7=E5=BD=92=E5=B1=9E=E9=97=B8=E9=97=A8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 只读取证(scripts/_probe_dedupe_default.py,主机A):哨兵四张表里只剩这张带 DEFAULT 1;归属分布 1=546,344 / 3=8,125,无 0 无 NULL,孤儿归属 0 行;写侧显式落值那版上线后真实导入 29,555 行(10-07 09:48→10-08 23:57)⇒ V152 第 6 段"先修写侧、上线并验证真实导入"的前提成立 - 关键差异:本表批量导入是 INSERT IGNORE,在 STRICT_TRANS_TABLES 下省略该列不会 1364,而是落成隐式默认 0(不属于任何公司、对所有公司隐形)⇒ 顺序必须是先上 Java 闸门再让迁移生效,反过来会把"静默归第 1 家"换成"静默归 0 家" - DedupeTotalDataService.requireCompanyAttribution 接在两条写通道(create / insertImportBatch)上;新用例 4 例含接线钉(按行首语句数调用点==2,避开 javadoc 同名提及那个坑),反证:摘掉一处调用 ⇒ 1 红 BUILD FAILURE - 迁移只有一条 ALTER COLUMN ... DROP DEFAULT(纯元数据、瞬时、可重跑);禁 MODIFY COLUMN 重建表那条禁令沿用 V144/V150/V152;回滚补丁在 Flyway 扫描路径之外 --- ...ck-V154-dedupe-company-id-drop-default.sql | 23 ++++++ .../service/DedupeTotalDataService.java | 23 ++++++ ...upe_total_data_company_id_drop_default.sql | 66 +++++++++++++++++ .../DedupeTotalDataWriteAttributionTest.java | 74 +++++++++++++++++++ 4 files changed, 186 insertions(+) create mode 100644 backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql create mode 100644 backend-java/src/main/resources/db/V154__biz_dedupe_total_data_company_id_drop_default.sql create mode 100644 backend-java/src/test/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataWriteAttributionTest.java diff --git a/backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql b/backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql new file mode 100644 index 000000000..c086ebaf4 --- /dev/null +++ b/backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql @@ -0,0 +1,23 @@ +-- 回滚 V154(人工补丁,不放进 src/main/resources/db/——那是 Flyway 扫描路径, +-- 任何 V*.sql 都会在应用下次启动时自动执行;把回滚编成版本化迁移等于让"决定回滚" +-- 这件事在没有人工执行的情况下自己发生)。 +-- +-- 触发场景只有一个:出现了本迁移没预见的、省略 company_id 的写入通道,且它绕过了 +-- DedupeTotalDataService.requireCompanyAttribution 那道 Java 闸门(表现为 1364, +-- 或被 INSERT IGNORE 落成 company_id=0 的行)。 +-- 仅仅"代码有问题需要回滚 jar"不需要本补丁:带闸门的 jar 全部显式落列, +-- 对默认值在不在毫无感知,V154 保持应用态即可。 +-- +-- 执行顺序(两台都要,中间不停服会混版): +-- 1) 停两台应用(docker stop java-server) +-- 2) 在 aiimage 库执行下面的 SET DEFAULT 1(纯元数据、瞬时) +-- 3) DELETE FROM flyway_schema_history WHERE version = '154'; +-- 4) 回滚 jar 到上一版 +-- 5) 起两台,确认 health=200 且 CompanyDefaultGuard 重新打 COMPANY_DEFAULT_STILL_PRESENT +-- (它重新喊才是"回到改前"的证据,不喊说明 DEFAULT 没装回去) +-- 6) 复查是否已经产生 company_id=0 的行: +-- SELECT COUNT(*) FROM biz_dedupe_total_data WHERE company_id = 0; +-- 有的话回滚不解决存量,要单独按 uploader/group 追认归属后再改。 + +ALTER TABLE `biz_dedupe_total_data` + ALTER COLUMN company_id SET DEFAULT 1; diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java index a104416e9..08c6aa2b6 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/dedupe/service/DedupeTotalDataService.java @@ -483,6 +483,7 @@ public class DedupeTotalDataService { entity.setUploaderUserId(uploader.getId()); entity.setUploaderUsername(uploader.getUsername()); entity.setCompanyId(companyId); + requireCompanyAttribution(entity); dedupeTotalDataMapper.insert(entity); return toItemVo(getById(entity.getId()), group.getGroupName()); } @@ -936,6 +937,25 @@ public class DedupeTotalDataService { } } + /** + * 归属闸门:{@code biz_dedupe_total_data.company_id} 为空就在 Java 侧当场炸,一条语句都不许发到库里。 + * + *
为什么必须由代码来拦:这张表有两条写通道,省略该列的后果不一样——通用 {@code insert} 会撞 + * MySQL 1364({@code Field 'company_id' doesn't have a default value})当场炸出来;而批量导入用的 + * {@code INSERT IGNORE} 在 {@code STRICT_TRANS_TABLES}(生产 sql_mode 实查含之)下把该错误降级成 + * warning,并把 NOT NULL 数值列落成隐式默认 0——0 不是任何一家公司,行会插进去但对所有公司 + * 都隐形。V154 摘掉 {@code DEFAULT 1} 之前,如果只靠数据库层兜,"静默归第 1 家"就变成"静默归 0 家", + * 比改之前更难发现,所以闸门必须在前面。
+ * + *只判空值,不判等值:历史行的归属由迁移与业务口径决定,这里不替它们背书。
+ */ + static void requireCompanyAttribution(DedupeTotalDataEntity entity) { + if (entity == null || entity.getCompanyId() == null) { + throw new BusinessException( + "去重库写入缺少归属公司(biz_dedupe_total_data.company_id 不许为空,也不能省略)"); + } + } + private ImportBatchResult insertImportBatch(List为什么这里必须有代码级闸门:这张表的两条写通道对"省略该列"的反应不一样—— + * 通用 {@code insert} 会撞 MySQL 1364 当场炸;批量导入用的 {@code INSERT IGNORE} + * 在生产 {@code sql_mode}(只读取证含 {@code STRICT_TRANS_TABLES})下把错误降级成 warning, + * 并把 NOT NULL 数值列落成隐式默认 {@code 0}。0 不是任何一家公司,行插得进去但对所有公司都隐形—— + * 比摘 DEFAULT 之前的"静默归第 1 家"更难被发现。所以先由代码拦,再动库。
+ */ +class DedupeTotalDataWriteAttributionTest { + + private static DedupeTotalDataEntity row(Long companyId) { + DedupeTotalDataEntity entity = new DedupeTotalDataEntity(); + entity.setDataValue("B0TESTVALUE01"); + entity.setCompanyId(companyId); + return entity; + } + + @Test + void companyId为空必须当场炸且报的是这张表() { + BusinessException ex = assertThrows(BusinessException.class, + () -> DedupeTotalDataService.requireCompanyAttribution(row(null))); + assertTrue(ex.getMessage().contains("biz_dedupe_total_data.company_id"), + "报错要能定位到列,否则线上只看到一个笼统的失败:" + ex.getMessage()); + } + + @Test + void 整行是null也算空归属() { + // 防的是"以后有人把 null 元素塞进批量 rows"——那时 NPE 比 1364 更难查 + assertThrows(BusinessException.class, + () -> DedupeTotalDataService.requireCompanyAttribution(null)); + } + + @Test + void 显式落值就放行() { + DedupeTotalDataService.requireCompanyAttribution(row(3L)); + } + + /** + * 接线钉:两个写通道({@code create} 与批量导入)都必须真的调用闸门。 + * + *只判"闸门存在"等于没判——一道没人调的校验和没有是同一件事(这一族错误本轮踩过多次)。 + * 计数按行首语句匹配,不是全文件 grep:定义行、javadoc 里的同名提及都不算调用, + * 否则一处注释就能把这条钉子喂饱。
+ */ + @Test + void 两条写通道都真的接上了闸门() throws IOException { + Path p = Path.of("src/main/java/com/nanri/aiimage/modules/dedupe/service", + "DedupeTotalDataService.java"); + assertTrue(Files.exists(p), "找不到被测源文件:" + p.toAbsolutePath()); + List