feat(多公司): V154 摘去重库 company_id 的 DEFAULT 1,前置是 Java 侧归属闸门

- 只读取证(scripts/_probe_dedupe_default.py,主机A):哨兵四张表里只剩这张带 DEFAULT 1;归属分布 1=546,344 / 3=8,125,无 0 无 NULL,孤儿归属 0 行;写侧显式落值那版上线后真实导入 29,555 行(10-07 09:48→10-08 23:57)⇒ V152 第 6 段"先修写侧、上线并验证真实导入"的前提成立
- 关键差异:本表批量导入是 INSERT IGNORE,在 STRICT_TRANS_TABLES 下省略该列不会 1364,而是落成隐式默认 0(不属于任何公司、对所有公司隐形)⇒ 顺序必须是先上 Java 闸门再让迁移生效,反过来会把"静默归第 1 家"换成"静默归 0 家"
- DedupeTotalDataService.requireCompanyAttribution 接在两条写通道(create / insertImportBatch)上;新用例 4 例含接线钉(按行首语句数调用点==2,避开 javadoc 同名提及那个坑),反证:摘掉一处调用 ⇒ 1 红 BUILD FAILURE
- 迁移只有一条 ALTER COLUMN ... DROP DEFAULT(纯元数据、瞬时、可重跑);禁 MODIFY COLUMN 重建表那条禁令沿用 V144/V150/V152;回滚补丁在 Flyway 扫描路径之外
This commit is contained in:
2026-10-09 11:58:43 +08:00
parent 603e08243f
commit 1553635124
4 changed files with 186 additions and 0 deletions
@@ -0,0 +1,23 @@
-- 回滚 V154(人工补丁,不放进 src/main/resources/db/——那是 Flyway 扫描路径,
-- 任何 V*.sql 都会在应用下次启动时自动执行;把回滚编成版本化迁移等于让"决定回滚"
-- 这件事在没有人工执行的情况下自己发生)。
--
-- 触发场景只有一个:出现了本迁移没预见的、省略 company_id 的写入通道,且它绕过了
-- DedupeTotalDataService.requireCompanyAttribution 那道 Java 闸门(表现为 1364,
-- 或被 INSERT IGNORE 落成 company_id=0 的行)。
-- 仅仅"代码有问题需要回滚 jar"不需要本补丁:带闸门的 jar 全部显式落列,
-- 对默认值在不在毫无感知,V154 保持应用态即可。
--
-- 执行顺序(两台都要,中间不停服会混版):
-- 1) 停两台应用(docker stop java-server)
-- 2) 在 aiimage 库执行下面的 SET DEFAULT 1(纯元数据、瞬时)
-- 3) DELETE FROM flyway_schema_history WHERE version = '154';
-- 4) 回滚 jar 到上一版
-- 5) 起两台,确认 health=200 且 CompanyDefaultGuard 重新打 COMPANY_DEFAULT_STILL_PRESENT
-- (它重新喊才是"回到改前"的证据,不喊说明 DEFAULT 没装回去)
-- 6) 复查是否已经产生 company_id=0 的行:
-- SELECT COUNT(*) FROM biz_dedupe_total_data WHERE company_id = 0;
-- 有的话回滚不解决存量,要单独按 uploader/group 追认归属后再改。
ALTER TABLE `biz_dedupe_total_data`
ALTER COLUMN company_id SET DEFAULT 1;
@@ -483,6 +483,7 @@ public class DedupeTotalDataService {
entity.setUploaderUserId(uploader.getId());
entity.setUploaderUsername(uploader.getUsername());
entity.setCompanyId(companyId);
requireCompanyAttribution(entity);
dedupeTotalDataMapper.insert(entity);
return toItemVo(getById(entity.getId()), group.getGroupName());
}
@@ -936,6 +937,25 @@ public class DedupeTotalDataService {
}
}
/**
* 归属闸门:{@code biz_dedupe_total_data.company_id} 为空就在 Java 侧当场炸,一条语句都不许发到库里。
*
* <p>为什么必须由代码来拦:这张表有两条写通道,省略该列的后果不一样——通用 {@code insert} 会撞
* MySQL 1364({@code Field 'company_id' doesn't have a default value})当场炸出来;而批量导入用的
* {@code INSERT IGNORE} 在 {@code STRICT_TRANS_TABLES}(生产 sql_mode 实查含之)下把该错误降级成
* warning,并把 NOT NULL 数值列落成隐式默认 <b>0</b>——0 不是任何一家公司,行会插进去但对所有公司
* 都隐形。V154 摘掉 {@code DEFAULT 1} 之前,如果只靠数据库层兜,"静默归第 1 家"就变成"静默归 0 家",
* 比改之前更难发现,所以闸门必须在前面。</p>
*
* <p>只判空值,不判等值:历史行的归属由迁移与业务口径决定,这里不替它们背书。</p>
*/
static void requireCompanyAttribution(DedupeTotalDataEntity entity) {
if (entity == null || entity.getCompanyId() == null) {
throw new BusinessException(
"去重库写入缺少归属公司(biz_dedupe_total_data.company_id 不许为空,也不能省略)");
}
}
private ImportBatchResult insertImportBatch(List<String> values,
Map<String, String> countriesByValue,
Long groupId,
@@ -963,6 +983,9 @@ public class DedupeTotalDataService {
if (rows.isEmpty()) {
return new ImportBatchResult(0, values.size());
}
for (DedupeTotalDataEntity row : rows) {
requireCompanyAttribution(row);
}
int inserted;
try {
@@ -0,0 +1,66 @@
-- =============================================================
-- 迁移 V154__biz_dedupe_total_data_company_id_drop_default
-- 模板:docs/flyway-migration-template.md
-- 需求:四面9分口径 §2「半套发布」哨兵自 10-08 起每次启动必报 COMPANY_DEFAULT_STILL_PRESENT
-- 合并依据:V152 头注释第 6 段把这张表**单独留在门外**,理由是"写侧 insertBatchIgnore 的列清单历史上
-- 不带 company_id、实体也没有该字段,全靠 DEFAULT 兜底——先修写侧、上线并验证真实导入之后才谈摘"。
-- 那三件事如今都成立,所以本版单独发出,不与任何其他 DDL 合并。
--
-- 1. 变更目的:摘掉 biz_dedupe_total_data.company_id 的 DEFAULT 1。
-- 留着的后果:任何省略该列的写入被静默塞进第 1 家(厦门米椿花),事后无法追认是谁写的。
-- 摘掉之后通用 insert 那条通道会撞 MySQL 1364(Field 'company_id' doesn't have a default value)
-- 当场炸——这是取舍,不是缺陷(同 V144/V152 的口径)。
--
-- ⚠ 但本表批量导入用的是 INSERT IGNORE(DedupeTotalDataMapper.xml 的 insertBatchIgnore),
-- 它在 STRICT_TRANS_TABLES 下把该错误降级成 warning,并把 NOT NULL 数值列落成隐式默认 0;
-- 0 不是任何一家公司 ⇒ 行插得进去但对所有公司都隐形,比"归第 1 家"更难发现。
-- 因此本版的前提是代码侧闸门已先落地:DedupeTotalDataService.requireCompanyAttribution
-- 在两条写通道(create / insertImportBatch)上都拦空归属,用例
-- DedupeTotalDataWriteAttributionTest 4 例(含"摘掉一处调用必须判红"的接线钉)。
-- ——顺序不能反:先上带闸门的 jar,再让本迁移跟着同一版 jar 生效。
--
-- 2. 前提取证(2026-10-09 只读探针 scripts/_probe_dedupe_default.py,主机A,零写入):
-- · MySQL 8.4.8,sql_mode 含 STRICT_TRANS_TABLES;
-- · 哨兵登记表四张表里只有本表仍带 DEFAULT 1:
-- users / biz_shop_key / columns 的 COLUMN_DEFAULT 均为空,biz_dedupe_total_data = 1;
-- · 归属分布:company_id=1 共 546,344 行、=3 共 8,125 行;**没有 0,也没有 NULL**;
-- · 孤儿归属(company_id 不在 company 表):0 行;
-- · 写侧那版(显式落 company_id)上线后的真实导入:2026-10-07 09:48:38 → 2026-10-08 23:57:51
-- 共 29,555 行 ⇒ V152 第 6 段要求的"上线并验证真实导入"成立;
-- · 全表 554,469 行,时间跨度 2026-08-05 → 2026-10-08。
--
-- 3. 影响表与数据量:只动一列的默认值属性。不写数据、不加索引、不删列、不碰其他任何表。
-- DROP DEFAULT 不改变已存行的读值(V152 同条结论:本机 MySQL 8.4.9 实验证实摘除前后读值一致),
-- 摘除只影响"之后省略该列的 INSERT"。
--
-- 4. 锁表风险:极低。ALTER TABLE ... ALTER COLUMN ... DROP DEFAULT 是纯元数据操作(瞬时完成、
-- 不重建表、不扫描行)。【禁写成 MODIFY COLUMN ... NOT NULL】——MODIFY 走重建表,重建按"当时的
-- 列默认值"物化历史行;默认值刚被摘掉,历史归属就失去依据(V144/V150/V152 同款禁令)。
-- 本表 554,469 行,重建代价与风险都不成比例。
--
-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied):
-- SHOW COLUMNS FROM `biz_dedupe_total_data` LIKE 'company_id';
-- -> 期望 Null = NO,Default = NULL
-- SELECT TABLE_NAME, COLUMN_DEFAULT FROM information_schema.COLUMNS
-- WHERE TABLE_SCHEMA = DATABASE() AND COLUMN_NAME = 'company_id'
-- AND TABLE_NAME IN ('users','biz_dedupe_total_data','biz_shop_key','columns');
-- -> 期望四行 COLUMN_DEFAULT 全部为 NULL
-- 启动期 CompanyDefaultGuard 不再打 COMPANY_DEFAULT_STILL_PRESENT;
-- 【清单原样保留,不要摘】——哪天 DEFAULT 被装回(dump 重建、手滑 SET DEFAULT),它还得喊出来。
-- 同时确认应用侧没有新增 1364:docker logs java-server --since 30m | grep -a "doesn't have a default"。
--
-- 6. 回滚步骤:人工补丁 backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql
-- (在 Flyway 扫描路径之外;版本化回滚等于让"决定回滚"这件事自己发生)。
-- 触发场景是"摘错了"——即出现本迁移没预见到的、省略 company_id 的写入通道,且它绕过了 Java 闸门。
-- 顺序:停两台应用 → 跑补丁(一条 ALTER COLUMN ... SET DEFAULT 1,纯元数据)
-- → 删 flyway_schema_history 的 version='154' 行 → 回滚 jar → 起应用。
-- 仅仅回滚 jar(代码问题、与默认值无关)不需要本补丁:带闸门的 jar 全部显式落列,
-- 对默认值在不在毫无感知,V154 保持应用态即可。
--
-- 【可重跑性】本文件只有一条 ALTER COLUMN ... DROP DEFAULT:对"已无默认值"的列重复执行是无操作
-- (V152 已在 scratch MySQL 8.4.9 上重放同类语句证实),列由 V145 建、Flyway 保证顺序
-- ⇒ 不需要 information_schema 守卫。按「补数据 → flyway repair → 重启」恢复时重跑本文件安全。
-- =============================================================
ALTER TABLE `biz_dedupe_total_data`
ALTER COLUMN company_id DROP DEFAULT;
@@ -0,0 +1,74 @@
package com.nanri.aiimage.modules.dedupe.service;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;
import com.nanri.aiimage.common.exception.BusinessException;
import com.nanri.aiimage.modules.dedupe.model.entity.DedupeTotalDataEntity;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.List;
import org.junit.jupiter.api.Test;
/**
* V154(摘 {@code biz_dedupe_total_data.company_id} 的 {@code DEFAULT 1})的前置闸门。
*
* <p>为什么这里必须有代码级闸门:这张表的两条写通道对"省略该列"的反应不一样——
* 通用 {@code insert} 会撞 MySQL 1364 当场炸;批量导入用的 {@code INSERT IGNORE}
* 在生产 {@code sql_mode}(只读取证含 {@code STRICT_TRANS_TABLES})下把错误降级成 warning,
* 并把 NOT NULL 数值列落成隐式默认 {@code 0}。0 不是任何一家公司,行插得进去但对所有公司都隐形——
* 比摘 DEFAULT 之前的"静默归第 1 家"更难被发现。所以先由代码拦,再动库。</p>
*/
class DedupeTotalDataWriteAttributionTest {
private static DedupeTotalDataEntity row(Long companyId) {
DedupeTotalDataEntity entity = new DedupeTotalDataEntity();
entity.setDataValue("B0TESTVALUE01");
entity.setCompanyId(companyId);
return entity;
}
@Test
void companyId为空必须当场炸且报的是这张表() {
BusinessException ex = assertThrows(BusinessException.class,
() -> DedupeTotalDataService.requireCompanyAttribution(row(null)));
assertTrue(ex.getMessage().contains("biz_dedupe_total_data.company_id"),
"报错要能定位到列,否则线上只看到一个笼统的失败:" + ex.getMessage());
}
@Test
void 整行是null也算空归属() {
// 防的是"以后有人把 null 元素塞进批量 rows"——那时 NPE 比 1364 更难查
assertThrows(BusinessException.class,
() -> DedupeTotalDataService.requireCompanyAttribution(null));
}
@Test
void 显式落值就放行() {
DedupeTotalDataService.requireCompanyAttribution(row(3L));
}
/**
* 接线钉:两个写通道({@code create} 与批量导入)都必须真的调用闸门。
*
* <p>只判"闸门存在"等于没判——一道没人调的校验和没有是同一件事(这一族错误本轮踩过多次)。
* 计数按<b>行首语句</b>匹配,不是全文件 grep:定义行、javadoc 里的同名提及都不算调用,
* 否则一处注释就能把这条钉子喂饱。</p>
*/
@Test
void 两条写通道都真的接上了闸门() throws IOException {
Path p = Path.of("src/main/java/com/nanri/aiimage/modules/dedupe/service",
"DedupeTotalDataService.java");
assertTrue(Files.exists(p), "找不到被测源文件:" + p.toAbsolutePath());
List<String> calls = Files.readAllLines(p, StandardCharsets.UTF_8).stream()
.map(String::trim)
.filter(line -> line.startsWith("requireCompanyAttribution("))
.toList();
assertEquals(2, calls.size(),
"调用闸门的写通道应当正好 2 条(create + 批量导入),实测 " + calls.size()
+ " 条 ⇒ 有一条通道省略归属时会直接落到库里(1364 或 INSERT IGNORE 的隐式 0)");
}
}