feat(多公司): V154 摘去重库 company_id 的 DEFAULT 1,前置是 Java 侧归属闸门
- 只读取证(scripts/_probe_dedupe_default.py,主机A):哨兵四张表里只剩这张带 DEFAULT 1;归属分布 1=546,344 / 3=8,125,无 0 无 NULL,孤儿归属 0 行;写侧显式落值那版上线后真实导入 29,555 行(10-07 09:48→10-08 23:57)⇒ V152 第 6 段"先修写侧、上线并验证真实导入"的前提成立 - 关键差异:本表批量导入是 INSERT IGNORE,在 STRICT_TRANS_TABLES 下省略该列不会 1364,而是落成隐式默认 0(不属于任何公司、对所有公司隐形)⇒ 顺序必须是先上 Java 闸门再让迁移生效,反过来会把"静默归第 1 家"换成"静默归 0 家" - DedupeTotalDataService.requireCompanyAttribution 接在两条写通道(create / insertImportBatch)上;新用例 4 例含接线钉(按行首语句数调用点==2,避开 javadoc 同名提及那个坑),反证:摘掉一处调用 ⇒ 1 红 BUILD FAILURE - 迁移只有一条 ALTER COLUMN ... DROP DEFAULT(纯元数据、瞬时、可重跑);禁 MODIFY COLUMN 重建表那条禁令沿用 V144/V150/V152;回滚补丁在 Flyway 扫描路径之外
This commit is contained in:
@@ -0,0 +1,23 @@
|
||||
-- 回滚 V154(人工补丁,不放进 src/main/resources/db/——那是 Flyway 扫描路径,
|
||||
-- 任何 V*.sql 都会在应用下次启动时自动执行;把回滚编成版本化迁移等于让"决定回滚"
|
||||
-- 这件事在没有人工执行的情况下自己发生)。
|
||||
--
|
||||
-- 触发场景只有一个:出现了本迁移没预见的、省略 company_id 的写入通道,且它绕过了
|
||||
-- DedupeTotalDataService.requireCompanyAttribution 那道 Java 闸门(表现为 1364,
|
||||
-- 或被 INSERT IGNORE 落成 company_id=0 的行)。
|
||||
-- 仅仅"代码有问题需要回滚 jar"不需要本补丁:带闸门的 jar 全部显式落列,
|
||||
-- 对默认值在不在毫无感知,V154 保持应用态即可。
|
||||
--
|
||||
-- 执行顺序(两台都要,中间不停服会混版):
|
||||
-- 1) 停两台应用(docker stop java-server)
|
||||
-- 2) 在 aiimage 库执行下面的 SET DEFAULT 1(纯元数据、瞬时)
|
||||
-- 3) DELETE FROM flyway_schema_history WHERE version = '154';
|
||||
-- 4) 回滚 jar 到上一版
|
||||
-- 5) 起两台,确认 health=200 且 CompanyDefaultGuard 重新打 COMPANY_DEFAULT_STILL_PRESENT
|
||||
-- (它重新喊才是"回到改前"的证据,不喊说明 DEFAULT 没装回去)
|
||||
-- 6) 复查是否已经产生 company_id=0 的行:
|
||||
-- SELECT COUNT(*) FROM biz_dedupe_total_data WHERE company_id = 0;
|
||||
-- 有的话回滚不解决存量,要单独按 uploader/group 追认归属后再改。
|
||||
|
||||
ALTER TABLE `biz_dedupe_total_data`
|
||||
ALTER COLUMN company_id SET DEFAULT 1;
|
||||
+23
@@ -483,6 +483,7 @@ public class DedupeTotalDataService {
|
||||
entity.setUploaderUserId(uploader.getId());
|
||||
entity.setUploaderUsername(uploader.getUsername());
|
||||
entity.setCompanyId(companyId);
|
||||
requireCompanyAttribution(entity);
|
||||
dedupeTotalDataMapper.insert(entity);
|
||||
return toItemVo(getById(entity.getId()), group.getGroupName());
|
||||
}
|
||||
@@ -936,6 +937,25 @@ public class DedupeTotalDataService {
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* 归属闸门:{@code biz_dedupe_total_data.company_id} 为空就在 Java 侧当场炸,一条语句都不许发到库里。
|
||||
*
|
||||
* <p>为什么必须由代码来拦:这张表有两条写通道,省略该列的后果不一样——通用 {@code insert} 会撞
|
||||
* MySQL 1364({@code Field 'company_id' doesn't have a default value})当场炸出来;而批量导入用的
|
||||
* {@code INSERT IGNORE} 在 {@code STRICT_TRANS_TABLES}(生产 sql_mode 实查含之)下把该错误降级成
|
||||
* warning,并把 NOT NULL 数值列落成隐式默认 <b>0</b>——0 不是任何一家公司,行会插进去但对所有公司
|
||||
* 都隐形。V154 摘掉 {@code DEFAULT 1} 之前,如果只靠数据库层兜,"静默归第 1 家"就变成"静默归 0 家",
|
||||
* 比改之前更难发现,所以闸门必须在前面。</p>
|
||||
*
|
||||
* <p>只判空值,不判等值:历史行的归属由迁移与业务口径决定,这里不替它们背书。</p>
|
||||
*/
|
||||
static void requireCompanyAttribution(DedupeTotalDataEntity entity) {
|
||||
if (entity == null || entity.getCompanyId() == null) {
|
||||
throw new BusinessException(
|
||||
"去重库写入缺少归属公司(biz_dedupe_total_data.company_id 不许为空,也不能省略)");
|
||||
}
|
||||
}
|
||||
|
||||
private ImportBatchResult insertImportBatch(List<String> values,
|
||||
Map<String, String> countriesByValue,
|
||||
Long groupId,
|
||||
@@ -963,6 +983,9 @@ public class DedupeTotalDataService {
|
||||
if (rows.isEmpty()) {
|
||||
return new ImportBatchResult(0, values.size());
|
||||
}
|
||||
for (DedupeTotalDataEntity row : rows) {
|
||||
requireCompanyAttribution(row);
|
||||
}
|
||||
|
||||
int inserted;
|
||||
try {
|
||||
|
||||
+66
@@ -0,0 +1,66 @@
|
||||
-- =============================================================
|
||||
-- 迁移 V154__biz_dedupe_total_data_company_id_drop_default
|
||||
-- 模板:docs/flyway-migration-template.md
|
||||
-- 需求:四面9分口径 §2「半套发布」哨兵自 10-08 起每次启动必报 COMPANY_DEFAULT_STILL_PRESENT
|
||||
-- 合并依据:V152 头注释第 6 段把这张表**单独留在门外**,理由是"写侧 insertBatchIgnore 的列清单历史上
|
||||
-- 不带 company_id、实体也没有该字段,全靠 DEFAULT 兜底——先修写侧、上线并验证真实导入之后才谈摘"。
|
||||
-- 那三件事如今都成立,所以本版单独发出,不与任何其他 DDL 合并。
|
||||
--
|
||||
-- 1. 变更目的:摘掉 biz_dedupe_total_data.company_id 的 DEFAULT 1。
|
||||
-- 留着的后果:任何省略该列的写入被静默塞进第 1 家(厦门米椿花),事后无法追认是谁写的。
|
||||
-- 摘掉之后通用 insert 那条通道会撞 MySQL 1364(Field 'company_id' doesn't have a default value)
|
||||
-- 当场炸——这是取舍,不是缺陷(同 V144/V152 的口径)。
|
||||
--
|
||||
-- ⚠ 但本表批量导入用的是 INSERT IGNORE(DedupeTotalDataMapper.xml 的 insertBatchIgnore),
|
||||
-- 它在 STRICT_TRANS_TABLES 下把该错误降级成 warning,并把 NOT NULL 数值列落成隐式默认 0;
|
||||
-- 0 不是任何一家公司 ⇒ 行插得进去但对所有公司都隐形,比"归第 1 家"更难发现。
|
||||
-- 因此本版的前提是代码侧闸门已先落地:DedupeTotalDataService.requireCompanyAttribution
|
||||
-- 在两条写通道(create / insertImportBatch)上都拦空归属,用例
|
||||
-- DedupeTotalDataWriteAttributionTest 4 例(含"摘掉一处调用必须判红"的接线钉)。
|
||||
-- ——顺序不能反:先上带闸门的 jar,再让本迁移跟着同一版 jar 生效。
|
||||
--
|
||||
-- 2. 前提取证(2026-10-09 只读探针 scripts/_probe_dedupe_default.py,主机A,零写入):
|
||||
-- · MySQL 8.4.8,sql_mode 含 STRICT_TRANS_TABLES;
|
||||
-- · 哨兵登记表四张表里只有本表仍带 DEFAULT 1:
|
||||
-- users / biz_shop_key / columns 的 COLUMN_DEFAULT 均为空,biz_dedupe_total_data = 1;
|
||||
-- · 归属分布:company_id=1 共 546,344 行、=3 共 8,125 行;**没有 0,也没有 NULL**;
|
||||
-- · 孤儿归属(company_id 不在 company 表):0 行;
|
||||
-- · 写侧那版(显式落 company_id)上线后的真实导入:2026-10-07 09:48:38 → 2026-10-08 23:57:51
|
||||
-- 共 29,555 行 ⇒ V152 第 6 段要求的"上线并验证真实导入"成立;
|
||||
-- · 全表 554,469 行,时间跨度 2026-08-05 → 2026-10-08。
|
||||
--
|
||||
-- 3. 影响表与数据量:只动一列的默认值属性。不写数据、不加索引、不删列、不碰其他任何表。
|
||||
-- DROP DEFAULT 不改变已存行的读值(V152 同条结论:本机 MySQL 8.4.9 实验证实摘除前后读值一致),
|
||||
-- 摘除只影响"之后省略该列的 INSERT"。
|
||||
--
|
||||
-- 4. 锁表风险:极低。ALTER TABLE ... ALTER COLUMN ... DROP DEFAULT 是纯元数据操作(瞬时完成、
|
||||
-- 不重建表、不扫描行)。【禁写成 MODIFY COLUMN ... NOT NULL】——MODIFY 走重建表,重建按"当时的
|
||||
-- 列默认值"物化历史行;默认值刚被摘掉,历史归属就失去依据(V144/V150/V152 同款禁令)。
|
||||
-- 本表 554,469 行,重建代价与风险都不成比例。
|
||||
--
|
||||
-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied):
|
||||
-- SHOW COLUMNS FROM `biz_dedupe_total_data` LIKE 'company_id';
|
||||
-- -> 期望 Null = NO,Default = NULL
|
||||
-- SELECT TABLE_NAME, COLUMN_DEFAULT FROM information_schema.COLUMNS
|
||||
-- WHERE TABLE_SCHEMA = DATABASE() AND COLUMN_NAME = 'company_id'
|
||||
-- AND TABLE_NAME IN ('users','biz_dedupe_total_data','biz_shop_key','columns');
|
||||
-- -> 期望四行 COLUMN_DEFAULT 全部为 NULL
|
||||
-- 启动期 CompanyDefaultGuard 不再打 COMPANY_DEFAULT_STILL_PRESENT;
|
||||
-- 【清单原样保留,不要摘】——哪天 DEFAULT 被装回(dump 重建、手滑 SET DEFAULT),它还得喊出来。
|
||||
-- 同时确认应用侧没有新增 1364:docker logs java-server --since 30m | grep -a "doesn't have a default"。
|
||||
--
|
||||
-- 6. 回滚步骤:人工补丁 backend-java/docs/rollback-V154-dedupe-company-id-drop-default.sql
|
||||
-- (在 Flyway 扫描路径之外;版本化回滚等于让"决定回滚"这件事自己发生)。
|
||||
-- 触发场景是"摘错了"——即出现本迁移没预见到的、省略 company_id 的写入通道,且它绕过了 Java 闸门。
|
||||
-- 顺序:停两台应用 → 跑补丁(一条 ALTER COLUMN ... SET DEFAULT 1,纯元数据)
|
||||
-- → 删 flyway_schema_history 的 version='154' 行 → 回滚 jar → 起应用。
|
||||
-- 仅仅回滚 jar(代码问题、与默认值无关)不需要本补丁:带闸门的 jar 全部显式落列,
|
||||
-- 对默认值在不在毫无感知,V154 保持应用态即可。
|
||||
--
|
||||
-- 【可重跑性】本文件只有一条 ALTER COLUMN ... DROP DEFAULT:对"已无默认值"的列重复执行是无操作
|
||||
-- (V152 已在 scratch MySQL 8.4.9 上重放同类语句证实),列由 V145 建、Flyway 保证顺序
|
||||
-- ⇒ 不需要 information_schema 守卫。按「补数据 → flyway repair → 重启」恢复时重跑本文件安全。
|
||||
-- =============================================================
|
||||
|
||||
ALTER TABLE `biz_dedupe_total_data`
|
||||
ALTER COLUMN company_id DROP DEFAULT;
|
||||
+74
@@ -0,0 +1,74 @@
|
||||
package com.nanri.aiimage.modules.dedupe.service;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
import static org.junit.jupiter.api.Assertions.assertThrows;
|
||||
import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||
|
||||
import com.nanri.aiimage.common.exception.BusinessException;
|
||||
import com.nanri.aiimage.modules.dedupe.model.entity.DedupeTotalDataEntity;
|
||||
import java.io.IOException;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.util.List;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
/**
|
||||
* V154(摘 {@code biz_dedupe_total_data.company_id} 的 {@code DEFAULT 1})的前置闸门。
|
||||
*
|
||||
* <p>为什么这里必须有代码级闸门:这张表的两条写通道对"省略该列"的反应不一样——
|
||||
* 通用 {@code insert} 会撞 MySQL 1364 当场炸;批量导入用的 {@code INSERT IGNORE}
|
||||
* 在生产 {@code sql_mode}(只读取证含 {@code STRICT_TRANS_TABLES})下把错误降级成 warning,
|
||||
* 并把 NOT NULL 数值列落成隐式默认 {@code 0}。0 不是任何一家公司,行插得进去但对所有公司都隐形——
|
||||
* 比摘 DEFAULT 之前的"静默归第 1 家"更难被发现。所以先由代码拦,再动库。</p>
|
||||
*/
|
||||
class DedupeTotalDataWriteAttributionTest {
|
||||
|
||||
private static DedupeTotalDataEntity row(Long companyId) {
|
||||
DedupeTotalDataEntity entity = new DedupeTotalDataEntity();
|
||||
entity.setDataValue("B0TESTVALUE01");
|
||||
entity.setCompanyId(companyId);
|
||||
return entity;
|
||||
}
|
||||
|
||||
@Test
|
||||
void companyId为空必须当场炸且报的是这张表() {
|
||||
BusinessException ex = assertThrows(BusinessException.class,
|
||||
() -> DedupeTotalDataService.requireCompanyAttribution(row(null)));
|
||||
assertTrue(ex.getMessage().contains("biz_dedupe_total_data.company_id"),
|
||||
"报错要能定位到列,否则线上只看到一个笼统的失败:" + ex.getMessage());
|
||||
}
|
||||
|
||||
@Test
|
||||
void 整行是null也算空归属() {
|
||||
// 防的是"以后有人把 null 元素塞进批量 rows"——那时 NPE 比 1364 更难查
|
||||
assertThrows(BusinessException.class,
|
||||
() -> DedupeTotalDataService.requireCompanyAttribution(null));
|
||||
}
|
||||
|
||||
@Test
|
||||
void 显式落值就放行() {
|
||||
DedupeTotalDataService.requireCompanyAttribution(row(3L));
|
||||
}
|
||||
|
||||
/**
|
||||
* 接线钉:两个写通道({@code create} 与批量导入)都必须真的调用闸门。
|
||||
*
|
||||
* <p>只判"闸门存在"等于没判——一道没人调的校验和没有是同一件事(这一族错误本轮踩过多次)。
|
||||
* 计数按<b>行首语句</b>匹配,不是全文件 grep:定义行、javadoc 里的同名提及都不算调用,
|
||||
* 否则一处注释就能把这条钉子喂饱。</p>
|
||||
*/
|
||||
@Test
|
||||
void 两条写通道都真的接上了闸门() throws IOException {
|
||||
Path p = Path.of("src/main/java/com/nanri/aiimage/modules/dedupe/service",
|
||||
"DedupeTotalDataService.java");
|
||||
assertTrue(Files.exists(p), "找不到被测源文件:" + p.toAbsolutePath());
|
||||
List<String> calls = Files.readAllLines(p, StandardCharsets.UTF_8).stream()
|
||||
.map(String::trim)
|
||||
.filter(line -> line.startsWith("requireCompanyAttribution("))
|
||||
.toList();
|
||||
assertEquals(2, calls.size(),
|
||||
"调用闸门的写通道应当正好 2 条(create + 批量导入),实测 " + calls.size()
|
||||
+ " 条 ⇒ 有一条通道省略归属时会直接落到库里(1364 或 INSERT IGNORE 的隐式 0)");
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user