feat(notification): V171 给去重键补唯一约束,插入侧把竞态念成去重命中(B30)

用户问「后台 488 条未读是不是只进不出、消重到底生效没有」。实测结论:消重在生效
(12h 全表 `GROUP BY dedupe_key HAVING c>1` = 0 组、空键 0 行;管理员扇出走 pushOrRefresh
同键只更新文案不动 read_at),观感上的"每十几分钟一条"是扇出(1 事件 ×24 管理员=24 行)
加节拍(secret_shared 走 cost-guard.shared-scan-interval-ms=600000,实测 15:52/16:12/16:22;
任务失败那路 scan-interval-ms=300000)。未读只进不出的唯一出口是 7 天保留期物理删除。

真缺陷在约束缺失:查重是 SELECT-then-INSERT,表上只有非唯一的 idx_dedupe(V116:19),
双节点同轮撞键会各插一行——今天没踩到靠的是 job 锁(扫描 5 分钟/cost-guard 2 分钟),
不是靠约束。

- V171:`NULLIF(dedupe_key,'')` 的 STORED 投影列 + 唯一键。不给 dedupe_key 直接加唯一键
  是因为空串按设计就是"不去重"(服务 javadoc + V116 的 DEFAULT ''),第二条空串会 1062
  被 catch 成推送失败 ⇒ 一类通知静默消失;唯一索引允许多个 NULL,投影正好绕开。
  存量重复按 MIN(id) 收口——判据与服务自身 selectByDedupeKey 的 orderByAsc(id) limit 1 同一行,
  删的是永不被看见的副本。两条 DDL 各查 information_schema 再 PREPARE(repair 重跑不炸),
  故意不钉 ALGORITHM=INSTANT(STORED 生成列不支持,钉了 1846 顶死迁移)。
  取号 171:生产已应用到 170(今天 17:0x 只读实查 160–167、170 全在),台账
  docs/migration-inventory.md 的旧快照"六支未落库"随之更正,DROP COLUMN 那一路顺延 172。
- push():DuplicateKeyException 分诊成「去重命中(竞态由唯一键兜住)」的 info,不并入
  「推送落库失败」的 warn。**写成分诊、没新增 catch**——CatchSilenceRatchetTest.STRICT_TOTAL
  已钉在 1004 满格,多一块就得重钉基线,那是该逐处记名说话的账,不该由一笔并发兜底花掉。

门禁:定向 46 例绿(新增迁移文本 5 例+服务 3 例,含 CatchSilenceRatchetTest 9 例、
MigrationInventoryTest 7 例);后端整量 `mvn -o test` **4794 例/0 红/0 错/18 skip/
BUILD SUCCESS**(第一遍曾被本笔新增的 catch 顶红棘轮 1004→1005,按上面口径改成分诊后转绿,
未动基线)。变异验证:唯一键改指 dedupe_key ⇒ 迁移用例判红 1 例;摘掉 DuplicateKeyException
分诊 ⇒ 服务用例判红 1 例;两处均逐字节还原(md5 对撞)。
⚠ 残留:这段 DDL 未在真 MySQL 上 dry-run(本机 127.0.0.1:3306 是另一路的 dev server 8.4.9、
无口令且可能是 A 机隧道,不拿来赌;生产实例未获批准不建隔离 schema)。发版前必须补这一次。
This commit is contained in:
2026-10-24 18:22:14 +08:00
parent dff0658b32
commit eb46a5abc7
4 changed files with 402 additions and 0 deletions
@@ -0,0 +1,105 @@
-- =============================================================
-- 迁移 V171__notification_dedupe_key_unique
-- 模板:docs/flyway-migration-template.md
-- 立账:ops 仓 docs/audit/BACKLOG.md 的 B30(2026-10-24 通知面消重取证)
--
-- 1. 变更目的:给 biz_user_notification 的去重键补**唯一约束**。
-- 现状:NotificationService.push() 的查重是 SELECT-then-INSERT(先 existsByDedupeKey
-- 再 insert),表上只有非唯一的 idx_dedupe(V116:19)。双节点在同一轮扫描里各自
-- "查无同键"然后各插一行 ⇒ 同一条异常落两条。今天没踩到(2026-10-24 16:5x 全表实查
-- GROUP BY dedupe_key HAVING COUNT(*)>1 = 0 行),但这条洞是靠 job 锁兜着的
-- (NotificationScanScheduler 锁 TTL 5 分钟、CostGuardScheduler 2 分钟),而扫描时长
-- 不封顶——锁失效的窗口就是重复落库的窗口。唯一约束把它变成数据库层的不变量,
-- 插入侧的竞态由 DuplicateKeyException 收口(同批 Java 改动)。
--
-- 2. 为什么是「STORED 生成列 + 普通唯一键」,而不是直接给 dedupe_key 加唯一键、
-- 也不是表达式唯一索引:
-- - 直接加唯一键会坏事:dedupe_key 允许空串,而**空串按设计就是不参与去重**
-- (NotificationService 的 javadoc:dedupeKey 为空则不去重;V116:14 该列
-- NOT NULL DEFAULT '')。第二行空串会报 1062,把"不去重的那类通知"整条丢掉。
-- - NULLIF(dedupe_key,'') 把空串映射成 NULL 正好绕开(唯一索引允许多个 NULL)。
-- - 表达式索引(ADD UNIQUE INDEX ux ((NULLIF(...))))在线 DDL 手册里没有独立条目,
-- 只有"creating or adding a secondary index"那一行;生成列 + 普通唯一键是最标准、
-- 也最容易被下一路读懂的写法。
--
-- 3. 读数(2026-10-24 16:5x 主机A 业务库只读实查,不是估的):
-- biz_user_notification = 1,675 行(最早一行的 created_at = 2026-10-17 04:09:46)
-- dedupe_key = '' 的行 = 0 行(今天没有生产者在传空键,但这一支语义必须留着)
-- 重复键 = 0 组
-- MySQL = 8.4.8
-- 已应用的最大整数版本 = 170(163–167 与 170 今天实查确认已落库 ⇒ 本笔取 171;
-- docs/migration-inventory.md §1 那句"六支未落库"是旧快照,已随本笔更正)
-- 表 1,675 行 ⇒ ADD COLUMN(STORED 生成列必然重建表)代价可忽略。**故意不钉
-- ALGORITHM=INSTANT**:STORED 生成列不支持 INSTANT,钉了会 1846 直接把迁移顶死。
--
-- 4. 第 1 段那条 DELETE 为什么必要、且不算删数据:
-- 存量有重复时 ADD UNIQUE 直接 1062 ⇒ 整个迁移失败 ⇒ 两台 java 起不来。收口判据不是
-- 拍的:应用的查重读取路径就是 `orderByAsc(id) ... limit 1`(NotificationService
-- .selectByDedupeKey),同键里 MIN(id) 那一行**本来已是唯一被看见的行**,比它大的同键行
-- 从那一刻起就是死行——push 看不到它,_prod_watch 的"独立事件数"按去掉末段去重键计数
-- 也只算一条。今天命中 0 行;这条是给"锁失效窗口真撞了一次"的未来准备的。
-- ⚠ 删的是重复副本,每个键至少保留一行。
--
-- 5. 锁表风险:低。一条走 idx_dedupe 的 DELETE(今天命中 0 行)+ 一次 1,675 行的表重建。
-- 不碰 biz_file_task、不碰 biz_task_file_job 这些锁热点表。
--
-- 6. 验证 SQL(迁移后人工跑):
-- SHOW INDEX FROM `biz_user_notification` WHERE Key_name IN ('idx_dedupe','ux_dedupe_key');
-- -> 期望 ux_dedupe_key 的 Non_unique=0、Column_name=dedupe_uk,idx_dedupe 原样保留
-- (push 的 WHERE dedupe_key=? 走的仍是它,新键服务不了那条形状)
-- SELECT dedupe_key, COUNT(*) c FROM `biz_user_notification`
-- WHERE dedupe_key<>'' GROUP BY 1 HAVING c>1; -> 期望 0 行
-- INSERT INTO biz_user_notification (user_id,audience,scene,level,title,content,dedupe_key,created_at)
-- VALUES (1,'admin','x','warning','t','c','' ,NOW()),(2,'admin','x','warning','t','c','' ,NOW());
-- -> 期望两条都成功(空串不参与去重);人工跑完删掉这两行
--
-- 7. 可重跑性:DDL 不进事务。若 ADD COLUMN 落了而 ADD UNIQUE 失败,repair 重跑时第 2 段
-- 必须只补索引 ⇒ 两条 DDL 各自查 information_schema 再 PREPARE(首例 V143 全文件、
-- V145 的索引段、V162 的加列段)。
--
-- 8. 回滚(人工补丁,写成注释以免被 Flyway 当迁移执行):
-- ALTER TABLE `biz_user_notification` DROP INDEX `ux_dedupe_key`;
-- ALTER TABLE `biz_user_notification` DROP COLUMN `dedupe_uk`;
-- 只回滚 jar 不需要 DROP:旧 jar 的实体没有这一列,INSERT 不写它,唯一键继续生效,
-- 行为退化成"竞态时插入报错、被旧的 catch(Exception) 吞成推送失败"。
-- =============================================================
SET @db_name = DATABASE();
-- ---------- 1. 收口重复键:每键保留 MIN(id)(与 push 的查重读取口径同一个"第一行") ----------
DELETE n FROM `biz_user_notification` n
JOIN (
SELECT dedupe_key, MIN(id) AS keep_id FROM (
SELECT id, dedupe_key FROM `biz_user_notification` WHERE dedupe_key <> ''
) cur
GROUP BY dedupe_key
HAVING COUNT(*) > 1
) dup ON n.dedupe_key = dup.dedupe_key AND n.id > dup.keep_id;
-- ---------- 2. 生成列:空串→NULL(不参与唯一性),dedupe_key 本身的语义一个字节不动 ----------
SET @has_col = (
SELECT COUNT(*) FROM information_schema.COLUMNS
WHERE TABLE_SCHEMA = @db_name
AND TABLE_NAME = 'biz_user_notification'
AND COLUMN_NAME = 'dedupe_uk'
);
SET @ddl_col = IF(@has_col = 0,
'ALTER TABLE `biz_user_notification` ADD COLUMN `dedupe_uk` VARCHAR(160) GENERATED ALWAYS AS (NULLIF(`dedupe_key`, '''')) STORED',
'SELECT ''biz_user_notification.dedupe_uk already exists, skipped'' AS note');
PREPARE stmt FROM @ddl_col;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
-- ---------- 3. 唯一键(NULL 行不受约束,所以"空串=不去重"这条既有设计不被破坏) ----------
SET @has_idx = (
SELECT COUNT(*) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name
AND TABLE_NAME = 'biz_user_notification'
AND INDEX_NAME = 'ux_dedupe_key'
);
SET @ddl_idx = IF(@has_idx = 0,
'ALTER TABLE `biz_user_notification` ADD UNIQUE KEY `ux_dedupe_key` (`dedupe_uk`)',
'SELECT ''biz_user_notification.ux_dedupe_key already exists, skipped'' AS note');
PREPARE stmt FROM @ddl_idx;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;