feat(notification): V171 给去重键补唯一约束,插入侧把竞态念成去重命中(B30)
用户问「后台 488 条未读是不是只进不出、消重到底生效没有」。实测结论:消重在生效 (12h 全表 `GROUP BY dedupe_key HAVING c>1` = 0 组、空键 0 行;管理员扇出走 pushOrRefresh 同键只更新文案不动 read_at),观感上的"每十几分钟一条"是扇出(1 事件 ×24 管理员=24 行) 加节拍(secret_shared 走 cost-guard.shared-scan-interval-ms=600000,实测 15:52/16:12/16:22; 任务失败那路 scan-interval-ms=300000)。未读只进不出的唯一出口是 7 天保留期物理删除。 真缺陷在约束缺失:查重是 SELECT-then-INSERT,表上只有非唯一的 idx_dedupe(V116:19), 双节点同轮撞键会各插一行——今天没踩到靠的是 job 锁(扫描 5 分钟/cost-guard 2 分钟), 不是靠约束。 - V171:`NULLIF(dedupe_key,'')` 的 STORED 投影列 + 唯一键。不给 dedupe_key 直接加唯一键 是因为空串按设计就是"不去重"(服务 javadoc + V116 的 DEFAULT ''),第二条空串会 1062 被 catch 成推送失败 ⇒ 一类通知静默消失;唯一索引允许多个 NULL,投影正好绕开。 存量重复按 MIN(id) 收口——判据与服务自身 selectByDedupeKey 的 orderByAsc(id) limit 1 同一行, 删的是永不被看见的副本。两条 DDL 各查 information_schema 再 PREPARE(repair 重跑不炸), 故意不钉 ALGORITHM=INSTANT(STORED 生成列不支持,钉了 1846 顶死迁移)。 取号 171:生产已应用到 170(今天 17:0x 只读实查 160–167、170 全在),台账 docs/migration-inventory.md 的旧快照"六支未落库"随之更正,DROP COLUMN 那一路顺延 172。 - push():DuplicateKeyException 分诊成「去重命中(竞态由唯一键兜住)」的 info,不并入 「推送落库失败」的 warn。**写成分诊、没新增 catch**——CatchSilenceRatchetTest.STRICT_TOTAL 已钉在 1004 满格,多一块就得重钉基线,那是该逐处记名说话的账,不该由一笔并发兜底花掉。 门禁:定向 46 例绿(新增迁移文本 5 例+服务 3 例,含 CatchSilenceRatchetTest 9 例、 MigrationInventoryTest 7 例);后端整量 `mvn -o test` **4794 例/0 红/0 错/18 skip/ BUILD SUCCESS**(第一遍曾被本笔新增的 catch 顶红棘轮 1004→1005,按上面口径改成分诊后转绿, 未动基线)。变异验证:唯一键改指 dedupe_key ⇒ 迁移用例判红 1 例;摘掉 DuplicateKeyException 分诊 ⇒ 服务用例判红 1 例;两处均逐字节还原(md5 对撞)。 ⚠ 残留:这段 DDL 未在真 MySQL 上 dry-run(本机 127.0.0.1:3306 是另一路的 dev server 8.4.9、 无口令且可能是 A 机隧道,不拿来赌;生产实例未获批准不建隔离 schema)。发版前必须补这一次。
This commit is contained in:
+12
@@ -15,6 +15,7 @@ import com.nanri.aiimage.modules.notification.model.vo.NotificationRefVo;
|
||||
import com.nanri.aiimage.modules.notification.model.vo.NotificationSummaryVo;
|
||||
import lombok.RequiredArgsConstructor;
|
||||
import lombok.extern.slf4j.Slf4j;
|
||||
import org.springframework.dao.DuplicateKeyException;
|
||||
import org.springframework.stereotype.Service;
|
||||
|
||||
import java.time.LocalDate;
|
||||
@@ -161,6 +162,17 @@ public class NotificationService {
|
||||
try {
|
||||
userNotificationMapper.insert(row);
|
||||
} catch (Exception ex) {
|
||||
// ux_dedupe_key(V171)兜的就是上面那次 SELECT-then-INSERT 的竞态窗口:两个实例同轮
|
||||
// 扫到同一条异常、各自查无同键、各插一行。这一支不许并入下面的 warn——同键已有行
|
||||
// 就是去重命中,与 existsByDedupeKey 那一支语义一字不差,念成"落库失败"会把一次
|
||||
// 正常收敛报成数据库故障,值班会去查一台其实好好的库。
|
||||
// 写成分诊而不是再加一个 catch(DuplicateKeyException):catch 普查棘轮的
|
||||
// STRICT_TOTAL 已钉在 1004 满格上,多一块就得重钉基线(见 CatchSilenceRatchetTest)。
|
||||
if (ex instanceof DuplicateKeyException) {
|
||||
log.info("[notification] 去重命中(竞态由唯一键兜住)userId={} audience={} scene={} dedupeKey={}",
|
||||
userId, normalizedAudience, normalizedScene, key);
|
||||
return false;
|
||||
}
|
||||
// 通知失败不阻断业务主流程(巡检/扫描 job 的调用方也不应因此中断)
|
||||
log.warn("[notification] 推送落库失败 userId={} scene={} err={}", userId, scene, ex.getMessage(), ex);
|
||||
return false;
|
||||
|
||||
@@ -0,0 +1,105 @@
|
||||
-- =============================================================
|
||||
-- 迁移 V171__notification_dedupe_key_unique
|
||||
-- 模板:docs/flyway-migration-template.md
|
||||
-- 立账:ops 仓 docs/audit/BACKLOG.md 的 B30(2026-10-24 通知面消重取证)
|
||||
--
|
||||
-- 1. 变更目的:给 biz_user_notification 的去重键补**唯一约束**。
|
||||
-- 现状:NotificationService.push() 的查重是 SELECT-then-INSERT(先 existsByDedupeKey
|
||||
-- 再 insert),表上只有非唯一的 idx_dedupe(V116:19)。双节点在同一轮扫描里各自
|
||||
-- "查无同键"然后各插一行 ⇒ 同一条异常落两条。今天没踩到(2026-10-24 16:5x 全表实查
|
||||
-- GROUP BY dedupe_key HAVING COUNT(*)>1 = 0 行),但这条洞是靠 job 锁兜着的
|
||||
-- (NotificationScanScheduler 锁 TTL 5 分钟、CostGuardScheduler 2 分钟),而扫描时长
|
||||
-- 不封顶——锁失效的窗口就是重复落库的窗口。唯一约束把它变成数据库层的不变量,
|
||||
-- 插入侧的竞态由 DuplicateKeyException 收口(同批 Java 改动)。
|
||||
--
|
||||
-- 2. 为什么是「STORED 生成列 + 普通唯一键」,而不是直接给 dedupe_key 加唯一键、
|
||||
-- 也不是表达式唯一索引:
|
||||
-- - 直接加唯一键会坏事:dedupe_key 允许空串,而**空串按设计就是不参与去重**
|
||||
-- (NotificationService 的 javadoc:dedupeKey 为空则不去重;V116:14 该列
|
||||
-- NOT NULL DEFAULT '')。第二行空串会报 1062,把"不去重的那类通知"整条丢掉。
|
||||
-- - NULLIF(dedupe_key,'') 把空串映射成 NULL 正好绕开(唯一索引允许多个 NULL)。
|
||||
-- - 表达式索引(ADD UNIQUE INDEX ux ((NULLIF(...))))在线 DDL 手册里没有独立条目,
|
||||
-- 只有"creating or adding a secondary index"那一行;生成列 + 普通唯一键是最标准、
|
||||
-- 也最容易被下一路读懂的写法。
|
||||
--
|
||||
-- 3. 读数(2026-10-24 16:5x 主机A 业务库只读实查,不是估的):
|
||||
-- biz_user_notification = 1,675 行(最早一行的 created_at = 2026-10-17 04:09:46)
|
||||
-- dedupe_key = '' 的行 = 0 行(今天没有生产者在传空键,但这一支语义必须留着)
|
||||
-- 重复键 = 0 组
|
||||
-- MySQL = 8.4.8
|
||||
-- 已应用的最大整数版本 = 170(163–167 与 170 今天实查确认已落库 ⇒ 本笔取 171;
|
||||
-- docs/migration-inventory.md §1 那句"六支未落库"是旧快照,已随本笔更正)
|
||||
-- 表 1,675 行 ⇒ ADD COLUMN(STORED 生成列必然重建表)代价可忽略。**故意不钉
|
||||
-- ALGORITHM=INSTANT**:STORED 生成列不支持 INSTANT,钉了会 1846 直接把迁移顶死。
|
||||
--
|
||||
-- 4. 第 1 段那条 DELETE 为什么必要、且不算删数据:
|
||||
-- 存量有重复时 ADD UNIQUE 直接 1062 ⇒ 整个迁移失败 ⇒ 两台 java 起不来。收口判据不是
|
||||
-- 拍的:应用的查重读取路径就是 `orderByAsc(id) ... limit 1`(NotificationService
|
||||
-- .selectByDedupeKey),同键里 MIN(id) 那一行**本来已是唯一被看见的行**,比它大的同键行
|
||||
-- 从那一刻起就是死行——push 看不到它,_prod_watch 的"独立事件数"按去掉末段去重键计数
|
||||
-- 也只算一条。今天命中 0 行;这条是给"锁失效窗口真撞了一次"的未来准备的。
|
||||
-- ⚠ 删的是重复副本,每个键至少保留一行。
|
||||
--
|
||||
-- 5. 锁表风险:低。一条走 idx_dedupe 的 DELETE(今天命中 0 行)+ 一次 1,675 行的表重建。
|
||||
-- 不碰 biz_file_task、不碰 biz_task_file_job 这些锁热点表。
|
||||
--
|
||||
-- 6. 验证 SQL(迁移后人工跑):
|
||||
-- SHOW INDEX FROM `biz_user_notification` WHERE Key_name IN ('idx_dedupe','ux_dedupe_key');
|
||||
-- -> 期望 ux_dedupe_key 的 Non_unique=0、Column_name=dedupe_uk,idx_dedupe 原样保留
|
||||
-- (push 的 WHERE dedupe_key=? 走的仍是它,新键服务不了那条形状)
|
||||
-- SELECT dedupe_key, COUNT(*) c FROM `biz_user_notification`
|
||||
-- WHERE dedupe_key<>'' GROUP BY 1 HAVING c>1; -> 期望 0 行
|
||||
-- INSERT INTO biz_user_notification (user_id,audience,scene,level,title,content,dedupe_key,created_at)
|
||||
-- VALUES (1,'admin','x','warning','t','c','' ,NOW()),(2,'admin','x','warning','t','c','' ,NOW());
|
||||
-- -> 期望两条都成功(空串不参与去重);人工跑完删掉这两行
|
||||
--
|
||||
-- 7. 可重跑性:DDL 不进事务。若 ADD COLUMN 落了而 ADD UNIQUE 失败,repair 重跑时第 2 段
|
||||
-- 必须只补索引 ⇒ 两条 DDL 各自查 information_schema 再 PREPARE(首例 V143 全文件、
|
||||
-- V145 的索引段、V162 的加列段)。
|
||||
--
|
||||
-- 8. 回滚(人工补丁,写成注释以免被 Flyway 当迁移执行):
|
||||
-- ALTER TABLE `biz_user_notification` DROP INDEX `ux_dedupe_key`;
|
||||
-- ALTER TABLE `biz_user_notification` DROP COLUMN `dedupe_uk`;
|
||||
-- 只回滚 jar 不需要 DROP:旧 jar 的实体没有这一列,INSERT 不写它,唯一键继续生效,
|
||||
-- 行为退化成"竞态时插入报错、被旧的 catch(Exception) 吞成推送失败"。
|
||||
-- =============================================================
|
||||
|
||||
SET @db_name = DATABASE();
|
||||
|
||||
-- ---------- 1. 收口重复键:每键保留 MIN(id)(与 push 的查重读取口径同一个"第一行") ----------
|
||||
DELETE n FROM `biz_user_notification` n
|
||||
JOIN (
|
||||
SELECT dedupe_key, MIN(id) AS keep_id FROM (
|
||||
SELECT id, dedupe_key FROM `biz_user_notification` WHERE dedupe_key <> ''
|
||||
) cur
|
||||
GROUP BY dedupe_key
|
||||
HAVING COUNT(*) > 1
|
||||
) dup ON n.dedupe_key = dup.dedupe_key AND n.id > dup.keep_id;
|
||||
|
||||
-- ---------- 2. 生成列:空串→NULL(不参与唯一性),dedupe_key 本身的语义一个字节不动 ----------
|
||||
SET @has_col = (
|
||||
SELECT COUNT(*) FROM information_schema.COLUMNS
|
||||
WHERE TABLE_SCHEMA = @db_name
|
||||
AND TABLE_NAME = 'biz_user_notification'
|
||||
AND COLUMN_NAME = 'dedupe_uk'
|
||||
);
|
||||
SET @ddl_col = IF(@has_col = 0,
|
||||
'ALTER TABLE `biz_user_notification` ADD COLUMN `dedupe_uk` VARCHAR(160) GENERATED ALWAYS AS (NULLIF(`dedupe_key`, '''')) STORED',
|
||||
'SELECT ''biz_user_notification.dedupe_uk already exists, skipped'' AS note');
|
||||
PREPARE stmt FROM @ddl_col;
|
||||
EXECUTE stmt;
|
||||
DEALLOCATE PREPARE stmt;
|
||||
|
||||
-- ---------- 3. 唯一键(NULL 行不受约束,所以"空串=不去重"这条既有设计不被破坏) ----------
|
||||
SET @has_idx = (
|
||||
SELECT COUNT(*) FROM information_schema.STATISTICS
|
||||
WHERE TABLE_SCHEMA = @db_name
|
||||
AND TABLE_NAME = 'biz_user_notification'
|
||||
AND INDEX_NAME = 'ux_dedupe_key'
|
||||
);
|
||||
SET @ddl_idx = IF(@has_idx = 0,
|
||||
'ALTER TABLE `biz_user_notification` ADD UNIQUE KEY `ux_dedupe_key` (`dedupe_uk`)',
|
||||
'SELECT ''biz_user_notification.ux_dedupe_key already exists, skipped'' AS note');
|
||||
PREPARE stmt FROM @ddl_idx;
|
||||
EXECUTE stmt;
|
||||
DEALLOCATE PREPARE stmt;
|
||||
Reference in New Issue
Block a user