From eb46a5abc7a8478cb3f09d69f154c79ecaedbdd8 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Sat, 24 Oct 2026 18:22:14 +0800 Subject: [PATCH] =?UTF-8?q?feat(notification):=20V171=20=E7=BB=99=E5=8E=BB?= =?UTF-8?q?=E9=87=8D=E9=94=AE=E8=A1=A5=E5=94=AF=E4=B8=80=E7=BA=A6=E6=9D=9F?= =?UTF-8?q?=EF=BC=8C=E6=8F=92=E5=85=A5=E4=BE=A7=E6=8A=8A=E7=AB=9E=E6=80=81?= =?UTF-8?q?=E5=BF=B5=E6=88=90=E5=8E=BB=E9=87=8D=E5=91=BD=E4=B8=AD=EF=BC=88?= =?UTF-8?q?B30=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 用户问「后台 488 条未读是不是只进不出、消重到底生效没有」。实测结论:消重在生效 (12h 全表 `GROUP BY dedupe_key HAVING c>1` = 0 组、空键 0 行;管理员扇出走 pushOrRefresh 同键只更新文案不动 read_at),观感上的"每十几分钟一条"是扇出(1 事件 ×24 管理员=24 行) 加节拍(secret_shared 走 cost-guard.shared-scan-interval-ms=600000,实测 15:52/16:12/16:22; 任务失败那路 scan-interval-ms=300000)。未读只进不出的唯一出口是 7 天保留期物理删除。 真缺陷在约束缺失:查重是 SELECT-then-INSERT,表上只有非唯一的 idx_dedupe(V116:19), 双节点同轮撞键会各插一行——今天没踩到靠的是 job 锁(扫描 5 分钟/cost-guard 2 分钟), 不是靠约束。 - V171:`NULLIF(dedupe_key,'')` 的 STORED 投影列 + 唯一键。不给 dedupe_key 直接加唯一键 是因为空串按设计就是"不去重"(服务 javadoc + V116 的 DEFAULT ''),第二条空串会 1062 被 catch 成推送失败 ⇒ 一类通知静默消失;唯一索引允许多个 NULL,投影正好绕开。 存量重复按 MIN(id) 收口——判据与服务自身 selectByDedupeKey 的 orderByAsc(id) limit 1 同一行, 删的是永不被看见的副本。两条 DDL 各查 information_schema 再 PREPARE(repair 重跑不炸), 故意不钉 ALGORITHM=INSTANT(STORED 生成列不支持,钉了 1846 顶死迁移)。 取号 171:生产已应用到 170(今天 17:0x 只读实查 160–167、170 全在),台账 docs/migration-inventory.md 的旧快照"六支未落库"随之更正,DROP COLUMN 那一路顺延 172。 - push():DuplicateKeyException 分诊成「去重命中(竞态由唯一键兜住)」的 info,不并入 「推送落库失败」的 warn。**写成分诊、没新增 catch**——CatchSilenceRatchetTest.STRICT_TOTAL 已钉在 1004 满格,多一块就得重钉基线,那是该逐处记名说话的账,不该由一笔并发兜底花掉。 门禁:定向 46 例绿(新增迁移文本 5 例+服务 3 例,含 CatchSilenceRatchetTest 9 例、 MigrationInventoryTest 7 例);后端整量 `mvn -o test` **4794 例/0 红/0 错/18 skip/ BUILD SUCCESS**(第一遍曾被本笔新增的 catch 顶红棘轮 1004→1005,按上面口径改成分诊后转绿, 未动基线)。变异验证:唯一键改指 dedupe_key ⇒ 迁移用例判红 1 例;摘掉 DuplicateKeyException 分诊 ⇒ 服务用例判红 1 例;两处均逐字节还原(md5 对撞)。 ⚠ 残留:这段 DDL 未在真 MySQL 上 dry-run(本机 127.0.0.1:3306 是另一路的 dev server 8.4.9、 无口令且可能是 A 机隧道,不拿来赌;生产实例未获批准不建隔离 schema)。发版前必须补这一次。 --- .../service/NotificationService.java | 12 ++ .../V171__notification_dedupe_key_unique.sql | 105 +++++++++ ...ficationDedupeUniqueMigrationV171Test.java | 202 ++++++++++++++++++ .../service/NotificationServiceTest.java | 83 +++++++ 4 files changed, 402 insertions(+) create mode 100644 backend-java/src/main/resources/db/V171__notification_dedupe_key_unique.sql create mode 100644 backend-java/src/test/java/com/nanri/aiimage/config/NotificationDedupeUniqueMigrationV171Test.java diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/notification/service/NotificationService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/notification/service/NotificationService.java index 6727ff146..7d0c971d2 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/notification/service/NotificationService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/notification/service/NotificationService.java @@ -15,6 +15,7 @@ import com.nanri.aiimage.modules.notification.model.vo.NotificationRefVo; import com.nanri.aiimage.modules.notification.model.vo.NotificationSummaryVo; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; +import org.springframework.dao.DuplicateKeyException; import org.springframework.stereotype.Service; import java.time.LocalDate; @@ -161,6 +162,17 @@ public class NotificationService { try { userNotificationMapper.insert(row); } catch (Exception ex) { + // ux_dedupe_key(V171)兜的就是上面那次 SELECT-then-INSERT 的竞态窗口:两个实例同轮 + // 扫到同一条异常、各自查无同键、各插一行。这一支不许并入下面的 warn——同键已有行 + // 就是去重命中,与 existsByDedupeKey 那一支语义一字不差,念成"落库失败"会把一次 + // 正常收敛报成数据库故障,值班会去查一台其实好好的库。 + // 写成分诊而不是再加一个 catch(DuplicateKeyException):catch 普查棘轮的 + // STRICT_TOTAL 已钉在 1004 满格上,多一块就得重钉基线(见 CatchSilenceRatchetTest)。 + if (ex instanceof DuplicateKeyException) { + log.info("[notification] 去重命中(竞态由唯一键兜住)userId={} audience={} scene={} dedupeKey={}", + userId, normalizedAudience, normalizedScene, key); + return false; + } // 通知失败不阻断业务主流程(巡检/扫描 job 的调用方也不应因此中断) log.warn("[notification] 推送落库失败 userId={} scene={} err={}", userId, scene, ex.getMessage(), ex); return false; diff --git a/backend-java/src/main/resources/db/V171__notification_dedupe_key_unique.sql b/backend-java/src/main/resources/db/V171__notification_dedupe_key_unique.sql new file mode 100644 index 000000000..8b9e5a70a --- /dev/null +++ b/backend-java/src/main/resources/db/V171__notification_dedupe_key_unique.sql @@ -0,0 +1,105 @@ +-- ============================================================= +-- 迁移 V171__notification_dedupe_key_unique +-- 模板:docs/flyway-migration-template.md +-- 立账:ops 仓 docs/audit/BACKLOG.md 的 B30(2026-10-24 通知面消重取证) +-- +-- 1. 变更目的:给 biz_user_notification 的去重键补**唯一约束**。 +-- 现状:NotificationService.push() 的查重是 SELECT-then-INSERT(先 existsByDedupeKey +-- 再 insert),表上只有非唯一的 idx_dedupe(V116:19)。双节点在同一轮扫描里各自 +-- "查无同键"然后各插一行 ⇒ 同一条异常落两条。今天没踩到(2026-10-24 16:5x 全表实查 +-- GROUP BY dedupe_key HAVING COUNT(*)>1 = 0 行),但这条洞是靠 job 锁兜着的 +-- (NotificationScanScheduler 锁 TTL 5 分钟、CostGuardScheduler 2 分钟),而扫描时长 +-- 不封顶——锁失效的窗口就是重复落库的窗口。唯一约束把它变成数据库层的不变量, +-- 插入侧的竞态由 DuplicateKeyException 收口(同批 Java 改动)。 +-- +-- 2. 为什么是「STORED 生成列 + 普通唯一键」,而不是直接给 dedupe_key 加唯一键、 +-- 也不是表达式唯一索引: +-- - 直接加唯一键会坏事:dedupe_key 允许空串,而**空串按设计就是不参与去重** +-- (NotificationService 的 javadoc:dedupeKey 为空则不去重;V116:14 该列 +-- NOT NULL DEFAULT '')。第二行空串会报 1062,把"不去重的那类通知"整条丢掉。 +-- - NULLIF(dedupe_key,'') 把空串映射成 NULL 正好绕开(唯一索引允许多个 NULL)。 +-- - 表达式索引(ADD UNIQUE INDEX ux ((NULLIF(...))))在线 DDL 手册里没有独立条目, +-- 只有"creating or adding a secondary index"那一行;生成列 + 普通唯一键是最标准、 +-- 也最容易被下一路读懂的写法。 +-- +-- 3. 读数(2026-10-24 16:5x 主机A 业务库只读实查,不是估的): +-- biz_user_notification = 1,675 行(最早一行的 created_at = 2026-10-17 04:09:46) +-- dedupe_key = '' 的行 = 0 行(今天没有生产者在传空键,但这一支语义必须留着) +-- 重复键 = 0 组 +-- MySQL = 8.4.8 +-- 已应用的最大整数版本 = 170(163–167 与 170 今天实查确认已落库 ⇒ 本笔取 171; +-- docs/migration-inventory.md §1 那句"六支未落库"是旧快照,已随本笔更正) +-- 表 1,675 行 ⇒ ADD COLUMN(STORED 生成列必然重建表)代价可忽略。**故意不钉 +-- ALGORITHM=INSTANT**:STORED 生成列不支持 INSTANT,钉了会 1846 直接把迁移顶死。 +-- +-- 4. 第 1 段那条 DELETE 为什么必要、且不算删数据: +-- 存量有重复时 ADD UNIQUE 直接 1062 ⇒ 整个迁移失败 ⇒ 两台 java 起不来。收口判据不是 +-- 拍的:应用的查重读取路径就是 `orderByAsc(id) ... limit 1`(NotificationService +-- .selectByDedupeKey),同键里 MIN(id) 那一行**本来已是唯一被看见的行**,比它大的同键行 +-- 从那一刻起就是死行——push 看不到它,_prod_watch 的"独立事件数"按去掉末段去重键计数 +-- 也只算一条。今天命中 0 行;这条是给"锁失效窗口真撞了一次"的未来准备的。 +-- ⚠ 删的是重复副本,每个键至少保留一行。 +-- +-- 5. 锁表风险:低。一条走 idx_dedupe 的 DELETE(今天命中 0 行)+ 一次 1,675 行的表重建。 +-- 不碰 biz_file_task、不碰 biz_task_file_job 这些锁热点表。 +-- +-- 6. 验证 SQL(迁移后人工跑): +-- SHOW INDEX FROM `biz_user_notification` WHERE Key_name IN ('idx_dedupe','ux_dedupe_key'); +-- -> 期望 ux_dedupe_key 的 Non_unique=0、Column_name=dedupe_uk,idx_dedupe 原样保留 +-- (push 的 WHERE dedupe_key=? 走的仍是它,新键服务不了那条形状) +-- SELECT dedupe_key, COUNT(*) c FROM `biz_user_notification` +-- WHERE dedupe_key<>'' GROUP BY 1 HAVING c>1; -> 期望 0 行 +-- INSERT INTO biz_user_notification (user_id,audience,scene,level,title,content,dedupe_key,created_at) +-- VALUES (1,'admin','x','warning','t','c','' ,NOW()),(2,'admin','x','warning','t','c','' ,NOW()); +-- -> 期望两条都成功(空串不参与去重);人工跑完删掉这两行 +-- +-- 7. 可重跑性:DDL 不进事务。若 ADD COLUMN 落了而 ADD UNIQUE 失败,repair 重跑时第 2 段 +-- 必须只补索引 ⇒ 两条 DDL 各自查 information_schema 再 PREPARE(首例 V143 全文件、 +-- V145 的索引段、V162 的加列段)。 +-- +-- 8. 回滚(人工补丁,写成注释以免被 Flyway 当迁移执行): +-- ALTER TABLE `biz_user_notification` DROP INDEX `ux_dedupe_key`; +-- ALTER TABLE `biz_user_notification` DROP COLUMN `dedupe_uk`; +-- 只回滚 jar 不需要 DROP:旧 jar 的实体没有这一列,INSERT 不写它,唯一键继续生效, +-- 行为退化成"竞态时插入报错、被旧的 catch(Exception) 吞成推送失败"。 +-- ============================================================= + +SET @db_name = DATABASE(); + +-- ---------- 1. 收口重复键:每键保留 MIN(id)(与 push 的查重读取口径同一个"第一行") ---------- +DELETE n FROM `biz_user_notification` n +JOIN ( + SELECT dedupe_key, MIN(id) AS keep_id FROM ( + SELECT id, dedupe_key FROM `biz_user_notification` WHERE dedupe_key <> '' + ) cur + GROUP BY dedupe_key + HAVING COUNT(*) > 1 +) dup ON n.dedupe_key = dup.dedupe_key AND n.id > dup.keep_id; + +-- ---------- 2. 生成列:空串→NULL(不参与唯一性),dedupe_key 本身的语义一个字节不动 ---------- +SET @has_col = ( + SELECT COUNT(*) FROM information_schema.COLUMNS + WHERE TABLE_SCHEMA = @db_name + AND TABLE_NAME = 'biz_user_notification' + AND COLUMN_NAME = 'dedupe_uk' +); +SET @ddl_col = IF(@has_col = 0, + 'ALTER TABLE `biz_user_notification` ADD COLUMN `dedupe_uk` VARCHAR(160) GENERATED ALWAYS AS (NULLIF(`dedupe_key`, '''')) STORED', + 'SELECT ''biz_user_notification.dedupe_uk already exists, skipped'' AS note'); +PREPARE stmt FROM @ddl_col; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; + +-- ---------- 3. 唯一键(NULL 行不受约束,所以"空串=不去重"这条既有设计不被破坏) ---------- +SET @has_idx = ( + SELECT COUNT(*) FROM information_schema.STATISTICS + WHERE TABLE_SCHEMA = @db_name + AND TABLE_NAME = 'biz_user_notification' + AND INDEX_NAME = 'ux_dedupe_key' +); +SET @ddl_idx = IF(@has_idx = 0, + 'ALTER TABLE `biz_user_notification` ADD UNIQUE KEY `ux_dedupe_key` (`dedupe_uk`)', + 'SELECT ''biz_user_notification.ux_dedupe_key already exists, skipped'' AS note'); +PREPARE stmt FROM @ddl_idx; +EXECUTE stmt; +DEALLOCATE PREPARE stmt; diff --git a/backend-java/src/test/java/com/nanri/aiimage/config/NotificationDedupeUniqueMigrationV171Test.java b/backend-java/src/test/java/com/nanri/aiimage/config/NotificationDedupeUniqueMigrationV171Test.java new file mode 100644 index 000000000..9d47f07f8 --- /dev/null +++ b/backend-java/src/test/java/com/nanri/aiimage/config/NotificationDedupeUniqueMigrationV171Test.java @@ -0,0 +1,202 @@ +package com.nanri.aiimage.config; + +import java.io.IOException; +import java.nio.file.Files; +import java.nio.file.Path; +import java.util.List; +import java.util.regex.Matcher; +import java.util.regex.Pattern; +import java.util.stream.Stream; + +import org.junit.jupiter.api.Test; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertTrue; + +/** + * task-…(2026-10-24):V171 给 biz_user_notification 的去重键补唯一约束,本类钉它的形状。 + * + *
立账出处是 ops 仓 {@code docs/audit/BACKLOG.md} 的 B30:通知的查重是 + * SELECT-then-INSERT({@code NotificationService.push} → {@code insert}),表上只有非唯一的 + * {@code idx_dedupe}(V116:19),所以双节点同轮撞键会各插一行——今天全表实查 0 组重复, + * 靠的是 job 锁没失效,不是靠约束。这一笔把它变成数据库层的不变量。
+ * + *这个类守的三件事,每件都是"写错了会在生产上炸"的方向:
+ *{@code stripComments}/{@code normalize} 逐字沿用 {@link CompanyMigrationV144Test} + * 那一份实现:注释里的 {@code --} 与字符串字面量里的 {@code --} 是两件事, + * 另写一版简化实现会让断言打在残缺 SQL 上。
+ */ +class NotificationDedupeUniqueMigrationV171Test { + + private static final Path ROOT = Path.of(System.getProperty("user.dir")); + private static final Path DB_DIR = ROOT.resolve("src/main/resources/db"); + private static final Pattern VERSION_PREFIX = Pattern.compile("^V(\\d+)(?:_(\\d+))?__"); + + // ---------------------------------------------------------------- 取文件 + + private static List