feat(phase-B75): 计次上报加 source 维度(V188)——「谁在烧」一列读数,归因不再扫设备日志

- V188:biz_user_secret_usage_daily 加 source varchar(24) NOT NULL DEFAULT 'legacy'(存量行诚实落 legacy 不回填),唯一键 uk_user_module_date 扩成四元组(user/module/date/source),加列与建索引均 information_schema 判存可重跑(列按 V157 款、索引按 V184 款),八段式含验证 SQL 与人工回滚
This commit is contained in:
2026-11-04 02:56:50 +08:00
parent e71fa7fa83
commit 00f45cc20f
11 changed files with 340 additions and 41 deletions
@@ -0,0 +1,83 @@
-- V188: 给 `biz_user_secret_usage_daily` 加 `source` 列,并把唯一键扩到四元组
-- =============================================================
-- 1. 变更目的:把「谁在烧」从猜测变成一列读数。四路上报方(客户端 90s flush/16890
-- 30s 批量/15126 60s 周期/pt_worker 逐次)此前都只报 {userId, module, count},
-- 同一用户同一天被多个面消费时在表里揉成一行,归因只能去扫 MinIO 设备日志与两台
-- 机器(2026-11-04 客户反馈「代理IP用的很猛」的归因实测就是这么做的)。加 source
-- 后一条 `GROUP BY source` 直接出账。
--
-- 2. 前提取证(2026-11-04 只读探针):该表 7 天 proxy 19,040 次/95 用户,行数
-- =用户×模块×天 量级,加列存储代价可忽略;现键 `uk_user_module_date(user_id,
-- module_key, business_date)`(V117)是 increment 的 ON DUPLICATE KEY 幂等键。
--
-- 3. 形状与数据:`source varchar(24) NOT NULL DEFAULT 'legacy'`——存量行统一落
-- 'legacy'(历史行无法追溯是哪一路报的,不猜测);新行由四路上报方自报
-- (client/brand16890/brand15126/pt_worker),Java 自产 LLM 行=backend,缺省/非法
-- 报文=legacy。唯一键扩成 `(user_id, module_key, business_date, source)`:
-- 同一天多路各占一行,读侧 adminPage/SUM 按模块聚合,对多出的行天然透明。
--
-- 4. 锁表风险:极低。日聚合表、万行量级,MySQL 8 ADD COLUMN NOT NULL DEFAULT
-- 走 INSTANT;索引重建在当前行数下毫秒级。
--
-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied):
-- SHOW COLUMNS FROM `biz_user_secret_usage_daily` LIKE 'source';
-- -> 期望 1 行:source,Type=varchar(24),Null=NO,Default=legacy
-- SHOW INDEX FROM `biz_user_secret_usage_daily` WHERE Key_name='uk_user_module_date_source';
-- -> 期望 4 行(user_id/module_key/business_date/source),Non_unique=0
-- 应用侧:UserSecretUsageServiceTest 全绿(increment/addTokens 带来源、
-- 缺省/非法报文落 legacy、Java 自产 LLM 行=backend)。
--
-- 6. 上线窗口:必须与读写的 jar 同版同窗——旧 jar 的 increment 不带 source,
-- INSERT 会落进 DEFAULT 'legacy'(幂等键还是旧三元组形状时列不参与键,行为不变);
-- 新 jar 写四元组前 Flyway 已保证新键存在。只发 jar 不发迁移会在第一次 upsert
-- 时撞 1054 Unknown column,只发迁移不发 jar 则所有行落 legacy(无损失但无归因)。
--
-- 7. 可重跑性:加列与建索引都先查 information_schema(列按 V157 款,索引按 V184 款)——
-- 迁移中途失败时 flyway repair + 重启会从第一条语句重跑整个文件,裸 ALTER 会撞
-- 1060/1061。
--
-- 8. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
-- 触发场景是"这列不该加"。顺序:停两台应用 → 跑下面三条 →
-- 删 flyway_schema_history 的 version='188' 行 → 回滚 jar → 起应用。
-- ALTER TABLE `biz_user_secret_usage_daily` DROP INDEX `uk_user_module_date_source`;
-- ALTER TABLE `biz_user_secret_usage_daily` ADD UNIQUE KEY `uk_user_module_date`
-- (`user_id`, `module_key`, `business_date`);
-- ALTER TABLE `biz_user_secret_usage_daily` DROP COLUMN `source`;
-- 注意回滚前须先把四元组里的重行并回(同键多行会让 ADD UNIQUE 失败):
-- (按 user_id+module_key+business_date 求 SUM 后重插——正常不会发生,
-- 除非回滚前已有多来源同行;真发生时按该日逐行手工核对再并。)
-- 仅回滚 jar(代码问题、与列无关)不需要 DROP:旧 jar 不写 source,行形状保持
-- DEFAULT 'legacy',读侧聚合不变。
-- =============================================================
SET @col := (
SELECT COUNT(*) FROM information_schema.COLUMNS
WHERE TABLE_SCHEMA = DATABASE()
AND TABLE_NAME = 'biz_user_secret_usage_daily'
AND COLUMN_NAME = 'source'
);
SET @ddl := IF(@col = 0,
'ALTER TABLE `biz_user_secret_usage_daily` ADD COLUMN `source` varchar(24) NOT NULL DEFAULT ''legacy'' COMMENT ''计次来源(client/brand16890/brand15126/pt_worker/backend;存量行=legacy)'' AFTER `module_key`',
'SELECT ''biz_user_secret_usage_daily.source already exists, skipped'' AS note');
PREPARE stmt FROM @ddl;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
SET @old_key := (
SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = DATABASE()
AND TABLE_NAME = 'biz_user_secret_usage_daily'
AND INDEX_NAME = 'uk_user_module_date'
);
SET @new_key := (
SELECT COUNT(DISTINCT INDEX_NAME) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = DATABASE()
AND TABLE_NAME = 'biz_user_secret_usage_daily'
AND INDEX_NAME = 'uk_user_module_date_source'
);
SET @ddl2 := IF(@new_key = 0 AND @old_key > 0,
'ALTER TABLE `biz_user_secret_usage_daily` DROP INDEX `uk_user_module_date`, ADD UNIQUE KEY `uk_user_module_date_source` (`user_id`, `module_key`, `business_date`, `source`)',
'SELECT ''uk_user_module_date_source already exists (or old key missing), skipped'' AS note');
PREPARE stmt2 FROM @ddl2;
EXECUTE stmt2;
DEALLOCATE PREPARE stmt2;