降本三条(10-11 现网取证):外观同请求图片去重 + 货源合规合批 + LLM token 计量落库
取证基线(库侧 biz_user_secret_usage_daily,10-01~10-11 实测 12,704 / 4,134 / 15,135 次): 外观 24h 全量 831 条请求逐条 json 解析,564 条带图共投 2,693 张、去重只剩 1,465 张 ⇒ 45.6% 是同一张图在同一次请求里的副本;重试占比只有 0.24%(attempt 829/2/0), 所以省钱的口子在图片副本,不在重试。货源 4,134 次里 4,096 次集中在 10-10/10-11 两天, 类目已合批(10-02)而合规与图比仍逐行 ⇒ 合规是该模块最后一步逐行 LLM 调用。 1) 外观:每张不同的图只随请求发一份,正文附「图j=序号1、2…」对照表;每个序号仍各自 出一份 status/reason(省副本,不省判定,与 10-10「同组兄弟行也要都检测」同口径)。 归一化 URL 只当去重的键,发出去的还是行里那条原始串。应急回退: llm-appearance-batch-size=1 即退回逐行,无需改码。 2) 货源:新键 llm-conform-batch-size=10(设 1 退回逐行)。前置条件是分类预计算存在, 否则整条不生效——避免同一行的类目被算两遍(两遍=多扣用户一次);缺编号行与整块 失败都逐行补检,并有一支 A/B 差分管住合批与逐行写回行的三字段+状态相等。 3) V157 给 biz_user_secret_usage_daily 加 prompt_tokens/completion_tokens,两个 client 收下 网关 usage。计次与 token 分两条语句:计次发生在发请求之前(含重试,请求没回来也算 一次),token 只在响应回来后有读数;网关没回 usage 就一条不写——0 会被读成"实测为 0"。 护栏记账:新 mapper 语句 addTokens 两处一起点名(SqlLayeringConventionTest 分母 97→98 + MigratedSqlEquivalenceTest.NOT_MIGRATED);批量路径的 catch 不新增一处——把分类那一路的 "整块失败→逐行补检"抽成 batchAttempt/fallbackSingleRows 共用,静默 catch 棘轮四格一格没放宽。 顺带修掉 AppearancePatentResultRowDto 上一句已经过期的 javadoc(还写着兄弟行复用代表行结论)。 证据:后端全量 4288 例 0 红(本批 +24 例:去重 7 / token 4 / 合规合批 7 / 用量服务 6)。 变异自证 3/3 全杀:取消去重、摘掉 usage 落库、断掉合规合批,分别让对应用例判红; 两个受试文件按注入前字节还原,sha 复算一致。
This commit is contained in:
@@ -0,0 +1,77 @@
|
||||
-- =============================================================
|
||||
-- 迁移 V157__user_secret_usage_tokens
|
||||
--
|
||||
-- 1. 变更目的:给 `biz_user_secret_usage_daily` 加两列 token 累计,把「次数」升级成
|
||||
-- 「次数 + 输入/输出 token」。今天降本决策全部卡在缺这一维:
|
||||
-- `V117` 起该表只有 call_count,`unit_price` 建表即预留、至今 480 行全 NULL,
|
||||
-- 两个 LLM client(AppearancePatentLlmClient / SimilarAsinLlmClient)都只调
|
||||
-- recordSecretUsage() 记 1 次、完全不解析网关响应里的 `usage`。
|
||||
-- 后果是"合批省了多少""一次多图请求里重复投同一张图值多少钱"这类问题只能用
|
||||
-- 字符数推算回答,答不了实测。本迁移是那两处推算变实测的存储前提。
|
||||
--
|
||||
-- 2. 前提取证(2026-10-11 只读探针,主机A,零写入):
|
||||
-- · 该表 10-01~10-11 共 480 行(proxy 414 / appearance-patent 60 / similar-asin 6),
|
||||
-- 是"用户 × 模块 × 天"的日聚合表,不是明细表 ⇒ 加两列的存储代价可忽略;
|
||||
-- · 唯一键 `uk_user_module_date(user_id, module_key, business_date)` 已存在(V117),
|
||||
-- 新列按该键累加,不需要新索引;
|
||||
-- · 写侧只有两条语句:`UserSecretUsageMapper.increment`(ON DUPLICATE KEY 累加)与
|
||||
-- `deleteBefore`(保留期清理)。新列不进这两条,改为独立的 `addTokens` UPDATE,
|
||||
-- 这样"次数口径"逐字不变(口径含重试、由请求前那一次 increment 决定)。
|
||||
--
|
||||
-- 3. 影响表与数据量:只加两列,不写数据、不加索引、不删列、不碰其他表。
|
||||
-- 存量行取 0(=该天没有 token 读数),行为与加列前逐字一致。
|
||||
-- 0 与 NULL 的区分留给了未来的"网关没回 usage":那种情况本迁移的列不写,
|
||||
-- 读侧把 0 读成"没有 token 证据",不许读成"这次消耗为 0"。
|
||||
--
|
||||
-- 4. 锁表风险:极低。表为日聚合、480 行/11 天的量级,即便走 COPY 也是毫秒级;
|
||||
-- MySQL 8.4 下 ADD COLUMN ... NOT NULL DEFAULT 0 走 INSTANT。
|
||||
--
|
||||
-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied):
|
||||
-- SHOW COLUMNS FROM `biz_user_secret_usage_daily` LIKE '%tokens%';
|
||||
-- -> 期望 2 行:prompt_tokens / completion_tokens,Null = NO,Default = 0
|
||||
-- SELECT COUNT(*) AS total, SUM(prompt_tokens) AS p, SUM(completion_tokens) AS c
|
||||
-- FROM `biz_user_secret_usage_daily`;
|
||||
-- -> 期望 p = 0、c = 0(本迁移只加列,不回填)
|
||||
-- 应用侧:UserSecretUsageTokenTest 全绿(钉"计次仍先于响应"、"usage 缺失不写列"、
|
||||
-- "写库失败只告警不影响任务"三条口径)。
|
||||
--
|
||||
-- 6. 上线窗口:随 jar 双节点同窗口发布。加列对旧 jar 无影响(旧代码不认识新列);
|
||||
-- 新代码写这两列前 Flyway 已保证列存在 ⇒ 迁移必须与读它的 jar 同版,
|
||||
-- 只发 jar 不发迁移会在第一次写 token 时撞 1054 Unknown column。
|
||||
--
|
||||
-- 7. 可重跑性:照 V146/V155 惯例,加列前先查 information_schema——迁移中途失败时
|
||||
-- flyway repair + 重启会从第一条语句重跑整个文件,裸 ADD COLUMN 会撞 1060。
|
||||
--
|
||||
-- 8. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
|
||||
-- 触发场景是"这两列不该加"。顺序:停两台应用 → 跑下面两条 DROP →
|
||||
-- 删 flyway_schema_history 的 version='157' 行 → 回滚 jar → 起应用。
|
||||
-- ALTER TABLE `biz_user_secret_usage_daily` DROP COLUMN `prompt_tokens`;
|
||||
-- ALTER TABLE `biz_user_secret_usage_daily` DROP COLUMN `completion_tokens`;
|
||||
-- 仅回滚 jar(代码问题、与列无关)不需要 DROP:旧 jar 不认识这两列,留着零影响。
|
||||
-- =============================================================
|
||||
|
||||
SET @tbl := (
|
||||
SELECT COUNT(*) FROM information_schema.COLUMNS
|
||||
WHERE TABLE_SCHEMA = DATABASE()
|
||||
AND TABLE_NAME = 'biz_user_secret_usage_daily'
|
||||
AND COLUMN_NAME = 'prompt_tokens'
|
||||
);
|
||||
SET @ddl := IF(@tbl = 0,
|
||||
'ALTER TABLE `biz_user_secret_usage_daily` ADD COLUMN `prompt_tokens` bigint NOT NULL DEFAULT 0 COMMENT ''输入 token 累计(网关 usage.prompt_tokens;0=该天没有 token 证据,不等于没消耗)''',
|
||||
'SELECT ''biz_user_secret_usage_daily.prompt_tokens already exists, skipped'' AS note');
|
||||
PREPARE stmt FROM @ddl;
|
||||
EXECUTE stmt;
|
||||
DEALLOCATE PREPARE stmt;
|
||||
|
||||
SET @tbl2 := (
|
||||
SELECT COUNT(*) FROM information_schema.COLUMNS
|
||||
WHERE TABLE_SCHEMA = DATABASE()
|
||||
AND TABLE_NAME = 'biz_user_secret_usage_daily'
|
||||
AND COLUMN_NAME = 'completion_tokens'
|
||||
);
|
||||
SET @ddl2 := IF(@tbl2 = 0,
|
||||
'ALTER TABLE `biz_user_secret_usage_daily` ADD COLUMN `completion_tokens` bigint NOT NULL DEFAULT 0 COMMENT ''输出 token 累计(网关 usage.completion_tokens;0=该天没有 token 证据,不等于没产出)''',
|
||||
'SELECT ''biz_user_secret_usage_daily.completion_tokens already exists, skipped'' AS note');
|
||||
PREPARE stmt FROM @ddl2;
|
||||
EXECUTE stmt;
|
||||
DEALLOCATE PREPARE stmt;
|
||||
Reference in New Issue
Block a user