huangzd1997
|
b0829db81e
|
降本三条(10-11 现网取证):外观同请求图片去重 + 货源合规合批 + LLM token 计量落库
取证基线(库侧 biz_user_secret_usage_daily,10-01~10-11 实测 12,704 / 4,134 / 15,135 次):
外观 24h 全量 831 条请求逐条 json 解析,564 条带图共投 2,693 张、去重只剩 1,465 张
⇒ 45.6% 是同一张图在同一次请求里的副本;重试占比只有 0.24%(attempt 829/2/0),
所以省钱的口子在图片副本,不在重试。货源 4,134 次里 4,096 次集中在 10-10/10-11 两天,
类目已合批(10-02)而合规与图比仍逐行 ⇒ 合规是该模块最后一步逐行 LLM 调用。
1) 外观:每张不同的图只随请求发一份,正文附「图j=序号1、2…」对照表;每个序号仍各自
出一份 status/reason(省副本,不省判定,与 10-10「同组兄弟行也要都检测」同口径)。
归一化 URL 只当去重的键,发出去的还是行里那条原始串。应急回退:
llm-appearance-batch-size=1 即退回逐行,无需改码。
2) 货源:新键 llm-conform-batch-size=10(设 1 退回逐行)。前置条件是分类预计算存在,
否则整条不生效——避免同一行的类目被算两遍(两遍=多扣用户一次);缺编号行与整块
失败都逐行补检,并有一支 A/B 差分管住合批与逐行写回行的三字段+状态相等。
3) V157 给 biz_user_secret_usage_daily 加 prompt_tokens/completion_tokens,两个 client 收下
网关 usage。计次与 token 分两条语句:计次发生在发请求之前(含重试,请求没回来也算
一次),token 只在响应回来后有读数;网关没回 usage 就一条不写——0 会被读成"实测为 0"。
护栏记账:新 mapper 语句 addTokens 两处一起点名(SqlLayeringConventionTest 分母 97→98 +
MigratedSqlEquivalenceTest.NOT_MIGRATED);批量路径的 catch 不新增一处——把分类那一路的
"整块失败→逐行补检"抽成 batchAttempt/fallbackSingleRows 共用,静默 catch 棘轮四格一格没放宽。
顺带修掉 AppearancePatentResultRowDto 上一句已经过期的 javadoc(还写着兄弟行复用代表行结论)。
证据:后端全量 4288 例 0 红(本批 +24 例:去重 7 / token 4 / 合规合批 7 / 用量服务 6)。
变异自证 3/3 全杀:取消去重、摘掉 usage 落库、断掉合规合批,分别让对应用例判红;
两个受试文件按注入前字节还原,sha 复算一致。
|
2026-10-11 23:52:19 +08:00 |
|
huangzd1997
|
703760e008
|
尺子(棘轮): 用棘轮自己的正路收敛改动,只抬两条 SQL 记账分母
CatchSilenceRatchet 咬到三处,两处不该动它的数字:
JwtService 的过期分支改 instanceof 分流(ExpiredJwtException 本就是 JwtException 子类
且 jj 先验签后查 exp)——catch 子句数回到 1,且带 [auth] jwt expired-but-signed 锚点,
否则「过期」与「伪造」在日志里又是同一个读数;容忍分支读库失败当场抛 401,
不吞异常,「不重抛」那一格因此不涨。登出那次不再 catch NumberFormatException,
改为先校验 subject 是数字。
只剩两条 SQL 分母是记账式抬升(XML 语句 96→97、select 66→67),
并把 countLiveWorkFor 登记成非迁移语句:它没有注解时代原文可对撞,
登记而不是让它红,是为了「谁新写了语句」留痕。
|
2026-10-09 15:31:32 +08:00 |
|
huangzd1997
|
419ab3be64
|
refactor(SQL分层): 剩余 85 条注解 SQL 全量迁进 mapper XML,等价性改由 MyBatis 自己判
96 条语句现在全在 src/main/resources/mapper/<模块>/ 下,注解侧 SQL 归零;判据从"基线清单"
改成完成态(逐接口必须为 0 + XML 语句总数 96 + 反向钉:XML 有则注解必须无)。
搬法上踩实了一个坑:注解参数是 Java 表达式("…" + CLIENT_MODULE_TYPES + "…"),
用只认字面量的抽取器搬家会把常量整段吞掉——上一轮生成的 26 份 XML 里因此出现
IN ()、AS status 前面没有表达式(MySQL 语法错),<script> 形态还被多转义一次变成 &lt;。
更糟的是当时"搬迁前快照"与 XML 由同一个抽取器产出,两边一起错所以逐字比对全绿,
抓到现场的是既有的语义用例(TaskCenter 15 条 + 店铺查重那条断 <> 的)。
所以 MigratedSqlEquivalenceTest 改成:账本存注解原文,Java 侧现场用
getDefaultScriptingLanguageInstance().createSqlSource 编译原文,与 XML 解析出的
MappedStatement 各渲染一遍 BoundSql 对撞(空参数 + foreach 喂满 2 元素各一次),
转义对不对由 MyBatis 判定而不是由生成器判定;账本自己再钉 <script>/<if> 成对、不许出现 IN ()。
resultType 那一支不变:期望值由接口签名反射反推,66 条分母钉住。
取数入口跟着换:6 支原本读 @Select 注解的守卫(TaskCenter/Dedupe/店铺查重/通知保留/
鉴权形状/后台扩权)改走 MapperXmlSupport,断言内容一字未动;后台扩权那条"不许有 wrapper
投影"从全文 doesNotContain(".select(") 改成只扫可执行行——接口里现在只剩签名,
而 javadoc 正写着"别用 selectList(.select(...))",全文判会被自己的注释喂饱。
隔离树全量 4059 例 0 红(基线 4054,+5 为新增等价性与 XML 用例)。这批要生效得随下一版 jar 发版。
|
2026-10-08 12:00:43 +08:00 |
|
huangzd1997
|
3ed8a4265d
|
refactor(SQL分层): TaskImageCacheMapper 9 条注解 SQL 迁进 mapper XML,读侧判据改逐接口钉
档 B 口径:自定义语句一律进 XML,"特别简单"只剩 BaseMapper 自带 CRUD 与单表主键/唯一键点查。
判据这次不只是改数字。读侧原来钉的是「总数 65 + 文件数 16」两个标量,那么 A 接口加一条、
B 接口减一条就能让两个标量双双不动而绕过闸门,等于档 B 下没有闸门。改成逐接口清单
SELECT_SQL_BASELINE,并加 thePerFileLedgerCatchesWhatTheScalarsCouldNot 自证:在内存里造出
那次搬家,先断言总数与文件数确实都不变(证明旧钉法失明),再断言逐接口清单必须不等。
复用片段抽在真重复处:WHERE url_hash IN <foreach> 被三条语句共用,抽成 byUrlHashIn。
没抽列清单是刻意的——这个表每条语句只取必要列,image_bytes 是 BLOB,整行回读会把省内存
的缓存变成内存负担。所以新守卫 TaskImageCacheMapperXmlTest 钉的第一条就是"只有两条直读
字节的语句能碰 image_bytes"(迁 SQL 最顺手写成 SELECT *,而它在没有库的单测里不会自然变红),
其余钉 < 是否还原成 <、LIMIT ? 是否仍是绑定参数、NOW(3) 毫秒精度、byte[] 的 resultType
必须写 "[B"(别名表里没有它)。
基线同步递减:写侧 29→25、读侧 65→60,MIGRATED_TO_XML 加 TaskImageCacheMapper。
定向 47 例绿(判据 9 + 新守卫 7 + asincache 样板 6 + 两个消费方 service 25)。
既有接口是 CRLF,改动走二进制删行,没把整份文件翻成 LF。
|
2026-10-08 10:29:36 +08:00 |
|
huangzd1997
|
207225eb86
|
feat(护栏三面): 鉴权盲区启动自检 + SQL 分层口径落码 + 六页等待循环合一
后端
- AdminApiGuardFilter 增 guardedPrefixes()/matchesPrefix() 公开入口(原 private,
自检抄一份清单迟早与守卫脱钩);行为零变化
- 新增 ApiGuardCoverageAuditor:启动期把"已映射端点既不在守卫前缀名单、也不在
公开/待收清单里"打成 API_GUARD_UNCOVERED 一行 WARN,供现网巡检 grep;
PUBLIC_BY_DESIGN 与 PENDING_CONVERGENCE 两张清单逐条写理由(只读不拦)
- SQL 分层按新口径落码:AsinResultCacheMapper 的两条动态 SQL(<foreach> 批量 +
ON DUPLICATE KEY UPDATE + 逐列 COALESCE)迁到 resources/mapper/asincache/,
注解摘干净(注解+XML 同名会让启动期抛重复语句)
- 判据:SqlLayeringConventionTest(注解写 SQL 基线 16 接口/29 条只减不增、
@Select 65 条/16 文件、wrapper 夹带函数级 SQL 4 文件/15 条,last("LIMIT n")
205 处显式豁免并反向钉住豁免面)、ApiGuardCoverageAuditorTest(含清单腐烂与
欠账/名单重叠两类反向失明)、AsinResultCacheMapperXmlTest(真解析 XML 向
BoundSql 断言 28 个占位符与 5 个 COALESCE 列)
用户端 frontend-vue
- 终态集合合一:实测六页里 PriceTrack/ProductRisk 只认 SUCCESS|FAILED,
而 COMPLETED≡SUCCESS 早有出处(task-status-text 两者都译「已完成」,
后端 TaskCenterQueryMapper SUCCESS_STATUSES_ORDERED 也含 COMPLETED)
⇒ 窄集合页收到 COMPLETED 会空转到瞬断预算耗尽,PriceTrack 的轮询摘除路径
同样窄 ⇒ 任务永不退出轮询、列表卡在"执行中"
- 新增 shared/utils/task-terminal.ts 循环骨架(disposed/瞬断预算/恢复提示/
每轮 sleep/非瞬断上抛),六页全部接上;取数、文案、快照合并、DELETED 语义
留在各页回调,没有顺手统一
- 判据两支:骨架 8 例契约 + 六页源码窄集合回归钉(含"判据自己先自证"一例,
loop-run 的 STOPPED 词表不误报)
|
2026-10-08 09:20:41 +08:00 |
|