Commit Graph

12 Commits

Author SHA1 Message Date
huangzd1997 c2f429f112 fix(cr-01/02/03/08/09/10/11/13): 会话世代、损耗共享基线、任务活性与工作台包
- CR-01:users.session_epoch(V172)+ JWT sessionEpoch;登录/登出原子推进,
  check_login/requireUser 先比世代再做设备比对;登出不再依赖 machine CAS
- CR-02/09:cost-guard 基线落 Redis(CostGuardBaselineStore),按 elapsed 归一化;
  非持锁实例刷新共享密钥快照;pause() 返回写成功,失败不通知且不推进基线
- CR-03:stuck_requeue_count(V173,上限 20)与 retry_count 分账;终态父任务心跳
  停止 touchRunning 并 markFailedPermanent;良性停续期 markLost=false
- CR-08:工作台包对象 key 加 UUID、0 字节拒绝、同 objectKey 幂等、同版本重复拒绝、
  前端 confirm 超时抬到 10 分钟
- CR-10:Excel onSheetTotal 统一在 onHeader 之后回调(xlsx/xls)
- CR-13/11:迁移头/文件名一致断言(V170 唯一豁免);V167 前置由 CompanyService 同事务
  复制菜单树,已应用迁移未回改
2026-10-25 03:40:15 +08:00
huangzd1997 8881f63839 fix(b28): 终态任务的结果作业不再被领取、锁停止续期
现网 FAILED 任务 32217/32220/32226/32229 的合批 job 仍在逐行申领,
在持锁续到 86 分钟。两条 claim 入口先读父任务状态:终态则拉满重试并打
终态回调,不再翻转 RUNNING;执行中由心跳复查,终态后停止看门狗续期
(不释放锁,仍由带 token 的 close 收尾)。父任务状态查询进 mapper XML,
SQL 分层账本 128→129、等价账本 88→89 同步登记。
2026-10-25 00:22:09 +08:00
huangzd1997 1743666334 fix(cost-guard): 注解 SQL 收进 XML、新端点进守卫名单,并按实扫对齐 catch 棘轮
三格护栏红都在本笔自己头上:UserSecretUsageMapper/UserTaskGuardMapper 的 5 条
注解 SQL 迁进 mapper XML(两处语句台账同步);cost-guard 两个端点身份取自 JWT,
进 AdminApiGuardFilter 无条件名单而不是登记成「方法内自校验」;catch 静默棘轮
先摘掉 6 处能去的静默出口(含 resume 写失败被吞成「已继续任务」的假成功),
余下 6 处带 [cost-guard] 锚点的 fail-open 逐处记名入账。
2026-10-24 13:21:47 +08:00
huangzd1997 2c85f47c3b feat(brandgating): 品牌Gating库后端模块并入管理后台
直连主库既有 biz_brand_gating 表(原独立小网页后台 8090 下线的前置),
六端点挂 /api/admin/brand-gating,权限键 admin_brand_gating,走 admin
第一道门前缀守卫无需额外登记。列表/统计/新增/删除/启停用对齐桌面版
(停用记 disabled_at、恒刷 updated_at);批量导入 { text } 按桌面版
parse_batch 逐条同款解析,去重靠唯一键+批内四键预检。
SQL 账本 115→124、select 账本 78→86,8 条 select 点入 NOT_MIGRATED。
2026-10-23 21:56:45 +08:00
huangzd1997 2d408199d6 feat(keywordshare): 五国关键词共享后端模块(桌面工具网页化)
词本体直接读写主库既有 keyword_share 表(已是全量词库),使用状态
keyword_usage,留痕 keyword_add_log/keyword_delete_log;不建新表、无 SQLite。
九个端点挂 /api/keyword-share,权限键 keyword-share,companyId 服务端取。
列表排序对齐桌面版:已使用在前、按 used_time 升序;添加查重跳过+留痕+
自动标记已使用;随机抽词从未使用池。
SQL 账本 99→115(16 条新写语句)、select 账本 67→78(11 条),逐条点入
NOT_MIGRATED;ApiGuardCoverageAuditor METHOD_GUARDED_PATHS 登记
/api/keyword-share(9 端点全部 handler 内 requireConsolePageAccess 把门)。
FILTER_* 命名避开任务状态词表棘轮。
2026-10-23 21:54:52 +08:00
huangzd1997 3413904d5f feat(task-retry): 失败任务克隆重试,最多 3 代并跳过欠费/宕机
- 废弃只复制 request_json 的空壳续跑:三类任务的解析输入都在模块侧状态里,
  线上历史 19 条续跑因此全部失败;改为由 ClientTaskRetrySpi 克隆任务头 +
  采集明细 / 解析 scope state / 源结果行,新任务直接可执行。
- 不可抗力不重试:LLM 密钥或代理 IP 欠费、服务宕机、账号自动登录失败。
- 新增内部回填端点 POST /api/internal/tasks/retry-failed(内部令牌,
  dryRun 默认 true),用于补扫 30 分钟窗口之外的历史失败。
2026-10-22 08:00:49 +08:00
huangzd1997 de38c3ec58 refactor(phase-3): 3D 前置拆薄——publish 陈旧扫描聚类抽出 PublishStaleTaskScanner,服务 2250→2109
用户拍板的路线:接底座净亏 +8~15 行、必须先靠一笔 ③ 前置抽件把账做平。本笔就是那件抽件,为下一笔(publish extends 底座,实测成本 ≈+35 行)腾出 141 行额度。

搬的是「扫描+判定」,不是「收尾」:
- 进 `publish/service/support/PublishStaleTaskScanner.java`(293 行):作业锁 `publish:stale-check` 与其 fail-open 日志、两条候选 SQL(心跳线 `updated_at` 陈旧/二次线 `last_chunk_at` 停摆)、每任务分布式锁、未完成组装 Job 闸门、「从未上报」三分证据判定、两条线各自的复查谓词与对外文案。
- 留在服务:`failStaleTaskLockedInternal` 收尾本体**零改动**(部分回传行抢救、结果行终态、组装 Job 入队都在 machinery 侧),`failStaleTasks` 与 `failNoUploadStaleTasks` 各留一枚 delegator。
- 两枚 delegator 不是风格选择:`failStaleTasks` 被 `PublishTaskServiceTest` 三处公有调用;`failNoUploadStaleTasks` 被 `PublishNoUploadStaleTest:123` 用 `ReflectionTestUtils.invokeMethod` **按名字**反射。删名字等于把回归网拆掉。
- 扫描器**每次入口新建、不注入**:两枚阈值是服务侧 `@Value` 非 final 字段,测试靠 `setField` 改它们;烤进构造更早的缓存里,那三支既有用例当场读旧数。

等值证明不靠眼看:把搬走的两段与 `git show HEAD` 的原文做符号归一后逐行对照,A 线与 B 线的差异**只剩** `MODULE_TYPE`→`moduleType`、`STATUS_RUNNING`→`TaskStatuses.FileTask.RUNNING`、`currentInstanceId()`→`Supplier<String>.get()`、收尾改走 `StaleFinalizer` 回调、`"limit 100"`/`0L`/`Math.max(5,…)` 提常量——没有第六种。当前实例 id 交 Supplier 而非定值是为了不改「查询那一刻才取值」的现网语义。

顺手的一处真减:两条候选查询的 owner 三条件块逐字相同,收成一枚 `ownerScoped` ⇒ 全树 wrapper 内裸 SQL **15→12**。

⚠ 一处如实登记的既有缺口:二次线「有过上报但停摆」那一支没有测试覆盖(三支用例全在「从未上报」三分上)。它不是本笔造成的,但意味着那一支只有逐行对照当证据、没有测试当证据。

门禁与两处读数账:
- 后端全量 **`Tests run: 4540, Failures: 0, Errors: 0, Skipped: 15` + BUILD SUCCESS,真实 rc=0**(取自重定向)。⚠ 4537→4540 这 +3 是另一路 `ProductRiskTaskServiceTest`/`ProductRiskExcelAssemblyServiceTest` 的在飞改动带来的,**本笔零新增 `@Test`**——第十一处读数坑的同族,引用例数变化先查归属。
- **抓到一枚本笔自己的红**:`SqlLayeringConventionTest.rawSqlInsideWrappersDoesNotGrow` 按文件名精确记 wrapper 内函数级 SQL,在册 `PublishTaskService=6`,抽件后实测 `PublishStaleTaskScanner=3`。按测文规定「迁走 ⇒ 同步减基线」改登记键,方向是减、不是放宽(不是阈值动作,无需请示)。教训入册:定向清单是按「上一笔红过什么」攒的那七类,**不含这一类**,新建 `src/main` 文件会唤醒按文件记账的尺——定向全绿给不出门禁全绿,这条只有全量能兜住。
- ops `ruff check .` All checks passed;readability 棘轮 2 failed/7 passed,三处增长全不归本笔(`ProductRiskTaskService` 1485→1495、`BrandProductRiskTab.vue` 1722→1724 属另一路 crawler-plugin 在飞件;`app_client/amazon/approve_v2.py` 1279→1284 与 `approve.py` 三枚长函数属 app_client 面在飞件)⇒ 不动基线、不 `--write`、不代收。本笔 `PublishTaskService` 2250→2109 是减,天然合法、不回写基线。格式步未纳管 ⇒ 如实跳过。真机启动验收本格仍欠。
2026-10-19 18:56:22 +08:00
huangzd1997 b0829db81e 降本三条(10-11 现网取证):外观同请求图片去重 + 货源合规合批 + LLM token 计量落库
取证基线(库侧 biz_user_secret_usage_daily,10-01~10-11 实测 12,704 / 4,134 / 15,135 次):
外观 24h 全量 831 条请求逐条 json 解析,564 条带图共投 2,693 张、去重只剩 1,465 张
⇒ 45.6% 是同一张图在同一次请求里的副本;重试占比只有 0.24%(attempt 829/2/0),
所以省钱的口子在图片副本,不在重试。货源 4,134 次里 4,096 次集中在 10-10/10-11 两天,
类目已合批(10-02)而合规与图比仍逐行 ⇒ 合规是该模块最后一步逐行 LLM 调用。

1) 外观:每张不同的图只随请求发一份,正文附「图j=序号1、2…」对照表;每个序号仍各自
   出一份 status/reason(省副本,不省判定,与 10-10「同组兄弟行也要都检测」同口径)。
   归一化 URL 只当去重的键,发出去的还是行里那条原始串。应急回退:
   llm-appearance-batch-size=1 即退回逐行,无需改码。
2) 货源:新键 llm-conform-batch-size=10(设 1 退回逐行)。前置条件是分类预计算存在,
   否则整条不生效——避免同一行的类目被算两遍(两遍=多扣用户一次);缺编号行与整块
   失败都逐行补检,并有一支 A/B 差分管住合批与逐行写回行的三字段+状态相等。
3) V157 给 biz_user_secret_usage_daily 加 prompt_tokens/completion_tokens,两个 client 收下
   网关 usage。计次与 token 分两条语句:计次发生在发请求之前(含重试,请求没回来也算
   一次),token 只在响应回来后有读数;网关没回 usage 就一条不写——0 会被读成"实测为 0"。

护栏记账:新 mapper 语句 addTokens 两处一起点名(SqlLayeringConventionTest 分母 97→98 +
MigratedSqlEquivalenceTest.NOT_MIGRATED);批量路径的 catch 不新增一处——把分类那一路的
"整块失败→逐行补检"抽成 batchAttempt/fallbackSingleRows 共用,静默 catch 棘轮四格一格没放宽。
顺带修掉 AppearancePatentResultRowDto 上一句已经过期的 javadoc(还写着兄弟行复用代表行结论)。

证据:后端全量 4288 例 0 红(本批 +24 例:去重 7 / token 4 / 合规合批 7 / 用量服务 6)。
变异自证 3/3 全杀:取消去重、摘掉 usage 落库、断掉合规合批,分别让对应用例判红;
两个受试文件按注入前字节还原,sha 复算一致。
2026-10-11 23:52:19 +08:00
huangzd1997 703760e008 尺子(棘轮): 用棘轮自己的正路收敛改动,只抬两条 SQL 记账分母
CatchSilenceRatchet 咬到三处,两处不该动它的数字:
JwtService 的过期分支改 instanceof 分流(ExpiredJwtException 本就是 JwtException 子类
且 jj 先验签后查 exp)——catch 子句数回到 1,且带 [auth] jwt expired-but-signed 锚点,
否则「过期」与「伪造」在日志里又是同一个读数;容忍分支读库失败当场抛 401,
不吞异常,「不重抛」那一格因此不涨。登出那次不再 catch NumberFormatException,
改为先校验 subject 是数字。
只剩两条 SQL 分母是记账式抬升(XML 语句 96→97、select 66→67),
并把 countLiveWorkFor 登记成非迁移语句:它没有注解时代原文可对撞,
登记而不是让它红,是为了「谁新写了语句」留痕。
2026-10-09 15:31:32 +08:00
huangzd1997 419ab3be64 refactor(SQL分层): 剩余 85 条注解 SQL 全量迁进 mapper XML,等价性改由 MyBatis 自己判
96 条语句现在全在 src/main/resources/mapper/<模块>/ 下,注解侧 SQL 归零;判据从"基线清单"
改成完成态(逐接口必须为 0 + XML 语句总数 96 + 反向钉:XML 有则注解必须无)。

搬法上踩实了一个坑:注解参数是 Java 表达式("…" + CLIENT_MODULE_TYPES + "…"),
用只认字面量的抽取器搬家会把常量整段吞掉——上一轮生成的 26 份 XML 里因此出现
IN ()、AS status 前面没有表达式(MySQL 语法错),<script> 形态还被多转义一次变成 &amp;lt;。
更糟的是当时"搬迁前快照"与 XML 由同一个抽取器产出,两边一起错所以逐字比对全绿,
抓到现场的是既有的语义用例(TaskCenter 15 条 + 店铺查重那条断 <> 的)。

所以 MigratedSqlEquivalenceTest 改成:账本存注解原文,Java 侧现场用
getDefaultScriptingLanguageInstance().createSqlSource 编译原文,与 XML 解析出的
MappedStatement 各渲染一遍 BoundSql 对撞(空参数 + foreach 喂满 2 元素各一次),
转义对不对由 MyBatis 判定而不是由生成器判定;账本自己再钉 <script>/<if> 成对、不许出现 IN ()。
resultType 那一支不变:期望值由接口签名反射反推,66 条分母钉住。

取数入口跟着换:6 支原本读 @Select 注解的守卫(TaskCenter/Dedupe/店铺查重/通知保留/
鉴权形状/后台扩权)改走 MapperXmlSupport,断言内容一字未动;后台扩权那条"不许有 wrapper
投影"从全文 doesNotContain(".select(") 改成只扫可执行行——接口里现在只剩签名,
而 javadoc 正写着"别用 selectList(.select(...))",全文判会被自己的注释喂饱。

隔离树全量 4059 例 0 红(基线 4054,+5 为新增等价性与 XML 用例)。这批要生效得随下一版 jar 发版。
2026-10-08 12:00:43 +08:00
huangzd1997 3ed8a4265d refactor(SQL分层): TaskImageCacheMapper 9 条注解 SQL 迁进 mapper XML,读侧判据改逐接口钉
档 B 口径:自定义语句一律进 XML,"特别简单"只剩 BaseMapper 自带 CRUD 与单表主键/唯一键点查。

判据这次不只是改数字。读侧原来钉的是「总数 65 + 文件数 16」两个标量,那么 A 接口加一条、
B 接口减一条就能让两个标量双双不动而绕过闸门,等于档 B 下没有闸门。改成逐接口清单
SELECT_SQL_BASELINE,并加 thePerFileLedgerCatchesWhatTheScalarsCouldNot 自证:在内存里造出
那次搬家,先断言总数与文件数确实都不变(证明旧钉法失明),再断言逐接口清单必须不等。

复用片段抽在真重复处:WHERE url_hash IN <foreach> 被三条语句共用,抽成 byUrlHashIn。
没抽列清单是刻意的——这个表每条语句只取必要列,image_bytes 是 BLOB,整行回读会把省内存
的缓存变成内存负担。所以新守卫 TaskImageCacheMapperXmlTest 钉的第一条就是"只有两条直读
字节的语句能碰 image_bytes"(迁 SQL 最顺手写成 SELECT *,而它在没有库的单测里不会自然变红),
其余钉 &lt; 是否还原成 <、LIMIT ? 是否仍是绑定参数、NOW(3) 毫秒精度、byte[] 的 resultType
必须写 "[B"(别名表里没有它)。

基线同步递减:写侧 29→25、读侧 65→60,MIGRATED_TO_XML 加 TaskImageCacheMapper。
定向 47 例绿(判据 9 + 新守卫 7 + asincache 样板 6 + 两个消费方 service 25)。
既有接口是 CRLF,改动走二进制删行,没把整份文件翻成 LF。
2026-10-08 10:29:36 +08:00
huangzd1997 207225eb86 feat(护栏三面): 鉴权盲区启动自检 + SQL 分层口径落码 + 六页等待循环合一
后端
- AdminApiGuardFilter 增 guardedPrefixes()/matchesPrefix() 公开入口(原 private,
  自检抄一份清单迟早与守卫脱钩);行为零变化
- 新增 ApiGuardCoverageAuditor:启动期把"已映射端点既不在守卫前缀名单、也不在
  公开/待收清单里"打成 API_GUARD_UNCOVERED 一行 WARN,供现网巡检 grep;
  PUBLIC_BY_DESIGN 与 PENDING_CONVERGENCE 两张清单逐条写理由(只读不拦)
- SQL 分层按新口径落码:AsinResultCacheMapper 的两条动态 SQL(<foreach> 批量 +
  ON DUPLICATE KEY UPDATE + 逐列 COALESCE)迁到 resources/mapper/asincache/,
  注解摘干净(注解+XML 同名会让启动期抛重复语句)
- 判据:SqlLayeringConventionTest(注解写 SQL 基线 16 接口/29 条只减不增、
  @Select 65 条/16 文件、wrapper 夹带函数级 SQL 4 文件/15 条,last("LIMIT n")
  205 处显式豁免并反向钉住豁免面)、ApiGuardCoverageAuditorTest(含清单腐烂与
  欠账/名单重叠两类反向失明)、AsinResultCacheMapperXmlTest(真解析 XML 向
  BoundSql 断言 28 个占位符与 5 个 COALESCE 列)

用户端 frontend-vue
- 终态集合合一:实测六页里 PriceTrack/ProductRisk 只认 SUCCESS|FAILED,
  而 COMPLETED≡SUCCESS 早有出处(task-status-text 两者都译「已完成」,
  后端 TaskCenterQueryMapper SUCCESS_STATUSES_ORDERED 也含 COMPLETED)
  ⇒ 窄集合页收到 COMPLETED 会空转到瞬断预算耗尽,PriceTrack 的轮询摘除路径
  同样窄 ⇒ 任务永不退出轮询、列表卡在"执行中"
- 新增 shared/utils/task-terminal.ts 循环骨架(disposed/瞬断预算/恢复提示/
  每轮 sleep/非瞬断上抛),六页全部接上;取数、文案、快照合并、DELETED 语义
  留在各页回调,没有顺手统一
- 判据两支:骨架 8 例契约 + 六页源码窄集合回归钉(含"判据自己先自证"一例,
  loop-run 的 STOPPED 词表不误报)
2026-10-08 09:20:41 +08:00