Commit Graph

15 Commits

Author SHA1 Message Date
huangzd1997 bb4cf3cdd2 refactor(phase-7): Excel 栈收口到 POI 并移除 EasyExcel
xlsx 改走 OPCPackage/XSSFReader 事件模型(流式,不整表入内存),
xls 走 HSSF;对外 readFirstSheet/readAllSheets 契约与行回调不变。
解析失败统一收成 IOException,行处理异常按 BusinessException/RuntimeException 原样透传。
pom 删 EasyExcel 4.0.3,只保留 poi-ooxml 5.4.1,消除双 POI 版本劈叉。
2026-10-24 22:31:51 +08:00
huangzd1997 1743666334 fix(cost-guard): 注解 SQL 收进 XML、新端点进守卫名单,并按实扫对齐 catch 棘轮
三格护栏红都在本笔自己头上:UserSecretUsageMapper/UserTaskGuardMapper 的 5 条
注解 SQL 迁进 mapper XML(两处语句台账同步);cost-guard 两个端点身份取自 JWT,
进 AdminApiGuardFilter 无条件名单而不是登记成「方法内自校验」;catch 静默棘轮
先摘掉 6 处能去的静默出口(含 resume 写失败被吞成「已继续任务」的假成功),
余下 6 处带 [cost-guard] 锚点的 fail-open 逐处记名入账。
2026-10-24 13:21:47 +08:00
huangzd1997 311bbadc97 test(phase-3): 3C 续笔——把「三格未涨」那句收回成两格,empty 那格的常量与实测差 1
a54f80c6 的 message 与常量注释都写了「不重抛/只 log/空体三格上限等于上一次记录的
实测值,绿即证未涨」。逐格核对后:notRethrow 562、logOnly 173 两句常量确实等于上一次
记录的实测值;STRICT_EMPTY 是 56、而上一次记录(3B 那笔的注释)是 55 ⇒ 那一格绿只证
「≤56」,不证未涨。判据与代码一字未动,只是别让下一读的人把「门禁绿」读成三格都被
重新证明过。复跑 9 例/0 红。
2026-10-19 16:57:41 +08:00
huangzd1997 a54f80c650 refactor(phase-3): 3C 第三处 writeJson 并档——persistStats 的捕获面收回序列化,RETHROW 下限按实测钉到 380
用户拍板「按顺序」第①项。CollectDataService.persistStats 那段 try 包 15 行 payload.put
加一次 writeValueAsString 并进底座 writeJson(ObjectMapper, Object, String),文案
「保存采集统计失败」、异常类型与不带 cause 三条线协议事实逐字带到调用点——回传 golden
那 15 段每段都过这一格,非写模式逐字节复现就是等值证明。

并档顺带把捕获面从「建 map+序列化」收回到「序列化」:LinkedHashMap.put 对这些值不可能
抛,所以没有一处出口被改回吞掉。RETHROW_FLOOR 381→380,出处点名续在同一处注释里。

读数按上一笔定下的复现办法当场取(上限压 0、下限抬 99999 各单跑一次本类,探完五个
常量逐格还原):整树 total=997、rethrow=380,与上一笔读到的 998/381 各差 1,正好等于
本笔摘掉的那一处。不重抛/只 log/空体三格是上限且常量等于上一次记录的实测值,绿即证
未涨过那一数。

行数:本支棘轮 2111→2107,对在册基线 2209 累计净减 102。基线一格未改、--write 未跑。

门禁:定向 349 例/0 红/2 skipped(含 ratchet、wiring、SourceScan、两套 golden);
后端全量 4533 例/0 红/14 skipped/BUILD SUCCESS(真实 rc=0);ops ruff All checks
passed、readability 棘轮 8 passed/1 failed——那一记红仍是另一路 80f92c38 落地的
AppearancePatentLlmClient 1419→1465(基线未同步),本笔不代收、不回写。
2026-10-19 16:54:37 +08:00
huangzd1997 852282b645 test(phase-3): 3C 就地补正——整树 catch 的实测数与「上限静默吸收删除」的复现办法写进常量上方
5229584a 的 message 里那句「total 随两处离开树而 1004→1002」是推算不是读数。当场复现
(把 STRICT_TOTAL 与三格上限压到 0、RETHROW 下限抬到 99999,单跑本类一次,断言文案即实测):
整树 total=998、rethrow=381。与历史数 1004 差的 6 格里本笔只占 2,另 4 处是更早几笔摘掉
catch 时静默吸收的——total 是上限,只在新增加时红,删掉从不回头核对,所以常量上方那些
「实测 1003/1004」会与现实脱钩。

判据一格未动:四格上限原样、下限按实测 381 钉住(要收紧上限得逐处记名另笔请示)。
纯注释改动,复跑 9 例/0 红。
2026-10-19 16:26:48 +08:00
huangzd1997 5229584a29 refactor(phase-3): 3C 第三件公共件入底——writeJson 两处并档,RETHROW 下限按逐处记名调到 381
用户授权项①。CollectDataService 的两处序列化 catch 并进底座
AbstractFileTaskPipeline.writeJson(ObjectMapper, Object, String):
① 私有 writeJson(Object, String)(唯一调用点文案「采集结果序列化失败」逐字带到调用点);
② 建单 persistParsedTask 那段 try 包两次 writeValueAsString(文案「序列化任务信息失败」)。
两支的异常类型、文案、不带 cause 这三条线协议事实一字未动——建单 4 段与回传 15 段
golden 在非写模式下逐字节复现,就是这条等值的证明。

门禁判据动了一格且是被授权动的:RETHROW_FLOOR 383→381,两处出处逐一点名写在常量上方
(沿用 3B 的 386→385、3A 的 385→383 同一格式)。total 是上限、随两处离开树而 1004→1002,
不重抛/只 log/空体三格同批复跑一个未涨——判据一条没放宽。

第三处同形状(persistStats 的 try 包 15 行 put 加一次序列化)这笔没并:授权范围是两处,
再降一格要另行逐处记名。已在常量注释里点名留下这一格,别让下一个人以为本支已经并干净。

行数:本支棘轮 2123→2111(净减 12),对在册基线 2209 累计净减 98;基线未改、--write 未跑。

门禁:定向 328 例/0 红/2 skipped;后端全量 4533 例/0 红/14 skipped/BUILD SUCCESS
(真实 rc=0)——4533 比上一读数 +5 全是另一路未提交的 AppearancePatentLlmClientTest
(9→14 枚 @Test),本笔未新增任何用例方法。ops readability 棘轮 8 passed/1 failed,
唯一 offender 仍是它家未提交的 AppearancePatentLlmClient.java 1419→1465,本笔一字未碰、
不代收、不回写基线;ruff All checks passed。真机启动验收本格仍欠。
2026-10-19 16:12:41 +08:00
huangzd1997 f0c672025d refactor(phase-3): 3A 接入底座——建单段与一格准入沉下去,回传段其余部分按证据未动
AppearancePatentTaskService 继承 AbstractFileTaskPipeline<AppearancePatentResultRowDto>。
棘轮读数 3458(在册基线)→3381:显式构造器成本 +26,被建单段下沉(-25)与三枚零调用
私有件出仓(-33)对冲掉,本笔自身净减 7 行、较基线净减 77 行。

接得上什么、接不上什么(这次是第四条实测,答案与前三支都不同):
- 接得上底座:newTaskHeader/insertTask/newScopeRow/writeJson/requireUserId/
  requireSubmissionTask/ensureTaskOwnedByCurrentInstance(本支那枚私有同名件签名逐字相同,
  改成 @Override 就接上了)。
- 接不上家族层:本支是 chunk+scope 族(按 submissionId 分片),套 shop-payload 就是把
  「按分片合并」换成「按店铺合并」。装配切片里那条 getSuperclass 断言现在盯住了这一点。
- 接不上缓存钩子:本支的 AppearancePatentTaskCacheService 继承的是同族兄弟
  AbstractPendingRowTaskCacheService,不是 AbstractModuleTaskCacheService ⇒ 底座
  taskCacheService() 钩子对它无类型可套。处置是不覆写那一格(默认 null 已经对),心跳留在
  persistSubmittedChunk 自己那句 touchTaskHeartbeat——不是本支没心跳,是两套抽象接不上。
  底座 javadoc 把 AppearancePatent 列进「4/7 支有模块缓存服务」那格,这条读数不准,
  已在本笔注释里点名更正(蓝图 §5 同步登记)。
- 没动的部分:回传段其余步骤(终态判定用 TaskResultAdmission.rejectNotRunning,比底座
  rejectTerminalSubmission 宽——凡非 RUNNING 皆拒,且 40901 只在真终态那格带)与
  acquireTaskLock 的非阻塞变体(抢不到返回 null 让巡检跳过下一轮,底座只有「抢不到即拒提交」
  两型)。这一段没有 golden,按「先补再动」只做了 prepareSubmittedChunk 那一格
  逐字同形的四行替换,其余一个字节没碰。

捕获账:本支两处序列化 catch(私有 writeJson(Object,String) 与建单那段 try/catch)并进底座
已有的 writeJson ⇒ RETHROW 385→383,按该尺自己写的处置口径逐处记名(出处写在
CatchSilenceRatchetTest 常量上方),用户授权沿用 3B 那一笔的同项拍板。不重抛/只 log/
空体三格未涨,其余判据一格没放宽。

门禁:定向批 452 例/0 红/0 错/5 skipped(五格是 golden 生成器,未设环境变量时如实 skip),
BUILD SUCCESS 取码走无管道写法。八条 golden 逐字节相等——git status -- src/test/resources
一字未动(本支新建单那条 + 前三支那六条都在跑)。装配切片接进第四支:22 枚参数逐枚点名,
含「五枚交 super 之后本支不再持有同名字段」那格 assertSame。
真机启动验收仍没做(要 MySQL+Redis),这条账继续挂在 Phase 8。
2026-10-19 09:36:48 +08:00
huangzd1997 695f570d59 refactor(phase-3): ShopDataCrawl 接入底座,家族层按证据不接——三支接得上、两处接不上写死
七支巨石里第三支接进 AbstractFileTaskPipeline。它接的是**底座**、不是 shop-payload 家族层:
家族模板 submitShopScopedResults 要求「按店名自建索引→逐行→changed 闸门→重算」,本支三条都不成立
(索引自建且带「回传店铺与任务不匹配」这道拒、单店合同 resultRows.size()!=1、尾部无 changed 闸门
而是无条件 persistProgressOrSnapshot+tryFinalizeTask)。照家族层套就是替它改行为。

本支复用底座的六件:newTaskHeader/newScopeRow(带显式时刻那一版——建单时刻一枚复用给头行与每一行,
默认时区逐行各取那一版会把这格改掉)、insertTask、listScopeRows(本地 listTaskRows 与孪生两支逐字同形,删)、
requireUserId(本地 validateUserId 逐字同形,删)、requireTaskId、writeJson(第四份同名件并进来,
捕获账净减:RETHROW 386→385 按该尺自述的「逐条点名改基线」处置,出处与授权逐字写进
CatchSilenceRatchetTest 注释;total 1002、不重抛/只 log/空体三格未涨)。

两处「按证据不做」写进代码而不是只留在注释里:
1)准入步序现网先归属后终态,与底座默认序相反 ⇒ 为它把 admitSubmission 拆成
   requireSubmissionTask/rejectTerminalSubmission/touchSubmissionHeartbeat 三格、按本支的序复用;
   孪生两支走的默认序一个字没动,它们的 golden 就是这条等值的证明。
2)收尾刷结果列走 LambdaUpdateWrapper 批量条件更新(只刷 success=1 的行、不写 success/errorMessage、
   objectKey 传 null)⇒ publishResultFile 仍不适用,本地写法保留。

代价要说在白处:显式构造器是继承的结构性成本,本支 23 枚参数(孪生两支 17/15),
ShopDataCrawlTaskService 3196→3215 行——这一格在 readability 棘轮上是**涨**,
与 Phase 3「只许降」那条准出标准相冲,不自行改基线判据、留给用户拍板。

对撞证据:本支两条新 golden(建单 14 例/回传 20 例)+孪生两支四条 golden 迁移前后逐字节相等,
git status -- src/test/resources 一字未动;后端全量 mvn -o test 绿。
2026-10-19 03:02:25 +08:00
huangzd1997 49eee59a13 fix(外观专利): 失败兜底出部分结果文件+WAIT_LLM 停放作业心跳续租(31302/31354)
线上两例死法修复,目标是「任务失败了也能下载」:
- 31354:组装作业在 WAIT_LLM 停放期执行线程已退出、Worker 执行期心跳
  已取消,job 级 stuck 扫描按 updated_at 判陈旧,5 分钟阈值×5 次重试
  耗尽后误判「文件生成任务运行超时」。客户端心跳经
  AppearancePatentTaskHeartbeatSpi#onHeartbeat 按
  dbJobTouchIntervalMillis(默认 60s,远小于 5 分钟阈值)节流续租
  (touchRunningAssembleJobsIfStale,与 SimilarAsin 同口径)。
- 31302:覆盖率闸门判红重试 5 次判死后,1196 行成品零交付且不能下载。
  接通 fallbackAssembleOnFailure 兜底钩子:作业判死后用已有分片出
  部分结果文件(validateCompleteLlmCoverage 加 allowPartial 旁路),
  写上 result.resultFileUrl 后前端下载按钮即恢复;兜底幂等(已有
  结果文件短 路)、不动任务终态、与补传恢复重跑兼容。
- 棘轮尺 STRICT_TOTAL 1003→1004、NOT_RETHROW 561→562 抬格并逐处
  记名(兜底自吞 catch 属接口契约要求的 fail-open 形状)。

全量 mvn -o test 4492 支 0 失败(9 skipped 为既有跳过)。
2026-10-18 23:41:24 +08:00
huangzd1997 3c44f686da feat(任务判死): 心跳时钟改为从首次心跳起算——排队中的 RUNNING 任务不再被心跳超时线误杀
任务一被认领(页面 activate / 客户端兜底拉取)就记 RUNNING,而客户端要等执行器真开始跑
才发心跳(同店占用、线程池 5 格全忙、浏览器首屏)。这段排队时间里服务端一行心跳都没有、
updated_at 停在认领时刻,被 30/120 分钟心跳线杀掉的是排队而不是死任务
(现网 2026-10-17 查得近 7 天 COLLECT_DATA 9 条 62 分钟判死、SIMILAR_ASIN 2 条一行未产出)。

- 新增 TaskHeartbeatLivenessService:每条心跳无条件打点(Redis,24h TTL),
  读失败一律落 0=没有证据;新增 StaleTaskHeartbeatPolicy:收到过心跳才走心跳时钟,
  从未心跳=仍在排队,超过未启动宽限(默认 240 分钟,置 0 即回退旧行为)才判死。
- 接入 product-risk/跟价/店铺匹配/巡店删除/查 ASIN/提现六条委派判死线、采集 30 分钟线、
  generic 120 分钟线(该文件另一路会话正在改,只提交本笔 HEAD+本改动的切片)。
- 沉默棘轮按逐处记名抬 3 格(total 1002→1003、不重抛 559→561、只 log 172→173),
  两处新增 catch 均为 fail-open 且误差方向是「少杀一个任务」。

验证:backend 全量 4400 例 0 失败;CatchSilenceRatchetTest 9 例绿;
ops 判死签名尺子 6 例绿;ruff check . All checks passed。
2026-10-17 19:46:04 +08:00
huangzd1997 5ccf3c896f 收口(去重库): 五处比对与写入口按 company_id 认公司,不再跨公司去重
读侧(列表/导出)早已按公司收窄,但"去重"这个动作本身一直查全平台:
selectExistingDataValues 是 `WHERE data_value IN (...)`,一个租户条件都没有。
库里唯一键自 V145 起就是 uk_company_data_value(company_id, data_value)——
同值本来就允许归两家,是代码没跟上库的口径。

五处一起收口(第 5 处由编译器抓出,正是 V145 头注释 §1.2 点名的采集侧):
去重执行 ASIN 过滤 / 导入预检"已存在就跳过" / 手工新增与编辑的重名校验
(文案改「本公司已存在该数据」)/ 删除导入(超管不选分组时原先一次删掉全平台
同名行)/ 采集结果过滤(CollectDataBatchQuery 直连 mapper,改为经 dedupe 侧推导)。

超管代导入的归属分裂一并修掉:前端两个导入接口把公司 tab 发下去——原先
group_id 落别家的组、company_id 落超管自己那一家。公司身份一律在请求线程上由
DataReadScope.readCompanyIdOrOwn 解析后传入(导入与去重跑在虚拟线程,那时已无
请求上下文),service 侧 requireScopedCompanyId 只判空不兜底。

删两条零调用者的跨公司通道(selectAllDataValues/listComparableValues 全表读、
deleteFromExcel 两个同步重载)。反转一条反向钉:comparableValueLookupRemainsGlobal
原显式断言"比对不参与公司收窄"(多公司一期的半套遗留),现为 IsScopedToOneCompany。

三把尺子随之改动,均带出处:tsv 基准行搬家(三个标量双双不动)、前端发送口分母
17→18 组/21→22 处、CatchSilenceRatchet 重抛下限 387→386(随死代码离开树那处)。

验证:后端全量 4198 例 0 失败/0 错误/7 跳过;前端 1778 例全绿;变异自证
6/6 全部 KILLED,注入文件按 sha256 还原并复跑绿。
现网只读探针:misfiled=0、同值跨家=0 ⇒ 存量比对结果不变,行为改变只在将来
A 家导入 B 家已有 ASIN 那一刻;两口径差额 1,452 行(0.26%)全属公司 1、
全源于 10-05 账号硬删。
2026-10-09 17:57:37 +08:00
huangzd1997 603e08243f test(护栏基线): RETHROW 下限 388→387,出处点名到具体提交与方法
- 触发:pre-push 闸门拦下推送,CatchSilenceRatchetTest.fourNumbersMustNotGrow 报重抛 387 < 388
- 查证:6aa4f821「摘 13 处零引用私有方法」删掉 DeleteBrandRunService 一个无人调用的私有方法,其 catch 体是 throw new BusinessException(...) ⇒ RETHROW 形状随死代码离开;不重抛/只 log/空体三数未涨 ⇒ 没有一处"异常会往外走"被改回吞掉
- 所以是基线该跟着代码走,而不是代码该回滚;下调理由必须写成逐处出处,"总数变小了"不算——那种要看的是不重抛那一侧有没有涨
- 复跑:CatchSilenceRatchetTest 9 例全绿(BUILD SUCCESS)
2026-10-09 11:32:00 +08:00
huangzd1997 39fc5d537f test(护栏): 把"三类静默出口必须含 throw 或锚点"做成真判据,缺口 11 处/10 文件钉成只许减
§2 后端「静默出口成片」那行的断言写了两件事,尺子只实现了棘轮那一半就一直按达标计;
而 SilentCatchScanner.Site.hasAnchor() 是死代码、零调用者 —— 工具造好了但没接进判据。

- threeCategoriesMustRethrowOrCarryAnchor:按文件逐处点名 GAP_LEDGER(11 处/10 文件,
  Java 扫描器与一份独立 Python 普查对平:26 候选 / 15 带锚点 / 11 缺口),只许减。
  台账空即判红("一处都没扫到"与"确实一处都没有"必须可区分)。
- anchorAndThrowBothCloseTheGapOnlyWhenActuallyPresent:内存注入自证 —— throw 放过、
  带 [silent-degrade] 放过、两者都没有才记缺口,无关类别连进名单都不许进。

缺口里 8 处是逐行失败路径(把失败写进结果项,没有日志):往那儿加 log.warn 就是 10-07
通知放大的同族事故(逐行 × 每任务 × 扇出 16 人),所以本轮只做实判据、不硬塞日志。
锚点正则只认 ASCII \[[A-Za-z0-9_.-]{3,}\],任务书写的 [静默降级] 匹配不上,约定改为
[silent-degrade],命名偏差记在任务书 §2。

mvn -o test -Dtest=CatchSilenceRatchetTest:Tests run 9, Failures 0, Errors 0。
2026-10-09 02:10:48 +08:00
huangzd1997 97ca6810f7 fix(护栏自证): 切片桩不冒充产品端点;版本闸门少一处异常控制流,把 catch 棘轮记回原基线
把这期后端护栏类并进"实跑档"以后,一次 mvn 就当夜逼出两处真红。两处都是测试件/我自己
上一笔提交的问题,不是产品逻辑错,但都必须改代码而不是改基线:

1) 上一版切片的桩控制器写了 GET /api/admin/users,与真 AdminUserController#listUsers
   撞在同一条完整映射上。MappedPathProbe 把整棵 main 树的映射枚举进同一个
   RequestMappingHandlerMapping,于是 ApiGuardCoverageBreachTest 先炸 Ambiguous mapping
   (2 errors);把桩路径改成 /api/client/slice-ping、/api/admin/slice-probe 后又暴露第二层:
   测试桩本身被当成"新增未设防端点"进判定 ⇒ 探针改为不登记测试夹具里的控制器
   (按最外层类名 Test/Tests/IT 排除,main 树里这种命名的真控制器实测 0 个)。
   分母守卫照旧有效:mapped.size() > 300 那条断言仍在,排掉桩不会把清单清成空的。

2) CatchSilenceRatchetTest 红的是我自己 9d762c55(20:25 提交)里那处
   `catch (NumberFormatException overflow) { return null; }`:total 1002→1003、
   不重抛 559→560。也就是说**那笔提交是带着一支红的护栏类交进去的**——上一轮我只把切片
   纳入实跑分母,没把这支棘轮一起跑,所以"7 例绿"的读数过期了。
   修法不是抬基线:版本号的单段长度超过 18 位本来就该按"判不出来"处理,于是用
   MAX_SEGMENT_DIGITS 上限替掉 try/catch,判定走向逐字不变(仍是 return null ⇒ 不拒),
   total 与不重抛都记回 1002/559,验收基线一格没动。RETHROW 下限 388、logOnly 172、
   empty 56 三档本轮都没碰。
   顺手改掉失败文案里的错算式(原写"= 验收基线 1000 + 1 处",实际那 2 处各自有出处)。

版本闸门本身仍未上线(现网 jar 是 12:3x 那版,9d762c55 在 20:25)⇒ 本改动零现网影响。

实跑:mvn -o test -Dtest=ClientVersionGuardContextSliceTest,ApiGuardCoverageBreachTest,
ApiGuardCoverageAuditorTest,ApiGuardCoverageAuditorWiringTest,CatchSilenceRatchetTest,
ClientVersionGuardFilterTest,BuildInfoLoggerTest
⇒ Tests run: 53, Failures: 0, Errors: 0 / BUILD SUCCESS(逐类 6/10/8/2/7/12/8)。
2026-10-09 00:23:14 +08:00
huangzd1997 305441b0bd feat(护栏): catch 静默形状做进代码出口 + 待处理行缓冲不再谎报"已暂存"
整棵 src/main 有 1002 个 catch 块,其中 559 个不重抛、172 个块内只有 log、55 个空体——
约三成是"记一条日志就往下走"。这没法一次清扫,先把形状钉成只许减的棘轮:扫描器自己数分母,
并与一把独立口径(原始文件里 "catch (" 出现次数)逐文件对平,两者不等就红——词法若把真代码
当字符串吃掉,total 会变小而"≤ 基线"照样绿,这一步就是防那个。

两处按三类高危出口点名改成重抛:待处理行入缓冲失败原先静默返回,等于向调用方谎报"已暂存",
装配阶段少这一行却照样把任务标成 SUCCESS;取 pending 行数失败原先返回 0,而 0 在调用方眼里
是"缓冲区空了",真实含义是"Redis 没答话"。

RETHROW 那一格刻意钉成下限(388)而非上限:把吞异常改成重抛会让这一格上涨,钉成"只许减"
就等于拦住别人做正确的事。
2026-10-08 17:36:22 +08:00