huangzd1997
|
49eee59a13
|
fix(外观专利): 失败兜底出部分结果文件+WAIT_LLM 停放作业心跳续租(31302/31354)
线上两例死法修复,目标是「任务失败了也能下载」:
- 31354:组装作业在 WAIT_LLM 停放期执行线程已退出、Worker 执行期心跳
已取消,job 级 stuck 扫描按 updated_at 判陈旧,5 分钟阈值×5 次重试
耗尽后误判「文件生成任务运行超时」。客户端心跳经
AppearancePatentTaskHeartbeatSpi#onHeartbeat 按
dbJobTouchIntervalMillis(默认 60s,远小于 5 分钟阈值)节流续租
(touchRunningAssembleJobsIfStale,与 SimilarAsin 同口径)。
- 31302:覆盖率闸门判红重试 5 次判死后,1196 行成品零交付且不能下载。
接通 fallbackAssembleOnFailure 兜底钩子:作业判死后用已有分片出
部分结果文件(validateCompleteLlmCoverage 加 allowPartial 旁路),
写上 result.resultFileUrl 后前端下载按钮即恢复;兜底幂等(已有
结果文件短 路)、不动任务终态、与补传恢复重跑兼容。
- 棘轮尺 STRICT_TOTAL 1003→1004、NOT_RETHROW 561→562 抬格并逐处
记名(兜底自吞 catch 属接口契约要求的 fail-open 形状)。
全量 mvn -o test 4492 支 0 失败(9 skipped 为既有跳过)。
|
2026-10-18 23:41:24 +08:00 |
|
huangzd1997
|
3c44f686da
|
feat(任务判死): 心跳时钟改为从首次心跳起算——排队中的 RUNNING 任务不再被心跳超时线误杀
任务一被认领(页面 activate / 客户端兜底拉取)就记 RUNNING,而客户端要等执行器真开始跑
才发心跳(同店占用、线程池 5 格全忙、浏览器首屏)。这段排队时间里服务端一行心跳都没有、
updated_at 停在认领时刻,被 30/120 分钟心跳线杀掉的是排队而不是死任务
(现网 2026-10-17 查得近 7 天 COLLECT_DATA 9 条 62 分钟判死、SIMILAR_ASIN 2 条一行未产出)。
- 新增 TaskHeartbeatLivenessService:每条心跳无条件打点(Redis,24h TTL),
读失败一律落 0=没有证据;新增 StaleTaskHeartbeatPolicy:收到过心跳才走心跳时钟,
从未心跳=仍在排队,超过未启动宽限(默认 240 分钟,置 0 即回退旧行为)才判死。
- 接入 product-risk/跟价/店铺匹配/巡店删除/查 ASIN/提现六条委派判死线、采集 30 分钟线、
generic 120 分钟线(该文件另一路会话正在改,只提交本笔 HEAD+本改动的切片)。
- 沉默棘轮按逐处记名抬 3 格(total 1002→1003、不重抛 559→561、只 log 172→173),
两处新增 catch 均为 fail-open 且误差方向是「少杀一个任务」。
验证:backend 全量 4400 例 0 失败;CatchSilenceRatchetTest 9 例绿;
ops 判死签名尺子 6 例绿;ruff check . All checks passed。
|
2026-10-17 19:46:04 +08:00 |
|
huangzd1997
|
5ccf3c896f
|
收口(去重库): 五处比对与写入口按 company_id 认公司,不再跨公司去重
读侧(列表/导出)早已按公司收窄,但"去重"这个动作本身一直查全平台:
selectExistingDataValues 是 `WHERE data_value IN (...)`,一个租户条件都没有。
库里唯一键自 V145 起就是 uk_company_data_value(company_id, data_value)——
同值本来就允许归两家,是代码没跟上库的口径。
五处一起收口(第 5 处由编译器抓出,正是 V145 头注释 §1.2 点名的采集侧):
去重执行 ASIN 过滤 / 导入预检"已存在就跳过" / 手工新增与编辑的重名校验
(文案改「本公司已存在该数据」)/ 删除导入(超管不选分组时原先一次删掉全平台
同名行)/ 采集结果过滤(CollectDataBatchQuery 直连 mapper,改为经 dedupe 侧推导)。
超管代导入的归属分裂一并修掉:前端两个导入接口把公司 tab 发下去——原先
group_id 落别家的组、company_id 落超管自己那一家。公司身份一律在请求线程上由
DataReadScope.readCompanyIdOrOwn 解析后传入(导入与去重跑在虚拟线程,那时已无
请求上下文),service 侧 requireScopedCompanyId 只判空不兜底。
删两条零调用者的跨公司通道(selectAllDataValues/listComparableValues 全表读、
deleteFromExcel 两个同步重载)。反转一条反向钉:comparableValueLookupRemainsGlobal
原显式断言"比对不参与公司收窄"(多公司一期的半套遗留),现为 IsScopedToOneCompany。
三把尺子随之改动,均带出处:tsv 基准行搬家(三个标量双双不动)、前端发送口分母
17→18 组/21→22 处、CatchSilenceRatchet 重抛下限 387→386(随死代码离开树那处)。
验证:后端全量 4198 例 0 失败/0 错误/7 跳过;前端 1778 例全绿;变异自证
6/6 全部 KILLED,注入文件按 sha256 还原并复跑绿。
现网只读探针:misfiled=0、同值跨家=0 ⇒ 存量比对结果不变,行为改变只在将来
A 家导入 B 家已有 ASIN 那一刻;两口径差额 1,452 行(0.26%)全属公司 1、
全源于 10-05 账号硬删。
|
2026-10-09 17:57:37 +08:00 |
|
huangzd1997
|
603e08243f
|
test(护栏基线): RETHROW 下限 388→387,出处点名到具体提交与方法
- 触发:pre-push 闸门拦下推送,CatchSilenceRatchetTest.fourNumbersMustNotGrow 报重抛 387 < 388
- 查证:6aa4f821「摘 13 处零引用私有方法」删掉 DeleteBrandRunService 一个无人调用的私有方法,其 catch 体是 throw new BusinessException(...) ⇒ RETHROW 形状随死代码离开;不重抛/只 log/空体三数未涨 ⇒ 没有一处"异常会往外走"被改回吞掉
- 所以是基线该跟着代码走,而不是代码该回滚;下调理由必须写成逐处出处,"总数变小了"不算——那种要看的是不重抛那一侧有没有涨
- 复跑:CatchSilenceRatchetTest 9 例全绿(BUILD SUCCESS)
|
2026-10-09 11:32:00 +08:00 |
|
huangzd1997
|
39fc5d537f
|
test(护栏): 把"三类静默出口必须含 throw 或锚点"做成真判据,缺口 11 处/10 文件钉成只许减
§2 后端「静默出口成片」那行的断言写了两件事,尺子只实现了棘轮那一半就一直按达标计;
而 SilentCatchScanner.Site.hasAnchor() 是死代码、零调用者 —— 工具造好了但没接进判据。
- threeCategoriesMustRethrowOrCarryAnchor:按文件逐处点名 GAP_LEDGER(11 处/10 文件,
Java 扫描器与一份独立 Python 普查对平:26 候选 / 15 带锚点 / 11 缺口),只许减。
台账空即判红("一处都没扫到"与"确实一处都没有"必须可区分)。
- anchorAndThrowBothCloseTheGapOnlyWhenActuallyPresent:内存注入自证 —— throw 放过、
带 [silent-degrade] 放过、两者都没有才记缺口,无关类别连进名单都不许进。
缺口里 8 处是逐行失败路径(把失败写进结果项,没有日志):往那儿加 log.warn 就是 10-07
通知放大的同族事故(逐行 × 每任务 × 扇出 16 人),所以本轮只做实判据、不硬塞日志。
锚点正则只认 ASCII \[[A-Za-z0-9_.-]{3,}\],任务书写的 [静默降级] 匹配不上,约定改为
[silent-degrade],命名偏差记在任务书 §2。
mvn -o test -Dtest=CatchSilenceRatchetTest:Tests run 9, Failures 0, Errors 0。
|
2026-10-09 02:10:48 +08:00 |
|
huangzd1997
|
97ca6810f7
|
fix(护栏自证): 切片桩不冒充产品端点;版本闸门少一处异常控制流,把 catch 棘轮记回原基线
把这期后端护栏类并进"实跑档"以后,一次 mvn 就当夜逼出两处真红。两处都是测试件/我自己
上一笔提交的问题,不是产品逻辑错,但都必须改代码而不是改基线:
1) 上一版切片的桩控制器写了 GET /api/admin/users,与真 AdminUserController#listUsers
撞在同一条完整映射上。MappedPathProbe 把整棵 main 树的映射枚举进同一个
RequestMappingHandlerMapping,于是 ApiGuardCoverageBreachTest 先炸 Ambiguous mapping
(2 errors);把桩路径改成 /api/client/slice-ping、/api/admin/slice-probe 后又暴露第二层:
测试桩本身被当成"新增未设防端点"进判定 ⇒ 探针改为不登记测试夹具里的控制器
(按最外层类名 Test/Tests/IT 排除,main 树里这种命名的真控制器实测 0 个)。
分母守卫照旧有效:mapped.size() > 300 那条断言仍在,排掉桩不会把清单清成空的。
2) CatchSilenceRatchetTest 红的是我自己 9d762c55(20:25 提交)里那处
`catch (NumberFormatException overflow) { return null; }`:total 1002→1003、
不重抛 559→560。也就是说**那笔提交是带着一支红的护栏类交进去的**——上一轮我只把切片
纳入实跑分母,没把这支棘轮一起跑,所以"7 例绿"的读数过期了。
修法不是抬基线:版本号的单段长度超过 18 位本来就该按"判不出来"处理,于是用
MAX_SEGMENT_DIGITS 上限替掉 try/catch,判定走向逐字不变(仍是 return null ⇒ 不拒),
total 与不重抛都记回 1002/559,验收基线一格没动。RETHROW 下限 388、logOnly 172、
empty 56 三档本轮都没碰。
顺手改掉失败文案里的错算式(原写"= 验收基线 1000 + 1 处",实际那 2 处各自有出处)。
版本闸门本身仍未上线(现网 jar 是 12:3x 那版,9d762c55 在 20:25)⇒ 本改动零现网影响。
实跑:mvn -o test -Dtest=ClientVersionGuardContextSliceTest,ApiGuardCoverageBreachTest,
ApiGuardCoverageAuditorTest,ApiGuardCoverageAuditorWiringTest,CatchSilenceRatchetTest,
ClientVersionGuardFilterTest,BuildInfoLoggerTest
⇒ Tests run: 53, Failures: 0, Errors: 0 / BUILD SUCCESS(逐类 6/10/8/2/7/12/8)。
|
2026-10-09 00:23:14 +08:00 |
|
huangzd1997
|
305441b0bd
|
feat(护栏): catch 静默形状做进代码出口 + 待处理行缓冲不再谎报"已暂存"
整棵 src/main 有 1002 个 catch 块,其中 559 个不重抛、172 个块内只有 log、55 个空体——
约三成是"记一条日志就往下走"。这没法一次清扫,先把形状钉成只许减的棘轮:扫描器自己数分母,
并与一把独立口径(原始文件里 "catch (" 出现次数)逐文件对平,两者不等就红——词法若把真代码
当字符串吃掉,total 会变小而"≤ 基线"照样绿,这一步就是防那个。
两处按三类高危出口点名改成重抛:待处理行入缓冲失败原先静默返回,等于向调用方谎报"已暂存",
装配阶段少这一行却照样把任务标成 SUCCESS;取 pending 行数失败原先返回 0,而 0 在调用方眼里
是"缓冲区空了",真实含义是"Redis 没答话"。
RETHROW 那一格刻意钉成下限(388)而非上限:把吞异常改成重抛会让这一格上涨,钉成"只许减"
就等于拦住别人做正确的事。
|
2026-10-08 17:36:22 +08:00 |
|