huangzd1997
|
34f730d403
|
fix(phase-2): 任务活性与失败归因六格收口——在飞豁免/锚点分流/同源判据/回落一元化/巡检按账号分组
蓝图 docs/REFACTOR_PLAN.md Phase 2 的 ①②③④⑥ 五格+台账登记。⑤(failure_category)
未做,原因见文末,不以此笔冒充闭环。
① B74-02 卡死阈值二选一 → 选"扫描询问执行侧",没有抬阈值。
取证:B 侧 24h 批次 costMs 实测 22,988 / 85,298 / 939,172(单行批次 15.6 分钟),
A 侧今天 06:07:20 `STUCK_REQUEUE_EXHAUSTED jobId=23815 taskId=33179 stuckRequeueCount=20`,
06:08 复位恢复、09:20 同样两条=环。真因不是批次长:`startJobHeartbeat` 在父任务终态时
按 CR-08 刻意停止续期(stage=TERMINAL_STOP_RENEW),执行线程还在跑而 updated_at 冻结,
扫描每 5 分钟扣一次计数。冻结是**无限期**的,抬到 16 分钟只把 20 次计满从 100 分钟拖到
320 分钟,还把真遗骸回收拖慢 ⇒ 改为 TaskFileJobService 持内存在飞登记
(markInFlight/clearInFlight/isInFlight),扫描对"本机线程还在跑"的行不重排也不计数;
登记面随进程重启即空,遗骸回收形状不变。worker 侧登记在 activateRunningClaim 之后、
注销在 finally(finishAfterExecution 之后再注销)。
③ B74-03 判死谓词分流(先取证后动手,红线照办)。
取证:云助手只读 HGETALL+TTL 两枚 stall 键自洽——33179 pos="Linux后台抓取: 606/676"
与当前 progressText 逐字相同、at 距 now 16,058s(4.46h)、TTL 余 16,342s ⇒ 键 TTL 设定
32,400s = 9h = 窗口(180min)×3;33149 同样自洽。机制坐实:键一过期 evaluateAgainstSnapshot
就把起点重锚到 now 并直接 ADVANCING ⇒ 每 9 小时白送一轮完整豁免,沉默客户端永远封不了口
(11-02 那串"客户端仍在推进"即此形状)。改法:快照缺失/at 读不出与"指纹真变"分口,
重建锚点锚到**客户端最后一次上报时刻**(位置哈希自己的 at,此前无人读过),再走同一条
时间判据;客户端确在心跳时锚点仍新鲜 ⇒ 照旧 ADVANCING,判死线不提前(28919 教训在册)。
P0-C2 快照按"更新即登记"补 3 支:沉默超窗不得豁免/at 读不出走同一条判据/心跳中照旧放行。
② B74-01 三格:landed 与 isJudged 收成同源(mergeLlmRowsIntoChunks 认的"塞回分片"不是结论,
旧写法给只有 patentRisk 的行打 24h 标记 ⇒ 既不再是候选又无结论列);beginRowInspection 的
Redis null 由"抢到"改判"未抢到"(抛异常的真降级照旧放行,两条不同路);
deleteExtraTaskCacheKeys 原删的是从不写入的基键=删空气,改按 processed-rows:{taskId}:*
游标 SCAN 删真实逐行标记(用 SCAN 不用 KEYS)。新断言做过反向验证:摘掉 isJudged 闸门
即真红,不是白过。terminalizeRoundExhaustedRows 是按轮次上限终态化的唯一豁免,已写明。
④ B74-04 四台 JSON 回落收成唯一出处 TaskOwnerJsonFallback(result_json 正档先于 request_json;
店铺采集此前只读 request_json ⇒ 列缺失的 39 行 RUNNING 存量行在不同校验里算出两个归属)。
TaskOwnerReadSourceGuardrailTest 补回落面:四台不得再有本地回落写法,且顺序钉在那一处。
⑥ B73-03 巡检分组键按供应商账号折(供应商, 提取域, 排序后 query 的摘要——只落摘要,
链接里的账密明文不进日志/告警面)。青果整个账号只有 1 条通道,旧 moduleKey|channel|密文
让同一把 key 多开几枪就自己把用户的代理打成 channel_busy。另一半边界同样钉住:
非链接型凭据(LLM 密钥)照旧逐模块分组,否则拿 A 渠道的结论冒充 B。
台账:SourceScanTest 裸名 23→24(新增 TaskOwnerJsonFallback.java 这一枚),
与 2026-11-02 那次 22→23 同法逐笔写明是谁的哪一笔、为什么只能打在源码连线上。
门禁实录:mvn -o test 整量 **5256 例/0 失败/0 错误/19 skipped,BUILD SUCCESS**;
mvn -o test-compile rc=0;定向面另点过(56/88/34+70/63/104 例全绿);
本仓后端无 spotless/checkstyle ⇒ lint 与格式步如实登记、不是漏执行。
未做的一格(⑤ B51-R1 failure_category):取证显示 biz_file_task.error_message 的落库点
**没有单一出口**(LambdaUpdateWrapper.set(errorMessage) 15 处+setErrorMessage 若干,
合计约 25 处,且清 null 的分支也必须同步清列)。这不是"改一支方法"的量级,
拿半截双写冒充 Expand 会变成列恒为 NULL 的死代码 ⇒ 留作单独一笔,蓝图保持未勾。
|
2026-11-03 10:47:59 +08:00 |
|
huangzd1997
|
43240b9a10
|
fix(stability): 接手第三路未提交 WIP 并收口——卡死扫描跨实例归属守卫+补检预算闸
归属声明(不是本会话的产出,本会话只补了漏改的桩):这批改动在工作树里躺到
2026-11-03 00:47 未提交,f43ed6f1 的 commit message 已点名"同工作树另一会话的在飞件
(TaskFileJobService 卡死归属守卫、TaskResultFileJobWorker、DeliverySupport 补检闸及其
3 支测试)未卷入本提交"。用户 2026-11-03 拍板"接手收口后开 Phase 2",故原样入库。
WIP 本体(作者=第三路会话):
- TaskFileJobService:resetStuckRunningJobsDetailed 增 currentInstanceId 重载+
belongsToAnotherInstance 谓词——B 扫到 A 正在跑的 RUNNING 行不再翻 PENDING 也不再
+1 stuck_requeue_count(33149 爬到 20 判死线即此形状);不带实例 id 的旧入口保持
原行为,后管人工复位按钮不受守卫影响。
- AppearancePatentDeliverySupport:requestRecheckForMissingRows 自己吃
recheckMaxRounds 预算——行级轮次只在行真进批次才累加,"没有可比对图/载荷"的行
永远进不了批次,于是 33179 一个 1 行缺口六小时补了 70+ 轮。
- 配套:TaskFileJobOwnerHandOffTest +4 支(谓词边界/他机 RUNNING 不翻不判死/
自己的陈旧行照翻/无实例 id 入口原行为),StuckScan 与 FailureNotify 两支桩
改到新 3 参签名。
本会话补的一格:TaskResultFileJobWorkerTest 三支桩没跟着改到 3 参签名,
stuckSimilarAsinJobAtRetryLimitFailsOwningTask 等 3 例 PotentialStubbingProblem
真红(11-03 09:0x 实测)——改成 eq(0),eq(0),anyString() 并补 eq 静态导入。
验证:mvn -o test 定向 6 类(Worker/StuckScan/FailureNotify/OwnerHandOff/
ResultFileJobHandler/RequestSuppliedIdentityOutlet)rc=0 全绿。
|
2026-11-03 09:29:23 +08:00 |
|
huangzd1997
|
f43ed6f116
|
feat(task-interrupt): 任务「中断+继续」——在跑可停、部分表可下载、已中断可续跑
用户口径(2026-11-03,33179 卡 80%「正在提交检测」的救援出口):任务卡片加
「中断/继续」;中断后已完成检测的数据生成结果文件供下载,未完成行不再检测;
继续在原任务上续跑剩余行(断点续传,已检测行不重检)。
中断(POST /api/tasks/{taskId}/interrupt,鉴权镜像 retry:resolveOwnershipUserId
+归属校验,普通账号只能中断自己名下的任务;终态重按幂等 no-op):
- TaskHeartbeatService.markCancelledByUser:ACTIVE→CANCELLED 条件更新(词表走
TaskStatuses.FileTask 常量),写「用户中断任务,已完成部分可下载」+finished_at,
syncTerminalState 同步模块缓存与进度快照;客户端心跳拿到 notAlive 即协作停止
(app_client/maixiang 零改动,≤60s 自停)。
- LLM 批循环批间查终态即停:当前批跑完不再发新批(isOwningTaskTerminal)。
- 中断任务的组装跳过候选申领/LLM/补检,直接按已有行账出部分表(allowPartial),
状态保持 CANCELLED 不改写,只补行账缺口文案;cleanupResultFileJob 对 CANCELLED
任务保留分片/范围态/瞬态载荷(这就是「继续」的续跑点),常规交付照旧清理。
继续(retry 链路放宽 CANCELLED,全部在原任务上):
- retryInPlace 条件更新放宽 FAILED/CANCELLED;CAS 前经 ResultFileJobHandler
新钩子 onTaskResumed 清模块补检预算(AP:删 __recheck__ 哨兵键;不清则继续后
第一轮就被「预算耗尽」直接按部分表收尾,钩子抛错即中止不留半态)。
- 中断已交付过的:清 result.result_file_url/size(让位给新表)+把 SUCCESS 的
ASSEMBLE_RESULT 作业复位 PENDING(retry/stuck 计数清零、清错误与 finished_at);
FAILED 仍走既有 resetTerminalFailedForRecovery。
- 校验文案「只有失败或已中断的任务可以继续」;成功任务不可继续。
前端(用户端外观专利 Tab 先行,后端端点本身通用):中断按钮进当前/历史两个
动作槽(确认框说明「未完成行不再检测、已完成检测的数据会生成结果文件供下载」);
CANCELLED 显示「已中断」(判定先于 isResultPreparing,不掉「等待中」兜底);
重试按钮文案 CANCELLED→「继续」,继续的确认框警示部分结果文件将被替换请先下载;
轮询收敛集合与 keepPendingFileTask 补 CANCELLED。棘轮:前端 catch 块 310→311
(interruptTaskRecord 一支,两处 ElMessageBox 确认走 .then 两臂不新增 catch);
状态词表全走 TaskStatuses 常量。
测试:TaskHeartbeatServiceTest +4(CAS 落库+缓存同步/终态幂等/非本人 403/
任务不存在明确报错)、TaskInPlaceRetryServiceTest +3(继续复位+作业复位+
补检钩子只对 CANCELLED 触发/成功不可继续)、新增 AppearancePatentInterrupted
ResumeTest(3)(保留分片=续跑点/常规交付照旧清理/中断收尾不改写状态)与
AppearancePatentLlmBatchPipelineInterruptTest(2)(批间终态即停);后端定向
79+22 全绿。前端新增 appearance-patent-interrupt-continue.test.ts(9);npm test
1003/1003、test:mount 55/55、vue-tsc 零错;ops 快检 overall=pass(grep 需
Git usr/bin 在 PATH,两红格系本机 shell 环境非代码红)。
并发边界:同工作树另一会话的在飞件(TaskFileJobService 卡死归属守卫、
TaskResultFileJobWorker、DeliverySupport 补检闸及其 3 支测试、useLiveTaskBoard、
task-delete 三件)未卷入本提交;本提交不依赖其中任何符号(appendDeliveryGapMessage/
resetTerminalFailedForRecovery/registry.asMap 均在 HEAD 已在)。
|
2026-11-03 02:07:48 +08:00 |
|
huangzd1997
|
7f5437d012
|
feat(submit-gate): 缺 LLM 密钥的外观专利/相似ASIN 单在建单口当场拒
用户口径(2026-11-01):「没配置代理的不止是变体采集要拦,其他任务也是一样,包括 llm 密钥。」
这一支是服务端那半边——两把 LLM 密钥此前是**静默降级**:readApiKey 读空只打一条
log.warn,然后「保留原始行」把单子跑完、把表出出来,整列检测结论却是空的。
用户买到一张没检测过的结果表却看不出来,比一句「没配密钥」的失败更难发现;
而 UserSecretModule 早就把这两把密钥登记成 required=true(用户端必填),闸门只是把
这句声明变成会拦事的代码。
- UserApiSecretService#requireSubmitSecret:请求体带的密钥与库里存的那把,有一个非空即放行;
两侧都空当场 BusinessException(文案点名是哪把密钥、去哪配)
- 外观专利 AppearancePatentTaskService.parseAndCreateTask / 相似ASIN
SimilarAsinTaskService.parseAndCreateTask:闸门排在 Excel 解析与建单四段**之前**,
不解析、不落库、不占配额;userId 校验仍在最前(先判身份再判凭据)
- 用例:UserApiSecretServiceTest 3 支(两侧都空拒 / 带值放行且不读库 / 库存量放行)、
两支建单快照各 2 支(缺密钥不碰源文件不落库;正向对照验模块与请求密钥同值)
- 六支 SimilarAsinTaskService*Test 补 @Mock UserApiSecretService:@InjectMocks 缺该类型
会注进 null,闸门调用直接 NPE——这是把闸门接真后必须显式登记的依赖
- RequestSuppliedIdentityOutletTest 写类分母 126→128:2026-11-01「原任务重试」新增的两支
POST 端点(TaskRetryController / AppearancePatentController)都已接 resolveOwnershipUserId,
覆盖面变大不是放宽判据;该红是当时只跑四面闸门、没点后端整量留下的陈旧分母
后端整量 mvn -o test:5164 例(本笔改动 0 红;唯一一处红即上述陈旧分母,已随本笔抬正)
|
2026-11-02 00:33:58 +08:00 |
|
huangzd1997
|
0a467793ac
|
feat(task-retry): 失败任务改为原任务上重试 + 重试按钮(用户拍板)
用户口径(2026-11-01):失败不再自动克隆(一单失败几次就多几行结果),
改成「删除」旁边的「重试」按钮,在原任务上断点续传;自动重试也只复位原任务。
- 新增 TaskInPlaceRetryService:FAILED→PENDING,清错误/终态时间,代数+1,
保留分片/解析载荷/已检测标记;结果行清错误、组装作业复位(含卡死重排计数清零)
- TaskResumeService 自动重试改为调用原地复位(不再 cloneForRetry)
- TaskRetryEligibility 新增 DELIVERY(结果文件生成多次失败/卡死重排不重试)
- 新端点 POST /api/appearance-patent/tasks/{id}/retry;前端失败任务显示重试按钮
- ⚠ 本笔的 BrandAppearancePatentTab.vue 里另含他路在飞的「删除失败任务时一并删任务行」
两小段(同一文件无法分块提交),随本笔一并入库
- 用例:TaskInPlaceRetryServiceTest 2、TaskResumeServiceTest 19、Eligibility 9、
契约 8、前端 catch 棘轮 4,均绿
|
2026-11-01 00:30:51 +08:00 |
|
huangzd1997
|
91d36327f9
|
fix(phase-5.2): 消项 CR 第二轮 P1/P2/P3(通道/证据链/交付时序/后管证据页)
|
2026-10-31 21:12:18 +08:00 |
|
huangzd1997
|
a4e4456b50
|
feat(llm-arrears): 上游 LLM 欠费的提示落到任务界面并让货源链欠费即判死
现网两处叠加的洞:归因文案早在 2026-10-27 就写进了 biz_file_task.error_message,
但两支历史装配器只读结果行的错误、buildActiveItem 连任务级那条都不带,用户在列表
里只看到「失败」两字;货源链更是只有行级归因、任务停在 RUNNING,采集端读不到
心跳的 alive=false,就继续为永远进不了 LLM 的行按次付费买出口 IP。
- 新增 modules/task/service/TaskVisibleFailureNotice:界面出口的单一判据。认出本仓
写下的欠费/密钥失效归因就换成 TASK_TERMINAL_GUIDANCE 那句中文动作,库里原文一字
不改(英文响应体与上游账户号不进界面,对齐 RawExceptionMessageSinkGuardTest)。
刻意不用 TaskRetryEligibility.BALANCE 当显示判据——那一类还涵盖 jikip 代理欠费,
拿它换句子会把「出口没钱」说成「LLM 账户欠费」,正是 10-27 要避免的误导。
- 两支 HistoryAssembler 共用该出口:行级为空时兜底任务级归因,欠费压过行级副产品。
- 货源链补 terminalizeOnFatalLlmFailure(口径逐字对齐外观专利):判据取 BALANCE、
非终态才写、可重入;并让 finalizeTask 不许用空/二次错误串盖掉整单结论。
- 用例:TaskVisibleFailureNoticeTest 11 例、SimilarAsinLlmArrearsTerminalTest 16 例
(含 502/429/连接失败/心跳超时不许误杀、已终态不改写、收尾覆盖保护、接线源码钉子),
两支装配器各补 4/3 例。后端整量 5,127 例/0 失败/19 skipped。
|
2026-10-31 17:34:54 +08:00 |
|
huangzd1997
|
7469c710d7
|
feat(collect-channel): 采集执行方按单判定并随 /parse 落库
「这一单交本机还是线上」原先是全局 yml aiimage.collect-routing.local-enabled,
一台服务器一个值,把同机所有账号捆成同一个执行方:本机开着的用户被迫走线上,
跑 Linux 兜底的用户也没法把某一单留在本机。现改为建单时逐单登记
biz_file_task.collect_channel(V183,可空=按模块默认),全局开关只留兜底窗口。
- 列可空且不回填:空值按模块默认解释,APPEARANCE_PATENT/SIMILAR_ASIN 读作 LOCAL、
其余读作 ONLINE,与撤掉的 AIIMAGE_COLLECT_LOCAL_* 出厂值逐字节等价,
历史单与未升级前端行为不变。
- TaskRetryCloneSupport.buildChild 必须继承通道:原单选了线上,重试掉回模块默认
等于悄悄换执行方。
- CollectChannel 用逐值比对而非 valueOf+catch 判「不可识别」:后者会把静默 catch
总数顶过 CatchSilenceRatchetTest 上限 1057。
- 两支建单快照 golden 随 collect_channel 键重建(只多出 collectChannel=null)。
|
2026-10-31 12:33:09 +08:00 |
|
huangzd1997
|
457af3607f
|
feat(user-secret): 密钥设置支持 LLM 渠道与代理供应商切换
- 用户密钥新增 channel 列(V180):LLM 行存渠道 longtaitou/t8star,代理行存供应商
qingguo/jikip;存量与新建默认均回填 t8star/jikip(默认仍走贞贞与极客,手动可切)
- 外观专利/货源查询按任务归属用户的密钥渠道路由 LLM 主机(渠道经 SecretUsageContext
下到工作线程,不逐层改签名);切到龙抬头时模型映射 gemini-3.1-flash-lite 并补
enable_thinking + thinking_budget=medium(对齐贞贞现网口径),检测链路刻意不思考
- 代理检测按供应商解析:青果 code 为字符串、隧道端点支持 域名:端口、
NO_AVAILABLE_CHANNEL 归为可重试;青果只验提取成功(账密只在客户端本地)
- 密钥设置页:每个模块加渠道分段选择、代理卡加供应商选择与青果 Authkey/Authpwd
(只存本机,不上报),切换渠道未重填密钥时拦住保存;换号继承带渠道与供应商
- 后管密钥管理三列显示渠道/供应商标签
|
2026-10-30 04:00:38 +08:00 |
|
huangzd1997
|
eaab173ae9
|
fix(collect-routing): 后端整量 5 处红收口(身份出口/归属棘轮/中文文案基线)
全量 mvn -o test 抓到 3 个测试类 5 处失败,均因本次恢复链引入:
- queue-payload 恢复时缺 resolveOwnershipUserId ⇒ 身份出口判红;接上会话出口后
boundRead 分母 63→64(不是放宽,是新增一条已接出口的 handler)
- 恢复的本地激活在 TaskService 里手抄 !MODULE_TYPE.equals(...) ⇒ 手写归属文件数 15→16;
改为复用底座 requireSubmissionTask(模块校验口径一致,棘轮不涨)
- 相似ASIN activate 新增「已切换后台自动执行」文案 ⇒ 中文出口 61→62(已在常量注释登记)
mvn -o test:5032 例 / 0 失败 / 0 错误 / 19 skipped。
|
2026-10-29 21:38:31 +08:00 |
|
huangzd1997
|
39c01ada44
|
feat(collect-routing): 专利/货源本地采集开关与 Linux 兜底窗口
外观专利与相似ASIN默认「本地采集」,由页面推本机客户端;本地推了没人领时
PENDING 超过 linux-fallback-minutes(默认 30 分钟)才允许 Linux 内部认领接管,
避免本地机全关时任务无限排队(PENDING 已不再按时间判死)。
- 新增 aiimage.collect-routing.local-enabled 与 GET /api/collect-routing
- 客户端兜底拉取只认本地模块;内部认领对本地模块按兜底窗口二次过滤
- 外观专利 activate 在本地模式下恢复 PENDING→RUNNING 条件更新(与认领互斥),
关闭时保留后台拒绝语义;相似ASIN 关闭时明确拒绝「点启动」
- 恢复 GET /api/appearance-patent/tasks/{id}/queue-payload(本地推送取载荷用)
- /api/collect-routing 进用户态守卫名单,两处前缀计数基线 15→16 / 23→24
|
2026-10-29 20:27:53 +08:00 |
|
huangzd1997
|
217f5eec62
|
feat(phase-5): AC-19/AC-21 读路径时间窗与 keyset、心跳瘦读、菜单缓存、去 RAND、MDC 与补检限流
AC-19(P1-B1/B2/B3/B4)
- 任务中心(P1-B1):TaskCenterQueryService.tasks() 不带 startTime 时补 90 天默认窗口
(startOfDefaultWindow),不再把 null 透传给 12 模块 UNION 扫全历史;selectTaskPage 的
`LIMIT ? OFFSET ?` 改成 (createdAt,id) 游标,深翻页的 skip 挪进新语句
selectTaskPageAnchor——它只投影 (id,createdAt) 两列。宽/窄两份 UNION 共用同一对筛选片段
(taskFilterT/taskFilterB),锚点与页查询筛的行集在结构上不可能漂;页码语义、total、
响应结构与前端全部不变。
- 关键词抽词(P1-B2):selectRandomUnused 不再 ORDER BY RAND()(全表 filesort)。
服务层先 countHit 数命中集、再把窗口起点掷在 [0, total-limit],按 k.id 有序取一段后
在内存洗牌。分布口径变了(连续 id 的一段 vs 逐行独立随机),已如实登记。
- 心跳(P1-B3):selectFileTask 只捞 id/moduleType/status/userId/updatedAt 五列;
需要整实体的模块由新 SPI 默认方法 heartbeatNeedsFullTaskEntity()(默认 true=保守)
声明后补一次主键读,collect-data/similar-asin/appearance-patent 三个只用
task.getId() 的显式豁免。半行进 saveTaskCache 会写出坏缓存,比多读一次列难查得多。
markInterrupted 改走整实体读(要 errorMessage 并同步模块缓存/快照)。
- 权限菜单(P1-B4):loadMenus 加 (companyId,menuType) 短 TTL(30s) 快照缓存,
五处目录写路径 create/update/delete/reorder/copyTreeFromTemplate 全部写时失效;
只缓存目录本体、不缓存用户授权行——撤权必须下一请求就生效。
AC-21(审计 §5/PERF §6)
- RequestTraceFilter 把已解析却只进日志参数的 requestId 写入 MDC(缺失写 "-"),
finally 里 MDC.clear()(tomcat 线程复用,不清就把上一条的 id 带给下一条日志);
logback-spring.xml 的两条 pattern 默认值 + application.yml 显式设的 file/console
两条同批改带 [%X{requestId}]——本文件那两条会盖掉默认值,漏一处线上照样看不见。
- AppearancePatentDeliverySupport.requestRecheckForMissingRows 的补检轮 WARN 按任务限流:
5 分钟窗口内首条 WARN(带 suppressedInLastWindow 汇总),其余降 DEBUG。刻意不吃
recheckRounds/countRecheckRound 那对轮次计数——那是 scheduleFallbackRecheck 的补检预算,
从日志路径再计一次会让"限流"吃掉业务预算、任务更早被判补检耗尽。
"补检排不上队"那条不受限流(要人处置的信号不许压)。
契约激活与判据变更
- PendingPhase5ReadPathTest 5 例、PendingPhase5LogVolumeAndMdcTest 3 例全部去 @Disabled 转绿;
后者预置的 logback 路径层级写错(mainSourcesRoot() 已是 src/main/java),激活时修正,
并补一条 application.yml 的 pattern 判据(只增不减)。
- 新增 AppearancePatentRecheckWarnThrottleTest 3 例:钉实跑读数(6 轮只留 1 条 WARN + 5 条
DEBUG、按任务隔离、排不上队仍出声),形状尺子之外的行为证据。
- TaskCenterQueryMapperSqlTest +2 例(锚点窄投影、游标收窄两分支)、
TaskCenterQueryServiceTest +3 例(默认窗口、第一页不付锚点钱、页码越界返回空页)。
- 三处既有判据按新契约反转,一支没注释掉:selectTaskPage 的 `LIMIT ? OFFSET ?`→游标、
分页参数绑定数 2→1/16→18/8→7;tasks() 三处 isNull()→notNull()(默认窗口生效本身成为断言)。
- 棘轮登记:SQL 分层语句总数 143→144(新语句点名),MigratedSqlEquivalenceTest
XML_SELECT_TOTAL 99→100、LEDGER_ROWS 85→84、LEDGER_SELECTS 60→59——
selectTaskPage 那一行整条摘出基准账本并点名进 NOT_MIGRATED,因为基准是"搬迁前的注解原文",
改写它等于让等价性测试替新 SQL 背书。
- application.yml 走 hash-object+update-index 只提交本轮 pattern 那一格(4/2),
另一路会话在飞的 client-task-pull 注释格原样留在工作树未提交。
读数:后端 mvn -o test 5,021 例/0 Failures/0 Errors/19 skipped(6:21 min,
较 Phase 4 的 5,013 净增 8 例=激活 8 例预置后新增 8 例判据);fat jar 实起,落盘行带出
`[main] INFO [] c.nanri.aiimage.AiImageApplication - Starting...` 证明 MDC 位真在渲染;
本机无 MySQL ⇒ Hikari 反复 Starting、Tomcat 未监听,请求级 requestId 关联与现网四样本顺延 Phase 6。
|
2026-10-29 16:32:46 +08:00 |
|
huangzd1997
|
e08b5369d7
|
fix(appearance-patent): 上游余额欠费即判任务终态,停止为空转的行烧出口
B46 那一笔(f3445c21)只做到「行级一次就停、归因写对」:撞上上游 403
insufficient_user_quota 后不再跑满 3 次重试,任务本身仍停在 RUNNING/WAIT_LLM
等 Python 继续回传分片。采集端(maixiang ap_worker)只看 /task/heartbeat 的
alive,读不到终态就继续为剩下的行按次付费买出口 IP——而那些行永远进不了 LLM,
钱白花。这一笔补上 Java 侧缺的那半步:欠费即把任务落终态 FAILED,心跳随即
回 alive=false,worker 下一跳收手。
- 判据只认 TaskRetryEligibility 的 BALANCE 类(欠费 + 密钥失效),复用现成分类器
而非再抄一份字面量表;连接不可达 / 5xx / 429 / 抓取缺口一律照旧继续或按已有
结果交付,判宽了就是拿用户整单给一次网络抖动陪葬。
- 停手点放在批管线的作业执行线程(LLM 批次就在这里跑),不在心跳线程;识别到
欠费即停止后续批次,并回调宿主落终态(FileTaskMapper 与收尾口径在宿主手里)。
- 写终态前重读库里现状态:已 SUCCESS/COMPLETED/CANCELLED/FAILED 的一律不动,
因此可重入,多入口命中也只写一次。
- 终态文案 = 生产者原文(客户端欠费归因 + 上游 lastErr)+ 可执行动作,原文一个
字都不重写;不出现「请稍后重试」,不把欠费说成临时抖动。
|
2026-10-27 16:03:35 +08:00 |
|
huangzd1997
|
07f973d9df
|
fix(tasks): 单片/单文件读不到跳过它,缺数据不许冒充已收齐
三处"一颗坏项拖垮整批"与一处假绿本体:
- BrandTaskStorageService:一片载荷读不到就整份聚合丢掉,而三个调用方
(finalizeTask/abort/tryRecoverCompletedRunningTask)都没有就地 try;改逐片跳过长
WARN,并把 receivedChunkCount/completed 的判据从 chunks.size()(DB 行数)改成
真正读到的片数——拿行数比 chunkTotal 正是"118/119 行没数据仍判已完成"的形状;
解析缓存与汇总状态两处同型"整批抛出"一并改成逐条跳过。
- AppearancePatentLlmBatchPipeline:候选收集跑在批循环之前,一抛就走不到循环体内
那道 finally releaseRowInspection,本轮已申领的行要挂满处理中 TTL(15 分钟),
且 terminalizeRoundExhaustedRows 跟着不执行(轮次到顶的行因此永不判死);改逐片容错。
- TransientPayloadStorageService:跨实例判据枚成 public 常量并提供 cause 链走法。
resolvePayload 会把真实原因 rewrap 成「<errorMessage>: <pointer>」,消费端只摸顶层
消息时「only exists on instance=」「does not exist」两处判定恒 false——跨实例留痕
从未下过笔、"跳过该分片"分支是死代码。消费端(ChunkPayloadSupport/
HistoryAssembler/ResultRowReader)全部改走共享常量+cause 链。
- SimilarAsinHistoryAssemblerTest 的假绿桩删除:改前它桩的是生产者早已不再产出的
英文旧串,断言照旧绿;现在跑真实 resolvePayload 取异常(只 mock RustFS 边界),
改前 15 跑 1 红、改后 15/15 绿。
- SimilarAsinStaleReopenSupport:客户端卡死尾句枚成常量、整句文案唯一出口,生产者
与重开白名单共用;此前只是碰巧被前缀命中,生产者一改前缀就会"永不重开"。
|
2026-10-27 15:09:41 +08:00 |
|
huangzd1997
|
f3445c21c8
|
fix(llm): 余额耗尽按「余额欠费」归因且不再重试进冷却
- 新增 LlmBalanceGuard:识别 insufficient_user_quota 等上游余额/额度字样
- SimilarAsin/AppearancePatent 客户端命中后一次就停,不落进不可达/冷却分支
- 单测:识别口径 3 例 + 两客户端各 1 例(只发 1 次、文案含余额欠费)
|
2026-10-27 10:04:03 +08:00 |
|
huangzd1997
|
1d4b4decf3
|
fix(appearance-patent): 结论合成识别否定措辞与夹空白
标题/外观两列都写「无侵权」时,结论仍可能因模型回包含「不侵权」「未发现明显…侵权风险」或「无侵权」中间夹空白/零宽字符而被 contains("侵权") 反判。先剔除空白与零宽字符,再按否定措辞优先判定,并补端到端回归用例。
|
2026-10-26 13:30:10 +08:00 |
|
huangzd1997
|
e265c188f7
|
fix(appearance-patent): 代理缺失回填与任务前置提示
- 本地代理回填兼容旧版全局 proxy_url,补报成功后重拉服务端快照
- 创建任务前检查服务端代理,缺失时弹窗拦截并引导配置
- 商标查询失败的真实原因写入结果原因列,不再只显示查询失败
|
2026-10-25 21:28:26 +08:00 |
|
huangzd1997
|
fcb6b5f545
|
fix(release): AP 部分缺口出表、平台自费计次与工作台预签名 TTL
- AP 抓取缺行不再一律判死,按覆盖率判定;≥95% 出表成功并保留缺口提示
- 无归属代理提取记 0 号平台自费桶,后台可见并推管理员日告警
- 工作台安装包预签名从 180s 提到可配置 3600s,避免慢网上传在途过期
|
2026-10-25 14:51:57 +08:00 |
|
huangzd1997
|
583dad92ec
|
fix(task): 终态任务保留失败兜底出部分结果
B28 的终态守卫把父任务已失败的结果作业直接标终态;terminal_callback_at 一打,
stuck 扫描就再也捞不到它,fallbackAssembleOnFailure 不再执行,失败任务永远没有结果文件。
改为判死但保留兜底回调,由归属实例收口;已终态任务的补检直接放行,按已有分片出部分结果。
|
2026-10-25 14:28:57 +08:00 |
|
huangzd1997
|
5928072c6a
|
fix(backlog): 品牌出口统一、join 截止与进行中任务补回
- BrandLabel 出口守卫扩到全仓 entity.setBrand,撞款/去重/品牌库统一清洗
- FutureDeadline 替换五处无界 join,回传口锁等待降为 1s
- 采集/跟价/外观专利 history 补回窗口外进行中与续跑任务
- 工作台客户端版本强制单调;catch 棘轮按新增出口逐处记名
|
2026-10-25 13:27:46 +08:00 |
|
huangzd1997
|
9c4905c94e
|
feat(cost-guard): 代理/LLM 损耗监控与账号级任务暂停
- 每分钟扫描用量增量/日累计,异常置暂停闸并推站内通知
- 品牌补测、跟价派发、外观激活、品牌检测与两个 LLM 客户端统一接闸
- 同一代理/LLM 密钥被 3 个以上账号共用时给出用户提示
- 品牌检测出口拒绝批级熔断;LLM 同 key 共享并发/间隔/429 惩罚
- V170 新增 biz_user_task_guard
|
2026-10-24 10:50:20 +08:00 |
|
huangzd1997
|
09dfb01f9c
|
feat(unreachable-cooldown): 连接层不可达客户端级冷却,四家判定下沉共用
BACKLOG B24(窗长 300s 已拍板):连续 2 次连接未建立即对该 host 进
冷却窗,窗内调用零探针快速失败(归因文案与调用内短路逐字一致);到期
后下一条真实调用兼作探针,失败重进、成功恢复。isConnectFailure 四处
副本(BrandCheckClient/AppearancePatentLlmClient/SimilarAsinLlmClient/
TaskOwnerForwardService)下沉 common/retry 共用。三家客户端接入同一
冷却表(两个 LLM 客户端共用 ai.t8star.org 一格,16890 独立一格),
窗长可配(0=关闭退回调用内短路)。另修 CollectDataBrandBatchFilter
首批预算竞态(1ms 预算下 GC 停顿误切首批,照 BrandCheckClient 首轮
不掐契约补 start>0 守卫)。变异验证:冷却禁用 6 例判红;定向 47/47 绿。
|
2026-10-23 20:58:32 +08:00 |
|
huangzd1997
|
b65b709700
|
fix(appearance-patent): LLM 连接层故障短路,行级写明服务不可达真因
invokeChat 的重试阶梯原先不区分故障层:网关根本连不上也把 llmRetryTimes
打满。照 BrandCheckClient 的 SERVICE_UNREACHABLE 同口径补短路——同一次
调用连续 2 次连接未建立(ConnectException/NoRouteToHost/UnknownHost,
顺 cause 链)且中间无一次成功 ⇒ 停止重试,行级原因写成「LLM 服务不可达
(连接未建立,非本行数据问题)」。读超时与 5xx 故意不算,非连接失败
清零证据。结论一字不变,差别只在耗时与归因文案。
新增 2 例互为非零对照:死端口必须在第 2 次连接失败处停(第 3 次不发);
连得上但 5xx 要跑满整个阶梯。
|
2026-10-23 18:00:34 +08:00 |
|
huangzd1997
|
dbe35dfcb5
|
refactor(phase-4): 解散万能 util——similarasin/util 与 common/util 按域归位
similarasin/util 7 支:
- 域内件(SimilarAsinImageEmbedder/PuzzleImageMerger/SimilarAsinLogSupport/
BoundedImageCache)并入既有 service/support 先例;
- 通用 Excel 件(ExcelCellImageWriter/WpsCellImageWriter)归 common/excel;
- 仅测试用的 SimilarAsinPerfFixture 移出生产源到 src/test。
common/util 13 支解散为四个关注点包:excel(读/写/单元格图片)、
text(BrandLabel/SecretMasking/UserMessages)、task(行过滤/分组传播/判死文案/
删除台账/锁跳过留痕)、support(LRU/下载头/线程池)。老 util 目录不再存在。
纯粹的包搬迁与 import 重写(diff 219 增 / 217 删),零行为改动:
搬迁前后由 SimilarAsinCreateTaskSnapshotTest 的建单入口 golden 对撞相等;
新增 MovedComponentScanTest 钉住三枚 @Component 仍被根包扫描发现、老包零残留。
|
2026-10-23 00:59:53 +08:00 |
|
huangzd1997
|
9c07b28a94
|
fix(task-lock): LLM 响应体补时间界+任务锁跨线程可放与持封顶,掐掉 11 小时无主锁
现网 31888/31856/31725 等任务永久停在 RUNNING,读数链是:
java.net.http 的请求超时只封顶到响应头,响应体 read() 走 ArrayBlockingQueue.take(),
上游只发半截就发呆时这一读永久 park(12 条 similar-asin-llm-row 虚拟线程全停在那)
⇒ 无超时的 join() 把 task-queue 线程一起挂住 ⇒ 它手里的 task:similar-asin:<id>
被看门狗无条件续期(实测 11.3 小时,放过留痕 0 次)⇒ 该任务每次结果回传判 40902
(两小时 2370 次),且 12 个 taskQueueExecutor 许可被占满、44 条排队。
两道界各配非零对照:
- HttpClientPool.readBodyBounded 把响应体读取挪进一次性虚拟线程、由调用方拿预算去等,
到点中断+关流退成可重试 IOException;三处同型 readResponseBodyBounded 改为委托它。
- LockHandle 直接绑住 HeldLock,任意线程 close 都真放手(旧实现按取锁线程的 ThreadLocal
找锁,跨线程 close 静默 no-op 就是无主锁本体);加持锁封顶 max(30 分钟, 6×TTL),
越界停止续期并 error 留痕,让键在 TTL 内自然过期。
裸跳过例外台账随之清空:它保的正是那条被现网证伪的静默 no-op。
门禁:干净 worktree(HEAD 97312821+本笔)后端全量 4686 例 / 0 红 / 17 skip / rc=0。
|
2026-10-22 15:49:24 +08:00 |
|
huangzd1997
|
6d52b95d85
|
fix(task-board): 任务卡片假死自救——轮询失败退避重试+面板刷新按钮+补检轮进度文案
task 31769:外观专利任务后端 18:08 已 SUCCESS,但页面卡片冻在「正在组装 xlsx 92%」
一天多——Patent 轮询配的 propagate 让一次瞬时错误永久杀死轮询,且无自救出口。
- useLiveTaskBoard 摘除 pollErrorMode:失败一律吞掉重试,连续失败按倍数降频(封顶 5x)
- TaskCenterPanel 头部新增「刷新」按钮,外观专利/货源查询两页接上(强拉 history+dashboard)
- 补检轮触发时进度文案改「有 N 行未完成检测,补检中」,不再停在「正在组装 xlsx」假死
- 回归:AppearancePatentRecheckProgressMessageTest+task-board-poll-resilience.test.ts
|
2026-10-22 15:34:36 +08:00 |
|
huangzd1997
|
3413904d5f
|
feat(task-retry): 失败任务克隆重试,最多 3 代并跳过欠费/宕机
- 废弃只复制 request_json 的空壳续跑:三类任务的解析输入都在模块侧状态里,
线上历史 19 条续跑因此全部失败;改为由 ClientTaskRetrySpi 克隆任务头 +
采集明细 / 解析 scope state / 源结果行,新任务直接可执行。
- 不可抗力不重试:LLM 密钥或代理 IP 欠费、服务宕机、账号自动登录失败。
- 新增内部回填端点 POST /api/internal/tasks/retry-failed(内部令牌,
dryRun 默认 true),用于补扫 30 分钟窗口之外的历史失败。
|
2026-10-22 08:00:49 +08:00 |
|
huangzd1997
|
4d70a0d3f8
|
refactor(phase-3): 3A 拆薄第十三笔——AP 剩余五簇出件,服务 1127→750(<800 达标)
- 新落五件:ChunkPayloadMerger(CAS 合并)/LlmSubmissionSupport(提交调度+凭据)/
StaleTaskFinalizer(判死+超时恢复)/GroupingSupport(解析分组)/TaskRecordSupport(删除下载激活)
- 非事务回传支并进 ChunkSubmissionSupport.receiveWithoutTransaction(逐字搬移)
- 归一/首非空/基 id 改吃 AppearancePatentRowNormalizer,登记过的重复实现退场
- 状态标量改吃 TaskStatuses.FileTask(状态词表棘轮 70 不涨)
- 手写归属谓词文件数 16→15 是拆件真下降,棘轮同步登记(阈值 ≤130 未放宽)
- SourceScan 面数 39→44 / support 16→21,五枚新件逐枚 anyMatch 点名
- 等价:18 段符号归一逐行对撞,14 段 EQUAL,4 段仅登记过的回调/util 替换
|
2026-10-21 09:30:17 +08:00 |
|
huangzd1997
|
7da9311265
|
refactor(phase-3): 3A 拆薄第十二笔——AP 解析簇出件,服务 1409→1127
parse 聚类 12 段整体进 service/support/AppearancePatentParsePipeline(471 行):
parseAndCreateTask 主体 + parseWorkbook/statusHeaderName/hydratePromptFields/
isAppearanceResultWorkbook/hasHeader/normalizeDisplayId/mergeHeaders/
buildAggregateScopeKey/buildAggregateSourceFilenameLabel/buildRowToken/elapsedMs,
ParsedWorkbook/ParsedAppearanceRow 两记录随件;宿主能力走 5 接口 + Function/Consumer/
Supplier 回调,groupRowsByBaseId 整枚直传不抄第二份。
等值证明:12 段符号归一逐行 diff 全部 EQUAL(elapsedMs 补 static 是唯一形状增量);
本簇无按名反射点名的入口(全测试树 grep 核实),未留壳;状态字面量改吃
TaskStatuses.FileTask.PENDING。SourceScan 面数 38→39、support 15→16 并逐枚点名。
门禁:test-compile rc=0;定向(AP+十把守卫)355/0 红/2 skip;后端整量单跑
4617 例/1 红/17 skipped——红是 CatchSilenceRatchetTest 扫到另一路会话改
BrandCheckClient 的中间态(total 1008>上限 1004),其落盘后当前树实测 997、
单跑该类 9/9 复绿;本笔 catch 净增量 0(服务 4→4、新件 0)。ops ruff 全绿。
真机启动验收本格仍欠(本机无 MySQL/Redis 监听)。
|
2026-10-21 01:17:54 +08:00 |
|
huangzd1997
|
cdef922251
|
fix(brand-label): 品牌标签清洗抽公共件,六模块读写两端统一过出口
PublishBrandLabel 从 publish 私有件搬入 common/util/BrandLabel(三条守卫尺子随迁:
唯一副本、实体写出不许绕过、解析端不许重复实现),品牌列的读入与出件两端都走这一处。
读入端接上:asincache 缓存落库、invalidasin 人工黑名单(先洗再判空——键对不上是静默失效,
比脏值出件更难发现)、appearancepatent resolveBrand(两条取值分支同一个串)、collectdata
入库、shopdatacrawl copyRow/sameRow/rowDedupKey(键与值分家会让同一行跨分片重复出件)、
撞款解析与 re-baseline、dedupe 按表头名只洗品牌列。
写出端接上:publish/similarasin×2/appearancepatent/collectdata/撞款 csv+xlsx/shopdatacrawl。
rows-snapshot golden 里品牌格去掉首尾空格:正本 strip 自 2026-10-08 就含 trim,
Java/Python/MySQL 三处同形,不是这次新加的行为。
门禁:后端 mvn -o test 4594 例 0 红。BrandTaskService(含四张 sheet 出件与解析端匹配)
因同仓另一路在飞改动未动,见 docs/audit/BACKLOG.md B5。
|
2026-10-20 22:35:25 +08:00 |
|
huangzd1997
|
e855801237
|
refactor(brand-check): 归属用户读取下沉为 SecretUsageContext.currentUserId()
上一笔在 AppearancePatentLlmClient 里就地取上下文(+6 行),把那支已进超长点名
台账的文件从 1465 顶到 1471,可读棘轮按对象判红。改为未入册的 SecretUsageContext
提供一个静态访问器(含「无上下文就不该打上游」的口径),调用点回到一行——该文件
现在 1464 行,比基线还短一行。AP/品牌相关 273 例全绿,test-compile 零错误。
|
2026-10-20 20:54:47 +08:00 |
|
huangzd1997
|
6c14f29a87
|
feat(brand-check): 品牌检测按任务归属用户取代理并计用量——三处调用接入
- BrandCheckClient 契约扩展:构造器收 UserApiSecretService,check/checkAll/
checkTitleText(s) 全系带 userId,请求体新增 user_id + proxy_url(proxy 取自
用户密钥库 module=proxy);响应新增 reason/retryable,retryable=false(供应商
拒付、用户没配代理)当场停重试阶梯并短路整批
- 三处调用方接入:CollectDataService 品牌过滤、CollectDataBrandRecheckScheduler
补测(markAttempted 带真实原因)、AppearancePatentLlmClient 标题查标(取
SecretUsageContext 归属用户)
- 用户未配置代理:整批本地定论「用户未配置代理」,零 HTTP,不再有平台钥匙兜底
- 测试迁移:15 支测试文件按新契约迁移(3 参构造、userId 实参、BrandCheckBatchResult
第 4 位 reason、Mockito 匹配器加宽);HTTP 类测试 stub findPlainValue 非空代理
以绕开零 HTTP 短路。13 类 119 例全绿(1 skip 为既有快照写盘门),test-compile 零错误
|
2026-10-20 18:14:52 +08:00 |
|
huangzd1997
|
492a27270a
|
refactor(phase-3): 3A 拆薄第十一笔——AP 结果作业与出表出件,服务 1827→1409
|
2026-10-20 17:58:54 +08:00 |
|
huangzd1997
|
3a22267b0d
|
refactor(phase-3): 3A 拆薄第十笔——AP 交付闸门与补检出件,服务 1942→1827
|
2026-10-20 16:49:59 +08:00 |
|
huangzd1997
|
56e5a58b18
|
refactor(phase-3): 3A 拆薄第九笔——AP 回传分片 prepare/persist/scope 出件,服务 2161→1942
|
2026-10-20 15:54:13 +08:00 |
|
huangzd1997
|
421d9da1b3
|
refactor(phase-3): 3A 拆薄第八笔——AP 进度与视图组装出件,服务 2377→2161
G 聚类(看板/历史/批量进度、文件构建进度百分比与快照落库)原样搬进
AppearancePatentProgressSupport;四个公开入口与 saveFileBuildProgress
保留同名薄委托。SourceScan 面数 34→35、support 11→12 并点名新件。
|
2026-10-20 15:23:06 +08:00 |
|
huangzd1997
|
a765468a9f
|
refactor(phase-3): 3A 拆薄第六七笔——AP 载荷与结果行读取出件,服务 2801→2377
I 聚类(解析/分片载荷组装、读取、事务后删除)进 AppearancePatentPayloadSupport;
H 聚类(回传分组展开、解析行计数、分片载荷读取、分页结果行与行键口径)进
AppearancePatentResultRowReader。归一、归属、分组、afterCommit 与解析载荷读取
仍由服务回调交出。SourceScan 面数 32→34、support 9→11 并逐枚点名新件。
|
2026-10-20 15:11:53 +08:00 |
|
huangzd1997
|
4bcce9d534
|
refactor(phase-3): 3A 拆薄第五笔——外观专利 LLM 批管线出件,服务 3135→2801
B 聚类(候选收集、批调度、轮次判死、结果行合并、批计数)原样搬进
service/support/AppearancePatentLlmBatchPipeline;读分片、分片合并、
心跳、封口判定仍留在服务侧,以回调交入。四枚同名入口保留为测试
按名反射的接缝;SourceScanTest 面数 31→32、support 8→9 并逐枚点名新件。
|
2026-10-20 14:03:18 +08:00 |
|
huangzd1997
|
c8fc8c619b
|
fix(appearance-patent): 三条补检日志别再冒用「判死」措辞——被推送闸门当场抓住
pre-push 闸门(四面)判红两格,两格同因、且都是本会话前三笔自己添的账:
新写的 log.warn 字面量里带「判死」,但那三条说的是补检调度,不是任务判死——
交付缺口补检排不上队,转判死出口按补检预算处置
判死出口补检重排未接上,按已有结果交付
判死出口触发补检轮
`_prod_watch.py` 的告警签名是 ('任务判死', '改判死|接管判死'),而
test_deadjudge_signature_is_precise 要求每条含「判死」的 java 日志要么被签名算成死、
要么挂 BY_DESIGN 标记。这三条两头都不沾 ⇒ 签名与 java 措辞脱钩,巡检会把补检调度
报成任务判死(正是这条尺存在的理由:告警面宁可少报也不能错报)。
改法是动措辞、不动判据:三条日志与相关注释统一改用本仓既有词汇「失败兜底出口」
(fallbackAssembleResultFile 的 javadoc 一直这么叫),签名与放宽闸一格没碰。
复跑:test_deadjudge_signature_is_precise 6 passed;ops 整量 500 passed(正好踩下限);
AppearancePatent* 258 例/0 红 BUILD SUCCESS。
⚠ 另记本会话一处操作失误:前两次 git push 我误判成"卡在鉴权"各杀了一次,实际是
pre-push 四面闸门在正常跑十几分钟(客户端 674s/用户端 410s/后端 367s/后管 275s)。
被杀的只是我自己的门禁时间,闸门没被绕过——第三次是让它跑完才拿到这两格红的。
|
2026-10-20 02:26:37 +08:00 |
|
huangzd1997
|
04bc7ee5e7
|
fix(appearance-patent): 未完成检测的文案不再替系统断一个没判过的原因
NOT_INSPECTED_TEXT 原来写「该行未完成检测(任务提前结束),重新运行可补检」。
括号里那句归因从来没被判过:classify() 只读得出"三列没给出可用结论"+"行上有标题或图片",
它分不清任务中断、载荷读不回来、还是补检被自己的重试预算挡掉这三种死法。
现网 2026-10-19 任务 31527 是第三种:分片 completed=1 全数回传、112 行只是没轮到 LLM,
表上却写着"任务提前结束"——把后端的死角转嫁成了用户的动作。改成只写量得到的事实:
「该行未完成检测:有数据但未拿到判定结论,重新运行可补检」。
「原因」sheet 那格后缀原本与主文案重复说两遍"重新运行",换成 isJudged() 真正判的三列
(标题维、外观维与结论都没出可用值)。
保留短语「未完成检测」:AppearancePatentRowOutcomeTest 的"三句文案不许互相顶替"那一格
靠它区分 NOT_INSPECTED/NO_DATA/NO_RESULT_TEXT 三种处置动作。
前后端无耦合已核:用户端 task-progress-readout.ts 与 BrandCollectDataTab.vue 里的
"任务提前结束"是它自己的进度读数(processedRows < totalRows),不解析结果表单元格。
新增一例 notInspectedTextStatesOnlyWhatClassifyCanKnow 钉住不许再写未经判证的归因。
门禁:AppearancePatent* 258 例/0 红;后端整量 4551 例/0 红/16 skipped BUILD SUCCESS
(同一次复跑覆盖本笔与 21508057);ops 面 ruff All checks passed、readability 棘轮 9 passed。
|
2026-10-20 01:01:12 +08:00 |
|
huangzd1997
|
21508057b5
|
fix(appearance-patent): 已交付的作业不再被重投后空转烧预算
现网读数(2026-10-19 任务 31527):结果文件 23:02:35 已交付、任务已 SUCCESS,
组装作业却被事件重投后又跑五次(23:02:40→23:03:20,每 10 秒一次),每次读到 0 行
连抛「外观专利检测结果为空」。分片在交付时已被 cleanupResultFileJob 删掉,重跑无事可做,
只把 retry 预算和 ERROR 日志一起刷满。
worker 那三处守卫(TaskResultFileJobWorker:226/252/301)只认 SUCCESS 状态,挡不住
"文件已挂上、作业被重投"这一格;补上兜底出口早就有的那枚幂等闸:resultFileUrl 非空即收工。
边界查过,不误伤补传恢复:maybeRecoverTerminalFailedAssemble 自带 hasSuccessfulAssembleJob
早退,而交付之后任务已终态、迟到分片被 rejectNotRunning 拒掉,没有合法的第二轮组装。
顺带登记一处本会话前一笔的读数不实:3c662389 的 message 写「AP 3048→3121」,
对着 git show 复核实际提交态是 3122,差一行。不 amend(已入库),在此留案。
本笔之后 AP 为 3135 行,基线在册 3458,只许降这格仍满足。
门禁:后端整量 mvn -o test 4551 例/0 红/0 错/16 skipped,BUILD SUCCESS。
⚠ 同树第一次整量另有一枚 collectdata 用例判红
(CollectDataBrandBatchFilterTest.test_cached_verdict_..._after_budget_exhausted):
单跑 12/12 绿、CollectData* 整包 260 例绿、同树复跑整量绿——该用例把 Thread.sleep(30)
对上一枚 1ms 的 chunk 预算,判的是墙钟过没过,属机器被并发拖慢就翻的时间窗用例,
与本笔面上无关,与本仓已登记过的 DuplicateCheckRefreshSchedulerTest:41 同一形状。
只登记,不顺手改(那是 3C 在飞的支)。
定向:AppearancePatent* 258 例/0 红。
|
2026-10-20 01:01:02 +08:00 |
|
huangzd1997
|
3c662389c0
|
fix(appearance-patent): 补检改吃独立预算,缺口不再以"排不上队"的名义交付半张表
现网读数(2026-10-19 近 24h 日志):交付缺口触发过补检,但从没补齐过大面积缺口——
"补检排不上队,按已有结果交付" 四例 missingRows=112/455/1471/2110,作业全部 retry_count=5。
根因是一条自我锁死:补检重排走 requeue,而 requeue 的 WHERE 带 retry_count<MAX_RETRY_COUNT,
把这条预算抛满的恰恰是"还没检完"本身(覆盖率抛、空结果抛)。越慢 ⇒ 抛得越多 ⇒ 越补不上。
改法是把两条预算拆开,且只用底座现成件(modules/task/** 是共享文件,且
TaskFileJobService 在册 929/实 928,只剩 1 行棘轮余量,加方法必判红):
- recheck-max-rounds(默认 2):补检自己的轮次上限,与行级 llm-row-max-rounds 分家。
- completeLlmFileJob:补检决定挪到 assembleResultWorkbook 之前(新增 measureDeliveryFacts,
只量行账不出表)——那一跑完就把成品传上 OSS 并挂好 resultFileUrl,那时才发现缺口,
半张表已经在用户的下载列表里了。
- requestRecheckForMissingRows:requeue 排不上队时改吃抛,不再退化成按已有结果交付;
让作业走到终态失败,由判死出口按补检预算再判一次。
- fallbackAssembleResultFile:出表前先试 scheduleFallbackRecheck,复用现成的
resetTerminalFailedForRecovery(终态失败+retry 到顶 ⇒ 清零、重回 PENDING、重派发),
补传恢复那条路一直在用它,只有交付缺口这条路没接上。轮次只在重排真接上之后才记,
否则一轮没接成的重排会自己把预算吃光。预算耗尽仍照常出表——
"起码失败了也可以下载"那条保证不变。
门禁:后端整量 mvn -o test 4549 例/0 红/0 错/16 skipped,BUILD SUCCESS;
定向 43 例(交付闸门 14+兜底出表 5+行标记 15+CatchSilence 9)全绿;
ops 面 ruff check . All checks passed、readability 棘轮 9 passed(AP 3048→3121,基线 3458)。
整量第一次跑抓到的是本笔自己的账:新增两枚 Redis 降级方法各带一处不重抛的 catch,
把 CatchSilenceRatchetTest 的"不重抛"从 562 顶到 564。没放宽那格判据,改成去掉这两处
新 catch——补检轮次直接复用既有的行级轮次计数(同 24h TTL、同降级口径),借哨兵键
__recheck__;行键恒为 id::ASIN::国家、必带 "::",撞不上。
|
2026-10-20 00:41:29 +08:00 |
|
huangzd1997
|
80f92c387b
|
fix(外观专利): 整批商标查询无一返回时表上改说「上游整体不可用」
2026-10-19 现网取证:品牌库代理套餐过期(供应商回 {"code":-1,"message":"套餐不存在"})
→ 16890 代理池恒为 0、一次代理都没挂上 → 全部直连打 WIPO branddb 被整片 Forbidden
→ 交付表 11 行全写「商标查询失败」。逐行失败可能是那个词本身查不了,整批全失败只可能
是上游挂了,两者在表上必须长得不一样;否则运维故障被伪装成数据问题,用户看不出该做什么。
新文案保留「商标查询失败」前缀,让三处既有语义逐字不变:
- isBrandQueryFailed() 继续成立
- buildConclusion 该支从返回常量改为返回 titleRisk(旧输入输出相同,新输入自动带原因)
- resolveResultStatus:新文案不含「侵权」二字,照旧判「失败」(已单独钉桩)
判据刻意保守:任一行拿到过侵权命中、或任一行查成功过即不升级;没发过查询的行
(LLM 已判「无」、标题为空)不参与判定,否则一批"无需查"的行会被误判成上游故障。
表上仍不会出现「欠费」二字——那个信息只存在于 16890 内部,Java 侧看不见。要把
message 一路带到表格,需先给 /root/BrandTesting 建版本控制再改它的响应契约。
AppearancePatentLlmClientTest 14 例 / SheetBuilder 15 例 / BrandBatch 3 例 /
BrandCheckClient* 12 例全绿;整个 test 源集 546 类编译通过,证明 applyResult
签名改动无漏改调用方。
|
2026-10-19 16:23:00 +08:00 |
|
huangzd1997
|
ac873b24bf
|
refactor(phase-3): 3A 拆薄第四笔——结果打包与命名抽出,并补上上一笔声称已加的见证
AppearancePatentTaskService 棘轮读数 3165→3049(本会话累计 3458→3049,净减 409 行);
新落 service/support/AppearancePatentResultPackager 206 行(<800 报警线)。
搬的是「按源文件分组 + zip 打包 + 成品命名」四枚:splitRowsBySourceFile、
packageResultWorkbooksAsZip、uniqueZipEntryName、normalizeZipFilename、writeResultZipEntry、
safeFileStem,连同只有它们用的 SourceRowsBuilder 与 SourceRows/SourceResultWorkbook 两枚 record。
分组键的三级回落(sourceFileKey → sourceFilename → __default__)、条目名去重后缀 (2)(3)…、
Windows 非法字符换下划线、异常文案——判据与字面量逐字带过来。
两处如实说明:① 三个重复出现的字面量(appearance-patent/appearance-patent-result.xlsx/8192)
收成本类常量,值一字未改;② 服务侧留三枚薄委托+一个无状态访问器(与 historyAssembler() 同一先例,
所以本笔不动构造器、不动装配),不是为了保反射接缝——AP 测试按名反射的清单里根本没有这四枚
(那批点名在 writeResultWorkbook/validateCompleteLlmCoverage 那一侧),这条前置扫描是上一笔
栽过之后固定下来的动作。
⚠ 更正上一笔的登记(768f8e05 的 commit message 说了没做):那句「另加两条 anyMatch 点名新落件」
实际没进文件——当时脚本改的是数字、那段追加从未落地。本笔把三枚新件逐枚点名进 witness,
并如实留这句更正:只把分母数字改大,护栏证的还是「数对不对」,不是「扫不扫得到」。
顺带一条既有事实登记(不是本笔引入、本笔没顺手改):文本归一化在 src/main 里有两遍——
Task 93 抽出的 AppearancePatentRowNormalizer(normalize/firstNonBlank/baseId/normalizeDisplayId)
与 AppearancePatentTaskService 自己那两枚同名私有件,服务至今一处没用过 util。扫描件本可以抄第三份,
直接引用 util 了;把服务侧那两枚切过去是纯粹的重复消除(十几处调用点同形),但那是另一笔的账。
门禁:后端全量 mvn -o test 4518 例/0 红/0 错/12 skipped,BUILD SUCCESS(无管道取码);
八条 golden 逐字节相等(git status -- src/test/resources 一字未动);ops 面 ruff All checks passed、
readability 棘轮 9 passed(3049<在册 3458,两枚新件都在报警线以下,基线一格未改)。
|
2026-10-19 12:28:41 +08:00 |
|
huangzd1997
|
2010074064
|
refactor(phase-3): 3A 拆薄第三笔——A 聚类(陈旧扫描与二次判死)抽成 support 件
AppearancePatentTaskService 棘轮读数 3349→3165(本会话累计 3458→3165,净减 293 行);
新落 service/support/AppearancePatentStaleTaskScanner 313 行(<800 报警线,不进超长清单)。
搬走的是「扫描+判定」:候选列举、心跳是否过期、判死文案按证据分述、二次判死那条线
(心跳新鲜但分片久不来,看 biz_task_scope_state.last_chunk_at)、取锁与 LockSkipWitness 留痕。
收尾那一步 finalizeStaleTask 留在服务侧、以 StaleDeathFinalizer 回调交进来——它要动事务边界、
封口与 LLM 批管线,那些件还在服务里,一起拖出去就得再造一套构造器,正是上一笔刚结清的那种亏。
两条线的先后与分工原样保留(sweep 末尾照旧接 sweepNoUpload;同一条任务在两把尺上的期望相反,
合并判定就会有一边失明)。日志文案、tag 字符串、取锁参数(不等待、TTL 由服务侧交进来)逐字没动。
两处当场判红、当场修,都是本笔的账:
- AppearancePatentNoUploadStaleTest 三支 Method not found:那支测试用 ReflectionTestUtils
按名字点名 finalizeNoUploadStaleTasks 这枚私有方法。抽件前只扫了调用点没扫反射点名——
AGENTS.md §1 铁律 2 写的就是这个面。处置是保留同名入口(包内可见)转调到扫描件,
测试接缝与原语义都不动,理由写在方法注释里。
- TaskStatusVocabularyRatchetTest:扫描件里那行 STATUS_RUNNING = "RUNNING" 让 src/main 手写
状态标量从 70 涨到 71。这格是只许降的棘轮,降法本来就写在该尺的报错文案里——改成引用
TaskStatuses.FileTask.RUNNING,一格判据没放宽。
门禁:定向批 435 例/0 红/0 错/5 skipped(golden 生成器),BUILD SUCCESS,取码走无管道写法;
含 *Stale*Test 七支与 ForbiddenLogAuditTest(搬移带 WARN,日志面也过)。八条 golden 逐字节相等。
|
2026-10-19 11:54:17 +08:00 |
|
huangzd1997
|
f3ac3cb20b
|
refactor(phase-3): 3A 拆薄——归属实例谓词收成 support 件,服务侧只留薄委托
AppearancePatentTaskService 棘轮读数 3381→3349;新落 support/AppearancePatentTaskOwnership
114 行(<800 报警线,不进超长清单,readability 棘轮无需登记例外)。
形状与判据一字未改,只是换了住处:owner 优先读 owner_instance_id 列、回落
resultJson.ownerInstanceId 快照(那条 2026-09-30 内部认领实测的注释原样带过来)、
scopeKey 按 ":owner:" 尾段解析、TaskOwnerMismatchException 四枚入参顺序照旧。
服务侧留六枚 1-3 行薄委托+一处 taskOwnership() 访问器——这是本模块已有的先例
(historyAssembler() / sheetBuilder() 同样是服务内部 new 的普通对象,不是 Spring bean),
所以本笔不动构造器、不动装配、注进 wiring slice 的东西一个字节没变。
为什么现在搬:A 聚类(陈旧任务扫描与二次判死)紧接着要抽出去,它跨实例接管那格要用
同一套谓词。谓词留在服务里只有两条路——扫描件回调服务,或者再抄一遍三枚。后者正是
TaskLifecycleDebtRatchetTest 钉住的债(同一条安全谓词手抄 130 遍、只许降),
所以收成一枚可复用件,而不是多一处抄本。
⚠ 一处可观测差异如实登记:两条 WARN 的 logger 名从 ...AppearancePatentTaskService
变成 ...service.support.AppearancePatentTaskOwnership;消息文本、级别、参数顺序一字未动。
按 logger 名做检索的人要跟着换,别读成「日志丢了」。
门禁:定向批 349 例/0 红/0 错/5 skipped(golden 生成器),BUILD SUCCESS;八条 golden
逐字节相等;CatchSilence 四格未动(搬移不改树上 catch 总数);ArchitectureBoundary 绿。
|
2026-10-19 11:47:18 +08:00 |
|
huangzd1997
|
f0c672025d
|
refactor(phase-3): 3A 接入底座——建单段与一格准入沉下去,回传段其余部分按证据未动
AppearancePatentTaskService 继承 AbstractFileTaskPipeline<AppearancePatentResultRowDto>。
棘轮读数 3458(在册基线)→3381:显式构造器成本 +26,被建单段下沉(-25)与三枚零调用
私有件出仓(-33)对冲掉,本笔自身净减 7 行、较基线净减 77 行。
接得上什么、接不上什么(这次是第四条实测,答案与前三支都不同):
- 接得上底座:newTaskHeader/insertTask/newScopeRow/writeJson/requireUserId/
requireSubmissionTask/ensureTaskOwnedByCurrentInstance(本支那枚私有同名件签名逐字相同,
改成 @Override 就接上了)。
- 接不上家族层:本支是 chunk+scope 族(按 submissionId 分片),套 shop-payload 就是把
「按分片合并」换成「按店铺合并」。装配切片里那条 getSuperclass 断言现在盯住了这一点。
- 接不上缓存钩子:本支的 AppearancePatentTaskCacheService 继承的是同族兄弟
AbstractPendingRowTaskCacheService,不是 AbstractModuleTaskCacheService ⇒ 底座
taskCacheService() 钩子对它无类型可套。处置是不覆写那一格(默认 null 已经对),心跳留在
persistSubmittedChunk 自己那句 touchTaskHeartbeat——不是本支没心跳,是两套抽象接不上。
底座 javadoc 把 AppearancePatent 列进「4/7 支有模块缓存服务」那格,这条读数不准,
已在本笔注释里点名更正(蓝图 §5 同步登记)。
- 没动的部分:回传段其余步骤(终态判定用 TaskResultAdmission.rejectNotRunning,比底座
rejectTerminalSubmission 宽——凡非 RUNNING 皆拒,且 40901 只在真终态那格带)与
acquireTaskLock 的非阻塞变体(抢不到返回 null 让巡检跳过下一轮,底座只有「抢不到即拒提交」
两型)。这一段没有 golden,按「先补再动」只做了 prepareSubmittedChunk 那一格
逐字同形的四行替换,其余一个字节没碰。
捕获账:本支两处序列化 catch(私有 writeJson(Object,String) 与建单那段 try/catch)并进底座
已有的 writeJson ⇒ RETHROW 385→383,按该尺自己写的处置口径逐处记名(出处写在
CatchSilenceRatchetTest 常量上方),用户授权沿用 3B 那一笔的同项拍板。不重抛/只 log/
空体三格未涨,其余判据一格没放宽。
门禁:定向批 452 例/0 红/0 错/5 skipped(五格是 golden 生成器,未设环境变量时如实 skip),
BUILD SUCCESS 取码走无管道写法。八条 golden 逐字节相等——git status -- src/test/resources
一字未动(本支新建单那条 + 前三支那六条都在跑)。装配切片接进第四支:22 枚参数逐枚点名,
含「五枚交 super 之后本支不再持有同名字段」那格 assertSame。
真机启动验收仍没做(要 MySQL+Redis),这条账继续挂在 Phase 8。
|
2026-10-19 09:36:48 +08:00 |
|
huangzd1997
|
3471a4429f
|
refactor(phase-3): 3A 拆薄第一笔——appearancepatent 的死 Excel 读取件出仓 70 行
AppearancePatentTaskService 棘轮读数 3458→3388。删的是八枚私有件:
readHeaders/readRowValues/buildHeaderMap/findRequiredHeader/
findOptionalHeader/findOptionalHeaderExact/normalizeHeaderAlias/cell,
连同因此悬空的两个 POI import(DataFormatter、Row)。
判据不是"看着没人用":这八枚是 AppearancePatentExcelParser 抽走解析本体后的残留,
逐条数过文件内出现次数=1(只有定义行),src/test 全树零命中,跨五棵树的同名
命中全在别的模块自己的 parser 里(SimilarAsinExcelParser/SplitRunService/
AppearancePatentExcelParser 各有一份,不是对本支的引用)。私有方法没有反射、
DI、动态路由面(§1 铁律 2 五路复扫)。同段落里 isAppearanceResultWorkbook/
hasHeader/shouldInspectRow/baseId/normalizeDisplayId 仍在用,一个没碰。
门禁:AppearancePatent*Test 236 例全绿(含 parse-snapshot golden 那支),
mvn -o compile 干净。golden 文件一字未动。
|
2026-10-19 09:07:29 +08:00 |
|
huangzd1997
|
84f248fa6c
|
fix(外观专利): 兜底归属校验接进 TaskFinalizeSupport 出口——手抄谓词棘轮回落 130
上一枚 commit 的 fallbackAssembleResultFile 手抄了 2 处
「!MODULE_TYPE.equals(x.getModuleType())」,把 TaskLifecycleDebtRatchetTest
钉死的 130 推到 131。按棘轮注释的指路接公共出口:
- TaskFinalizeSupport 新增 belongsToModule(expected, record) 静态出口
(expected 为 null 判不归属,防御守卫静默失效);
- 兜底 2 处改走出口,净增 0,遍数回落 130;
- 出口语义 3 例钉在 TaskFinalizeSupportTest。
|
2026-10-19 00:15:08 +08:00 |
|
huangzd1997
|
49eee59a13
|
fix(外观专利): 失败兜底出部分结果文件+WAIT_LLM 停放作业心跳续租(31302/31354)
线上两例死法修复,目标是「任务失败了也能下载」:
- 31354:组装作业在 WAIT_LLM 停放期执行线程已退出、Worker 执行期心跳
已取消,job 级 stuck 扫描按 updated_at 判陈旧,5 分钟阈值×5 次重试
耗尽后误判「文件生成任务运行超时」。客户端心跳经
AppearancePatentTaskHeartbeatSpi#onHeartbeat 按
dbJobTouchIntervalMillis(默认 60s,远小于 5 分钟阈值)节流续租
(touchRunningAssembleJobsIfStale,与 SimilarAsin 同口径)。
- 31302:覆盖率闸门判红重试 5 次判死后,1196 行成品零交付且不能下载。
接通 fallbackAssembleOnFailure 兜底钩子:作业判死后用已有分片出
部分结果文件(validateCompleteLlmCoverage 加 allowPartial 旁路),
写上 result.resultFileUrl 后前端下载按钮即恢复;兜底幂等(已有
结果文件短 路)、不动任务终态、与补传恢复重跑兼容。
- 棘轮尺 STRICT_TOTAL 1003→1004、NOT_RETHROW 561→562 抬格并逐处
记名(兜底自吞 catch 属接口契约要求的 fail-open 形状)。
全量 mvn -o test 4492 支 0 失败(9 skipped 为既有跳过)。
|
2026-10-18 23:41:24 +08:00 |
|