huangzd1997
|
a765468a9f
|
refactor(phase-3): 3A 拆薄第六七笔——AP 载荷与结果行读取出件,服务 2801→2377
I 聚类(解析/分片载荷组装、读取、事务后删除)进 AppearancePatentPayloadSupport;
H 聚类(回传分组展开、解析行计数、分片载荷读取、分页结果行与行键口径)进
AppearancePatentResultRowReader。归一、归属、分组、afterCommit 与解析载荷读取
仍由服务回调交出。SourceScan 面数 32→34、support 9→11 并逐枚点名新件。
|
2026-10-20 15:11:53 +08:00 |
|
huangzd1997
|
4bcce9d534
|
refactor(phase-3): 3A 拆薄第五笔——外观专利 LLM 批管线出件,服务 3135→2801
B 聚类(候选收集、批调度、轮次判死、结果行合并、批计数)原样搬进
service/support/AppearancePatentLlmBatchPipeline;读分片、分片合并、
心跳、封口判定仍留在服务侧,以回调交入。四枚同名入口保留为测试
按名反射的接缝;SourceScanTest 面数 31→32、support 8→9 并逐枚点名新件。
|
2026-10-20 14:03:18 +08:00 |
|
huangzd1997
|
3ac859e05f
|
fix(心跳): 影子扫描不再新增 catch 块——静默 catch 棘轮当场抓住
闸门红在 CatchSilenceRatchetTest:影子服务新增的 2 处 log-only catch 与位置指纹
新增的 1 处 fail-open catch 都会抬「只 log / 不重抛」台账。改法是消除新增 catch
而不是调基线:tryLock 内部已把 Redis 异常降级成 null,扫描异常交给 Spring 调度器
记录;指纹复用 describe/readPosition 各自的降级出口。之后 1281 例与棘轮全绿。
|
2026-10-20 12:42:06 +08:00 |
|
huangzd1997
|
eb6f082674
|
feat(心跳): 影子判官先跑读数——心跳断/进度停滞/排队/服务端处理分开判
现有判死线各看各的证据,假活(心跳线程活着、主线程卡死)与假死(长任务/排队被
判死)同时存在。新增只读影子扫描:每 5 分钟扫 RUNNING 文件任务,按「心跳中断 /
进度停滞 / 排队宽限 / 服务端结果任务 / 24h 硬顶」输出 would-finalize 日志,
不改任何任务状态。进度用「计数+文本+阶段」指纹,写影子独立快照键,不影响正式
判死线的未变化起点。规则纯函数单测 9 例 + 只读边界守卫 3 例。
|
2026-10-20 12:30:09 +08:00 |
|
huangzd1997
|
4c1a2a9ffb
|
fix(相似ASIN): 结果为空时把真因写进失败文案,不再建议重试生成结果文件
装配失败时原本只剩一句「请稍后重试生成结果文件」:同一份数据重跑只会得到同一份
空结果,这句建议做不到;而客户端上报的 error、行级 error/reason、分片读取失败本来
都在,只是被丢掉了。bounded/unbounded 两条路径现在都带上这些原因,并去掉做不到的
重试建议。新增归纳规则的纯函数单测,另加出口接线守卫防止文案退回。
|
2026-10-20 11:34:37 +08:00 |
|
huangzd1997
|
c8fc8c619b
|
fix(appearance-patent): 三条补检日志别再冒用「判死」措辞——被推送闸门当场抓住
pre-push 闸门(四面)判红两格,两格同因、且都是本会话前三笔自己添的账:
新写的 log.warn 字面量里带「判死」,但那三条说的是补检调度,不是任务判死——
交付缺口补检排不上队,转判死出口按补检预算处置
判死出口补检重排未接上,按已有结果交付
判死出口触发补检轮
`_prod_watch.py` 的告警签名是 ('任务判死', '改判死|接管判死'),而
test_deadjudge_signature_is_precise 要求每条含「判死」的 java 日志要么被签名算成死、
要么挂 BY_DESIGN 标记。这三条两头都不沾 ⇒ 签名与 java 措辞脱钩,巡检会把补检调度
报成任务判死(正是这条尺存在的理由:告警面宁可少报也不能错报)。
改法是动措辞、不动判据:三条日志与相关注释统一改用本仓既有词汇「失败兜底出口」
(fallbackAssembleResultFile 的 javadoc 一直这么叫),签名与放宽闸一格没碰。
复跑:test_deadjudge_signature_is_precise 6 passed;ops 整量 500 passed(正好踩下限);
AppearancePatent* 258 例/0 红 BUILD SUCCESS。
⚠ 另记本会话一处操作失误:前两次 git push 我误判成"卡在鉴权"各杀了一次,实际是
pre-push 四面闸门在正常跑十几分钟(客户端 674s/用户端 410s/后端 367s/后管 275s)。
被杀的只是我自己的门禁时间,闸门没被绕过——第三次是让它跑完才拿到这两格红的。
|
2026-10-20 02:26:37 +08:00 |
|
huangzd1997
|
04bc7ee5e7
|
fix(appearance-patent): 未完成检测的文案不再替系统断一个没判过的原因
NOT_INSPECTED_TEXT 原来写「该行未完成检测(任务提前结束),重新运行可补检」。
括号里那句归因从来没被判过:classify() 只读得出"三列没给出可用结论"+"行上有标题或图片",
它分不清任务中断、载荷读不回来、还是补检被自己的重试预算挡掉这三种死法。
现网 2026-10-19 任务 31527 是第三种:分片 completed=1 全数回传、112 行只是没轮到 LLM,
表上却写着"任务提前结束"——把后端的死角转嫁成了用户的动作。改成只写量得到的事实:
「该行未完成检测:有数据但未拿到判定结论,重新运行可补检」。
「原因」sheet 那格后缀原本与主文案重复说两遍"重新运行",换成 isJudged() 真正判的三列
(标题维、外观维与结论都没出可用值)。
保留短语「未完成检测」:AppearancePatentRowOutcomeTest 的"三句文案不许互相顶替"那一格
靠它区分 NOT_INSPECTED/NO_DATA/NO_RESULT_TEXT 三种处置动作。
前后端无耦合已核:用户端 task-progress-readout.ts 与 BrandCollectDataTab.vue 里的
"任务提前结束"是它自己的进度读数(processedRows < totalRows),不解析结果表单元格。
新增一例 notInspectedTextStatesOnlyWhatClassifyCanKnow 钉住不许再写未经判证的归因。
门禁:AppearancePatent* 258 例/0 红;后端整量 4551 例/0 红/16 skipped BUILD SUCCESS
(同一次复跑覆盖本笔与 21508057);ops 面 ruff All checks passed、readability 棘轮 9 passed。
|
2026-10-20 01:01:12 +08:00 |
|
huangzd1997
|
21508057b5
|
fix(appearance-patent): 已交付的作业不再被重投后空转烧预算
现网读数(2026-10-19 任务 31527):结果文件 23:02:35 已交付、任务已 SUCCESS,
组装作业却被事件重投后又跑五次(23:02:40→23:03:20,每 10 秒一次),每次读到 0 行
连抛「外观专利检测结果为空」。分片在交付时已被 cleanupResultFileJob 删掉,重跑无事可做,
只把 retry 预算和 ERROR 日志一起刷满。
worker 那三处守卫(TaskResultFileJobWorker:226/252/301)只认 SUCCESS 状态,挡不住
"文件已挂上、作业被重投"这一格;补上兜底出口早就有的那枚幂等闸:resultFileUrl 非空即收工。
边界查过,不误伤补传恢复:maybeRecoverTerminalFailedAssemble 自带 hasSuccessfulAssembleJob
早退,而交付之后任务已终态、迟到分片被 rejectNotRunning 拒掉,没有合法的第二轮组装。
顺带登记一处本会话前一笔的读数不实:3c662389 的 message 写「AP 3048→3121」,
对着 git show 复核实际提交态是 3122,差一行。不 amend(已入库),在此留案。
本笔之后 AP 为 3135 行,基线在册 3458,只许降这格仍满足。
门禁:后端整量 mvn -o test 4551 例/0 红/0 错/16 skipped,BUILD SUCCESS。
⚠ 同树第一次整量另有一枚 collectdata 用例判红
(CollectDataBrandBatchFilterTest.test_cached_verdict_..._after_budget_exhausted):
单跑 12/12 绿、CollectData* 整包 260 例绿、同树复跑整量绿——该用例把 Thread.sleep(30)
对上一枚 1ms 的 chunk 预算,判的是墙钟过没过,属机器被并发拖慢就翻的时间窗用例,
与本笔面上无关,与本仓已登记过的 DuplicateCheckRefreshSchedulerTest:41 同一形状。
只登记,不顺手改(那是 3C 在飞的支)。
定向:AppearancePatent* 258 例/0 红。
|
2026-10-20 01:01:02 +08:00 |
|
huangzd1997
|
3c662389c0
|
fix(appearance-patent): 补检改吃独立预算,缺口不再以"排不上队"的名义交付半张表
现网读数(2026-10-19 近 24h 日志):交付缺口触发过补检,但从没补齐过大面积缺口——
"补检排不上队,按已有结果交付" 四例 missingRows=112/455/1471/2110,作业全部 retry_count=5。
根因是一条自我锁死:补检重排走 requeue,而 requeue 的 WHERE 带 retry_count<MAX_RETRY_COUNT,
把这条预算抛满的恰恰是"还没检完"本身(覆盖率抛、空结果抛)。越慢 ⇒ 抛得越多 ⇒ 越补不上。
改法是把两条预算拆开,且只用底座现成件(modules/task/** 是共享文件,且
TaskFileJobService 在册 929/实 928,只剩 1 行棘轮余量,加方法必判红):
- recheck-max-rounds(默认 2):补检自己的轮次上限,与行级 llm-row-max-rounds 分家。
- completeLlmFileJob:补检决定挪到 assembleResultWorkbook 之前(新增 measureDeliveryFacts,
只量行账不出表)——那一跑完就把成品传上 OSS 并挂好 resultFileUrl,那时才发现缺口,
半张表已经在用户的下载列表里了。
- requestRecheckForMissingRows:requeue 排不上队时改吃抛,不再退化成按已有结果交付;
让作业走到终态失败,由判死出口按补检预算再判一次。
- fallbackAssembleResultFile:出表前先试 scheduleFallbackRecheck,复用现成的
resetTerminalFailedForRecovery(终态失败+retry 到顶 ⇒ 清零、重回 PENDING、重派发),
补传恢复那条路一直在用它,只有交付缺口这条路没接上。轮次只在重排真接上之后才记,
否则一轮没接成的重排会自己把预算吃光。预算耗尽仍照常出表——
"起码失败了也可以下载"那条保证不变。
门禁:后端整量 mvn -o test 4549 例/0 红/0 错/16 skipped,BUILD SUCCESS;
定向 43 例(交付闸门 14+兜底出表 5+行标记 15+CatchSilence 9)全绿;
ops 面 ruff check . All checks passed、readability 棘轮 9 passed(AP 3048→3121,基线 3458)。
整量第一次跑抓到的是本笔自己的账:新增两枚 Redis 降级方法各带一处不重抛的 catch,
把 CatchSilenceRatchetTest 的"不重抛"从 562 顶到 564。没放宽那格判据,改成去掉这两处
新 catch——补检轮次直接复用既有的行级轮次计数(同 24h TTL、同降级口径),借哨兵键
__recheck__;行键恒为 id::ASIN::国家、必带 "::",撞不上。
|
2026-10-20 00:41:29 +08:00 |
|
huangzd1997
|
773c41254f
|
test(phase-3): 3A 欠账第一笔——appearancepatent 回传段 golden 落地,七支的「先补再动」至此齐平
只加测试与 golden,`AppearancePatentTaskService` 一字未动。AP 是七支里唯一没按「先补 golden 再动迁移」推进的一支(在册只有 create-task 与 parse 两条,parse 锁的是解析输出、不是回传副作用),所以本文件记的是**现状**而非理想形状,它给的是已经迁移过的那份代码补外层防线。
规模口径(第七处读数坑那条尺别):golden **11 段**,由 **2 支执行用例**渲染(第 3 支 `@Test` 是写档器,无 `SHUFU_SNAPSHOT_WRITE` 时 skip ⇒ 非写模式读数 `Tests run: 3, Skipped: 1`)。全量 4542→4545 的 +3 就是本笔这三支,其中 1 skip 也是它。
射程(本笔只钉「准入七形+首片未收尾+两条例外」):`finalizeTask` 比其余各支深,里面还有「同步组装 vs 排队组装」的分叉与工作簿组装,硬塞只会产出一枚看着绿其实假的 golden——双事务边界、终态失败 job 恢复、finalize 分叉留第二笔。
流水里读出来的三件事(都非推测,且两处推翻了我自己的预设):
- **AP 回传段没有 `requireTaskId` 那一格**:非法 taskId 先打一次 `selectById(0)`,再按「任务不存在」拒。publish/ShopDataCrawl 是在取锁或加载之前就拒 ⇒ 「非法 id 该不该碰 DB」七支不同形。我最初把这段命名成 `…RejectedBeforeAnyLoad`,那是假名,已改 `illegalTaskIdStillHitsOneLoadThenRejectedAsNotFound`。
- **终态拒绝发生在载荷已存进对象存储之后,且这支没有清理调用**:三段准入拒绝的流水都留着 `payload.storeChunk` 而无任何 delete(publish 有 `deleteUncommittedPayloads`)。只登记现状当防线,不动它——改就是改对外行为,得另立一笔并先量孤儿载荷代价。
- **准入是第四种形状**:`TaskResultAdmission.rejectNotRunning` 判「不是 RUNNING」而非「是终态」,PENDING 也拒但不带 code(保持可重试),SUCCESS/FAILED 带 40901。底座那格只拒终态、会放行 PENDING ⇒ 这一格接不上不是漏接,`admissionRejectedForPendingTaskIsNotTerminal` 是物证。
另有两处夹具自身的坑当场修掉:`payload.resolve pointer=` 我原先取的是第二个实参(现网那句失败文案)而不是指针;分片夹具把 `chunkIndex` 设成 1 与本段实际回传的 0 不一致,会让流水里的 `idx=[1]` 误导读者。这类不会判红,只有逐段读 golden 才露馅(第十三处读数坑同一族)。
门禁:本类写档模式 3/0、非写模式 3/0/1 skip;AP 簇复跑 `TxBoundaryTest` 8、`ChunkMergeConflictTest` 5、`TerminalFailedRecoveryTest` 8、`SnapshotTest` 9 全绿;后端全量 **4545/0 红/16 skipped/BUILD SUCCESS,真实 rc=0**。ops `ruff check .` All checks passed;readability 棘轮 **8 passed/1 failed**,唯一 offender 是 app_client `approve.py` 三枚长函数(142→145/95→110/102→119,另一路在飞件)⇒ 不动基线、不 `--write`、不代收。产品风险那三处超长文件已由另一路 `850f935` 自行代收,本笔不替它记账。
|
2026-10-19 22:06:31 +08:00 |
|
huangzd1997
|
d44ac2c447
|
style(产品风险): 合并段注释与日志实参收成行内,压回服务侧增量
代收基线走 ops 仓那一笔。实测 1485→1492 行。
|
2026-10-19 20:42:33 +08:00 |
|
huangzd1997
|
d49c6fc78b
|
docs(phase-3): 3D 出处账——publish 进「真接上 publishResultFile」名单,另抓到 listScopeRows 那格本来就记错的支数
纯 javadoc(`git diff` 逐行核过:除 diff 头以外没有一行不是注释),生产逻辑零改动。
底座 551→575 行,距 800 报警线仍远;本件不在棘轮点名清单内。
跟着 `a125e8f8` 把「谁真用了哪一格」改实,共七处:
- 类头「真接上 `publishResultFile` 的目前只有 shop-payload 两支」→ 三支(+Publish)。Publish 此前一直被记成本件出处却没被接,这次逐列核过是**同形且接得上**,不是「同形接不上」。
- `newTaskHeader`/`publishResultFile` 两处 Publish 行号指针改成认方法名+「迁移前是 :xxxx」,与 3C 给 CollectData 的写法同一格式(`:1054-1070`、`:590-598` 已随迁移漂掉)。
- `ensureTaskOwnedByCurrentInstance` 的三支出处行号全部改成认方法名。这里有一句差点写成假话:我原想写「publish 那枚 public 还兜着别处进来的调用」,去核才看到 `PublishTaskHeartbeatSpi:28` 确实从类外调它(更早一次 grep 被 `head -8` 截断、把这支切掉了)⇒ 保持 public 是**必需**而不是容忍,注释里点名列出该调用方。
- `TerminalRejection#ERROR` 的 3D 补正那句「得留本地写法或先给枚举加第三档」补上结论:已按留本地写法落地,枚举未增第三档。
- 类头那组 2026-10-18 的巨石行数加一句「这组数是签名的来源、不是现状」——否则每迁一支它就更假一分。
⚠ 顺带抓到一处**与本次迁移无关、本来就错**的账:`listScopeRows` 的注释写着「真正调本件的支数现在是三(ShopMatch/PriceTrack/ShopDataCrawl),其余四支尚未迁移」。全树实点调用方是**四支**——`DeleteBrandRunService:1609/:1717` 从 3E 起就在调,那句把出处里的「DeleteBrand 同款」读成了「形状同款、还没接」,一直没跟着迁移改。同时「其余四支尚未迁移」现在整句失效(七支都在底线上了)。已改成:四支调本件;其余三支(AP/CollectData/Publish)虽在底线上却都没用它,并逐支写清它们读的是哪一形(AP 带 `.select(...)` 投影、CollectData 是跨任务历史分页、Publish 是 `selectOne(limit 1)` 查不到就 insert)——三条都是 grep 实读,不是推测。**教训**:「在底线上」不等于「用过每一格」,这两句以前混用过。
|
2026-10-19 20:06:28 +08:00 |
|
huangzd1997
|
a125e8f8a5
|
refactor(phase-3): 3D 迁移本体——publish 接上底座,七支至此全部有生产调用方在底线上
`PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>`。上一笔腾出的额度足够,本笔未动任何门禁判据(`writeJson` 并档因此不再是必需,仍然未做、仍待逐处记名授权)。
接上六格(比 3D 前置测绘预估的四格多两格,两处都是实测新确认):
- `requireTaskId`:原 `requireTaskRecord` 内联的「taskId 不合法」三行。
- `requireSubmissionTask` ← 新确认:底座那格做的正是「加载+模块校验+『任务不存在』」。把本支原来的一次三条件判拆成两次顺序判(异常类型/文案/检查之间无副作用三者同源,判据不变),于是 `loadTaskForSubmission` 这枚钩子**不是死件**——它被建单外的全部 `requireTask*` 路径真调用着。
- `requireUserId`:删本支 `validateUserId`,四处调用点转名(文案逐字相同,实测过)。
- `newTaskHeader`+`insertTask`:注意建单入口 `validateParseRequest` 已先 `requireUserId` ⇒ 底座那格在这条路上是空转,不新增拒绝点。
- `newScopeRow`:结果行。
- `publishResultFile` ← 新确认:底座注释本就列 publish 为出处,这次逐列核过是真接得上(上传入参、6 列、`success=1`、清 `errorMessage`、`updateById`),不是「同形但接不上」。
原样留本地三格(都是形状差、不是没做):两参 `acquire` +不带 code 的「任务正被占用,请稍后重试」;SUCCESS 静默短路/FAILED 抛「任务已失败」那第三种终态形状(见 `TerminalRejection#ERROR` 的 3D 补正);本支私有 `writeJson`。
等值证据(这三格没有既有 golden 覆盖——publish 只有 batch-loading 与 submit-result 两条快照,建单段没快照,所以没停在「读两段代码觉得一样」):把 `git show HEAD` 的旧块、现块、底座件体各抽 setter 集合做差集 ⇒ 头行 **16 列 = 现留 6 + 底座 10,未接住为空、底座多写为空**;写列 **7 = 7 完全一致**;结果行只多两列,是新建实体上本就为 null 的 `rowCount`/`sourceFileUrl`(等价,不是补默认值)。底座件自身的逐列行为由既有 `AbstractFileTaskPipelineTest` 钉着(含「两列同一个显式时刻」「不给模块自决列编默认值」「userId 非法在建行前就拒」)。
构造子 19 枚参数**逐枚沿用原字段声明序**,只把交给底座的五枚转给 `super`:`PublishTaskServiceTest`/`PublishDashboardAggregateTest`/`PublishBatchLoadingSnapshotEquivTest`/`PublishSubmitResultSnapshotTest` 四处 `new PublishTaskService(…)` 一个字都不用改——改顺序就是把回传段 golden 的夹具重排。
行数账(`--numstat` 实测):本笔净 **+23**(2109→2132);含上一笔抽件累计 **2250→2132,净减 118**,基线一格未改、`--write` 未跑。
门禁:定向 **191 例/0 红/1 skip**(publish 全部 10 支测试类+七把棘轮/护栏+`SqlLayeringConventionTest`);后端全量 **4542/0 红/15 skipped/BUILD SUCCESS,真实 rc=0**。两次全量之间出过一记红,定性如下——
- `ShopDataCrawlTemplateLargeWorkbookTest.test_task_026_…boundary_limit_and_overflow`:「5000 行模板写入须在预算内完成,实际=87322ms」。那是**墙上时钟预算断言**、且不在本笔射程(本笔只动 publish)。复现而非宣称:单跑该类 8/0(整类 171.3s→99.3s),第二次全量该类 42.29s 且整树 0 红。这条尺的读数强依赖本机有无并发在飞。
- 用例数 4540→4542 的 +2 归另一路的在飞件(`productrisk` 那三笔在他们仓里落地),**本笔零新增 `@Test`**。
- ops `ruff check .` All checks passed;readability 棘轮 2 failed/7 passed,offender 三处全不归本笔(`ProductRiskTaskService` 1485→1495、`BrandProductRiskTab.vue` 1722→1724 已随另一路 `ab42adad`/`a97dbf7f` 进入 HEAD 而基线未同步;`app_client/amazon/approve_v2.py` 1279→1284 与 `approve.py` 三枚长函数属 app_client 面)⇒ 不动基线、不 `--write`、不代收。格式步未纳管 ⇒ 如实跳过。真机启动验收本格仍欠(七支全部欠,属 Phase 8 收口项)。
|
2026-10-19 19:56:45 +08:00 |
|
huangzd1997
|
cdbe247dbf
|
fix(品牌检测): 整批确定性拒绝时短路同批其余品牌的重试阶梯
2026-10-19 现网取证:品牌库代理套餐过期(供应商回 {"code":-1,"message":"套餐不存在"})
→ 16890 代理池恒为 0、一次代理都没挂上 → 全部直连打 WIPO branddb 被整片 Forbidden。
这是每次必然失败的确定性拒绝,而重试阶梯照旧跑满:单品牌 10 轮含最长 10 秒的递增等待
约 45~65 秒,全是白烧;更糟的是它烧的是整批共用的 90 秒预算,于是后面的品牌还没开始
就被掐在 attempt=2/10——日志里成片的「整批耗时预算用尽」与「重试耗尽判定查询失败」
其实是同一件事的两面。
判据保守,三条都硬:
- 只有「跑满整条阶梯 + 最后一轮仍是 query_faild_data」才置标志;被预算或短路掐断的
轮次不算证据(ladderCompleted 专门为此而设)
- 请求全程抛异常(response==null)不触发:那可能是本品牌特有的超时形态,拿它当
「上游整体在拒绝」会误伤同批真能查回来的品牌
- 首轮始终执行,短路最坏情形的上界就是每品牌一次请求
结论语义不变:短路只省重试,每个品牌仍各自判查询失败、仍交调用方降级。
本类是外观专利 / collect_data / similar-asin 三模块共用的出口,用户口径明确要求
放在共用层(收益最大、影响面也最大),故三处同时生效。
BrandCheckClientTest 10 例(新增 2)+ AppearancePatent*/TaskServiceWiringSlice 全绿。
变异检验:把 upstreamRejecting.set(true) 废掉后新用例确实变红,非装饰性断言。
在独立 worktree(HEAD 干净副本)完成编译与测试——共享工作树此刻有另一路会话的
PublishTaskService.java 半成品(缺 AbstractFileTaskPipeline 的 import,主源码编译不过),
未触碰、未暂存。
|
2026-10-19 19:45:05 +08:00 |
|
huangzd1997
|
ab42adad05
|
feat(产品风险): 回传带上实跑筛选值与线索,随合并载荷落进范围态
客户端把本次实跑用的「商品列表筛选」和一条不改判终态的线索发上来后,
mergeShopPayload 按「后到的非空值覆盖」合并(增量回传不带这两字段,
不能让最后一条空载荷把审计线索冲掉),随合并载荷整份存进
biz_task_scope_state.parsed_payload_json —— 不需要新列:result_json 每次由
buildSnapshotFromDb 从库里重建,不落列的东西写进去也会被冲掉。
submitResult 的 merged 日志同步带上两值,现网可直接 grep。
warning 与 error 严格分开:error 会让店铺判失败,线索不会(用例逐条钉住)。
另把结果表九列的次序与文案逐字钉住——用户是按列位对账的,加列/换序/改文案
都会让存量对表脚本静默错位。
|
2026-10-19 19:17:03 +08:00 |
|
huangzd1997
|
de38c3ec58
|
refactor(phase-3): 3D 前置拆薄——publish 陈旧扫描聚类抽出 PublishStaleTaskScanner,服务 2250→2109
用户拍板的路线:接底座净亏 +8~15 行、必须先靠一笔 ③ 前置抽件把账做平。本笔就是那件抽件,为下一笔(publish extends 底座,实测成本 ≈+35 行)腾出 141 行额度。
搬的是「扫描+判定」,不是「收尾」:
- 进 `publish/service/support/PublishStaleTaskScanner.java`(293 行):作业锁 `publish:stale-check` 与其 fail-open 日志、两条候选 SQL(心跳线 `updated_at` 陈旧/二次线 `last_chunk_at` 停摆)、每任务分布式锁、未完成组装 Job 闸门、「从未上报」三分证据判定、两条线各自的复查谓词与对外文案。
- 留在服务:`failStaleTaskLockedInternal` 收尾本体**零改动**(部分回传行抢救、结果行终态、组装 Job 入队都在 machinery 侧),`failStaleTasks` 与 `failNoUploadStaleTasks` 各留一枚 delegator。
- 两枚 delegator 不是风格选择:`failStaleTasks` 被 `PublishTaskServiceTest` 三处公有调用;`failNoUploadStaleTasks` 被 `PublishNoUploadStaleTest:123` 用 `ReflectionTestUtils.invokeMethod` **按名字**反射。删名字等于把回归网拆掉。
- 扫描器**每次入口新建、不注入**:两枚阈值是服务侧 `@Value` 非 final 字段,测试靠 `setField` 改它们;烤进构造更早的缓存里,那三支既有用例当场读旧数。
等值证明不靠眼看:把搬走的两段与 `git show HEAD` 的原文做符号归一后逐行对照,A 线与 B 线的差异**只剩** `MODULE_TYPE`→`moduleType`、`STATUS_RUNNING`→`TaskStatuses.FileTask.RUNNING`、`currentInstanceId()`→`Supplier<String>.get()`、收尾改走 `StaleFinalizer` 回调、`"limit 100"`/`0L`/`Math.max(5,…)` 提常量——没有第六种。当前实例 id 交 Supplier 而非定值是为了不改「查询那一刻才取值」的现网语义。
顺手的一处真减:两条候选查询的 owner 三条件块逐字相同,收成一枚 `ownerScoped` ⇒ 全树 wrapper 内裸 SQL **15→12**。
⚠ 一处如实登记的既有缺口:二次线「有过上报但停摆」那一支没有测试覆盖(三支用例全在「从未上报」三分上)。它不是本笔造成的,但意味着那一支只有逐行对照当证据、没有测试当证据。
门禁与两处读数账:
- 后端全量 **`Tests run: 4540, Failures: 0, Errors: 0, Skipped: 15` + BUILD SUCCESS,真实 rc=0**(取自重定向)。⚠ 4537→4540 这 +3 是另一路 `ProductRiskTaskServiceTest`/`ProductRiskExcelAssemblyServiceTest` 的在飞改动带来的,**本笔零新增 `@Test`**——第十一处读数坑的同族,引用例数变化先查归属。
- **抓到一枚本笔自己的红**:`SqlLayeringConventionTest.rawSqlInsideWrappersDoesNotGrow` 按文件名精确记 wrapper 内函数级 SQL,在册 `PublishTaskService=6`,抽件后实测 `PublishStaleTaskScanner=3`。按测文规定「迁走 ⇒ 同步减基线」改登记键,方向是减、不是放宽(不是阈值动作,无需请示)。教训入册:定向清单是按「上一笔红过什么」攒的那七类,**不含这一类**,新建 `src/main` 文件会唤醒按文件记账的尺——定向全绿给不出门禁全绿,这条只有全量能兜住。
- ops `ruff check .` All checks passed;readability 棘轮 2 failed/7 passed,三处增长全不归本笔(`ProductRiskTaskService` 1485→1495、`BrandProductRiskTab.vue` 1722→1724 属另一路 crawler-plugin 在飞件;`app_client/amazon/approve_v2.py` 1279→1284 与 `approve.py` 三枚长函数属 app_client 面在飞件)⇒ 不动基线、不 `--write`、不代收。本笔 `PublishTaskService` 2250→2109 是减,天然合法、不回写基线。格式步未纳管 ⇒ 如实跳过。真机启动验收本格仍欠。
|
2026-10-19 18:56:22 +08:00 |
|
huangzd1997
|
6a43a7e745
|
docs(phase-3): 3D 前置出处账——底座把 Publish 记成 TerminalRejection#ERROR 的出处这一笔不实,改记成第三种形状
纯 javadoc,一行生产逻辑未动(`git diff --stat` = 12+/4−,全在注释块内)。
3D 前置 golden(上一枚 commit)逐段读完 publish 的终态后,发现底座 `TerminalRejection#ERROR` 那段注释里两处不实:
- **Publish 从来不是本档位的使用方**。Phase 2 把它按「不带 code」这一维归了类并留了个 `:1344` 指针,但 `PublishTaskService` 全文零次出现「任务已结束」;它真实的两处是 `:1104-1108`/`:1137-1141`,形状是本枚举**没建模的第三种**:SUCCESS 静默返回(不抛),FAILED 才抛「任务已失败,拒绝继续回传」。golden 的 `taskSuccessShortCircuitsWithoutThrowing` = 两次 `task.load` + `tx.begin/commit`、零写入、`result=void` 就是这条的物证。
- **ShopDataCrawl 的 `:633` 指针也已漂**(那行现在是建单段的 `newTaskHeader`),真出处是 `submitResult` 里 `:676`。连同 `IDEMPOTENT` 段的 ShopMatch `:652`/PriceTrack `:603`(实测在 `:675`/`:642`)一起,本笔一律改成**认方法名不认行号**——这正是 3C 那笔给 CollectData 立过的规矩,当时只改了 CollectData 一支的行,剩下三支的行号照旧漂着。
对 3D 的直接结论:publish 接底座时这一格既不能套 IDEMPOTENT 也不能套 ERROR,只能留本地写法、或先给枚举加第三档;加档属公共形状变更,要单独授权。这一格与 `:1104` 那处的「锁外预检」合起来,是 publish 与 collectdata 虽同属 chunk+scope 族、却不能照抄迁移的两处硬差。
门禁:`mvn -o test-compile` rc=0;ratchet/护栏七类合跑 `Tests run: 77, Failures: 0`(含 `CatchSilenceRatchetTest` 9、`SourceScanTest` 40、`LockSkipSilentExitGuardrailTest` 4);ops readability ratchet 9 passed——本件现 551 行(ruler 口径),距 800 报警线尚有 249 行,注释变厚不构成新 offender。全量 4537 已在上枚 commit 前跑过,本笔只动注释、不重复消耗。
|
2026-10-19 17:56:34 +08:00 |
|
huangzd1997
|
f5c64b3b23
|
test(phase-3): 3D 前置——publish 回传段 golden 落地,27 段流水钉住本支独有的三处形状
只加测试与 golden,`PublishTaskService` 一字未动(现网行为无变更,故不需要行为回归之外的验证)。
钉住的 publish 独有形状(逐段对 golden 复核过,不是推测):
- 取锁在取任务**之前**:`lockBusyRejectedBeforeAnyLoad` 只有 `lock.acquire` 一行、没有任何 `task.load`。这与 collectdata 的回传段方向相反,是「同族不同形」的第一处实证。
- SUCCESS 静默短路不抛:`taskSuccessShortCircuitsWithoutThrowing` = 两次 `task.load`(锁外一次、事务内一次)+ `tx.begin/commit`、零写入、`result=void`。底座 `TerminalRejection` 那三种档位里没有这一种。
- 未完成回传时 `job.enqueue resultId=2001 scopeKey=task:1001:owner:node-A`(键形状带 owner,不是纯 `task:<id>`)。
- 同请求重复文件被拒时,**未提交的 chunk 会被清掉**:`duplicateFileInOneRequestRejected` 走出 `chunk.countReferenced -> 0 → payload.delete pointer=rustfs:chunk-1`,`payloadDelete=1` 而 `files` 仍全 PENDING。
口径与坑(都是老坑的新一次踩法):
- golden 27 段由 3 支执行用例渲染,第 4 支 `@Test` 是写档器、无 `SHUFU_SNAPSHOT_WRITE` 时 skip ⇒ 执行读数 `Tests run: 4, Skipped: 1`。「段数 ≠ 用例数」第七处坑在此复现,登记以免下一个人拿 27 去对 `@Test` 计数。
- 写档过程中有一记**假 golden**:MyBatis-Plus `AbstractWrapper.getParamNameValuePairs()` 是懒填充,不先调 `getSqlSegment()` 就拿到空 Map ⇒ 分片查询替身对任何条件都返回同一行,`lastChunkCompletesMerge` 那格真跑成了「同一 chunk_index 已回传不同内容」的错路。现以 `boundValues(...)` 统一先取 `getSqlSegment()` 再读绑定值。这类坑不会判红,只会把流水记成假的。
- 清理件在 afterCommit 抛异常被吞、调用方仍见成功:`cleanupFailureAfterCommitIsSwallowedAndCallerStillSeesSuccess` 另证 `chunk` 删失败后**不再**删 scope(现网两删除同在一个 try 里)。
验证:全量 `mvn -o test` → `Tests run: 4537, Failures: 0, Errors: 0, Skipped: 15` + BUILD SUCCESS(rc 取自重定向而非管道);非写档模式复跑本类 4/0/skip 1;ops `ruff check .` = All checks passed、readability ratchet 9 passed(该尺只扫 `src/main`,792 行的测试件不构成新 offender)。
|
2026-10-19 17:51:04 +08:00 |
|
huangzd1997
|
311bbadc97
|
test(phase-3): 3C 续笔——把「三格未涨」那句收回成两格,empty 那格的常量与实测差 1
a54f80c6 的 message 与常量注释都写了「不重抛/只 log/空体三格上限等于上一次记录的
实测值,绿即证未涨」。逐格核对后:notRethrow 562、logOnly 173 两句常量确实等于上一次
记录的实测值;STRICT_EMPTY 是 56、而上一次记录(3B 那笔的注释)是 55 ⇒ 那一格绿只证
「≤56」,不证未涨。判据与代码一字未动,只是别让下一读的人把「门禁绿」读成三格都被
重新证明过。复跑 9 例/0 红。
|
2026-10-19 16:57:41 +08:00 |
|
huangzd1997
|
a54f80c650
|
refactor(phase-3): 3C 第三处 writeJson 并档——persistStats 的捕获面收回序列化,RETHROW 下限按实测钉到 380
用户拍板「按顺序」第①项。CollectDataService.persistStats 那段 try 包 15 行 payload.put
加一次 writeValueAsString 并进底座 writeJson(ObjectMapper, Object, String),文案
「保存采集统计失败」、异常类型与不带 cause 三条线协议事实逐字带到调用点——回传 golden
那 15 段每段都过这一格,非写模式逐字节复现就是等值证明。
并档顺带把捕获面从「建 map+序列化」收回到「序列化」:LinkedHashMap.put 对这些值不可能
抛,所以没有一处出口被改回吞掉。RETHROW_FLOOR 381→380,出处点名续在同一处注释里。
读数按上一笔定下的复现办法当场取(上限压 0、下限抬 99999 各单跑一次本类,探完五个
常量逐格还原):整树 total=997、rethrow=380,与上一笔读到的 998/381 各差 1,正好等于
本笔摘掉的那一处。不重抛/只 log/空体三格是上限且常量等于上一次记录的实测值,绿即证
未涨过那一数。
行数:本支棘轮 2111→2107,对在册基线 2209 累计净减 102。基线一格未改、--write 未跑。
门禁:定向 349 例/0 红/2 skipped(含 ratchet、wiring、SourceScan、两套 golden);
后端全量 4533 例/0 红/14 skipped/BUILD SUCCESS(真实 rc=0);ops ruff All checks
passed、readability 棘轮 8 passed/1 failed——那一记红仍是另一路 80f92c38 落地的
AppearancePatentLlmClient 1419→1465(基线未同步),本笔不代收、不回写。
|
2026-10-19 16:54:37 +08:00 |
|
huangzd1997
|
852282b645
|
test(phase-3): 3C 就地补正——整树 catch 的实测数与「上限静默吸收删除」的复现办法写进常量上方
5229584a 的 message 里那句「total 随两处离开树而 1004→1002」是推算不是读数。当场复现
(把 STRICT_TOTAL 与三格上限压到 0、RETHROW 下限抬到 99999,单跑本类一次,断言文案即实测):
整树 total=998、rethrow=381。与历史数 1004 差的 6 格里本笔只占 2,另 4 处是更早几笔摘掉
catch 时静默吸收的——total 是上限,只在新增加时红,删掉从不回头核对,所以常量上方那些
「实测 1003/1004」会与现实脱钩。
判据一格未动:四格上限原样、下限按实测 381 钉住(要收紧上限得逐处记名另笔请示)。
纯注释改动,复跑 9 例/0 红。
|
2026-10-19 16:26:48 +08:00 |
|
huangzd1997
|
80f92c387b
|
fix(外观专利): 整批商标查询无一返回时表上改说「上游整体不可用」
2026-10-19 现网取证:品牌库代理套餐过期(供应商回 {"code":-1,"message":"套餐不存在"})
→ 16890 代理池恒为 0、一次代理都没挂上 → 全部直连打 WIPO branddb 被整片 Forbidden
→ 交付表 11 行全写「商标查询失败」。逐行失败可能是那个词本身查不了,整批全失败只可能
是上游挂了,两者在表上必须长得不一样;否则运维故障被伪装成数据问题,用户看不出该做什么。
新文案保留「商标查询失败」前缀,让三处既有语义逐字不变:
- isBrandQueryFailed() 继续成立
- buildConclusion 该支从返回常量改为返回 titleRisk(旧输入输出相同,新输入自动带原因)
- resolveResultStatus:新文案不含「侵权」二字,照旧判「失败」(已单独钉桩)
判据刻意保守:任一行拿到过侵权命中、或任一行查成功过即不升级;没发过查询的行
(LLM 已判「无」、标题为空)不参与判定,否则一批"无需查"的行会被误判成上游故障。
表上仍不会出现「欠费」二字——那个信息只存在于 16890 内部,Java 侧看不见。要把
message 一路带到表格,需先给 /root/BrandTesting 建版本控制再改它的响应契约。
AppearancePatentLlmClientTest 14 例 / SheetBuilder 15 例 / BrandBatch 3 例 /
BrandCheckClient* 12 例全绿;整个 test 源集 546 类编译通过,证明 applyResult
签名改动无漏改调用方。
|
2026-10-19 16:23:00 +08:00 |
|
huangzd1997
|
5229584a29
|
refactor(phase-3): 3C 第三件公共件入底——writeJson 两处并档,RETHROW 下限按逐处记名调到 381
用户授权项①。CollectDataService 的两处序列化 catch 并进底座
AbstractFileTaskPipeline.writeJson(ObjectMapper, Object, String):
① 私有 writeJson(Object, String)(唯一调用点文案「采集结果序列化失败」逐字带到调用点);
② 建单 persistParsedTask 那段 try 包两次 writeValueAsString(文案「序列化任务信息失败」)。
两支的异常类型、文案、不带 cause 这三条线协议事实一字未动——建单 4 段与回传 15 段
golden 在非写模式下逐字节复现,就是这条等值的证明。
门禁判据动了一格且是被授权动的:RETHROW_FLOOR 383→381,两处出处逐一点名写在常量上方
(沿用 3B 的 386→385、3A 的 385→383 同一格式)。total 是上限、随两处离开树而 1004→1002,
不重抛/只 log/空体三格同批复跑一个未涨——判据一条没放宽。
第三处同形状(persistStats 的 try 包 15 行 put 加一次序列化)这笔没并:授权范围是两处,
再降一格要另行逐处记名。已在常量注释里点名留下这一格,别让下一个人以为本支已经并干净。
行数:本支棘轮 2123→2111(净减 12),对在册基线 2209 累计净减 98;基线未改、--write 未跑。
门禁:定向 328 例/0 红/2 skipped;后端全量 4533 例/0 红/14 skipped/BUILD SUCCESS
(真实 rc=0)——4533 比上一读数 +5 全是另一路未提交的 AppearancePatentLlmClientTest
(9→14 枚 @Test),本笔未新增任何用例方法。ops readability 棘轮 8 passed/1 failed,
唯一 offender 仍是它家未提交的 AppearancePatentLlmClient.java 1419→1465,本笔一字未碰、
不代收、不回写基线;ruff All checks passed。真机启动验收本格仍欠。
|
2026-10-19 16:12:41 +08:00 |
|
huangzd1997
|
e1bc19d331
|
docs(phase-3): 3C 出处账续笔——底座对 CollectData 的四枚行号指针改指方法名,publishResultFile 的「六支同形」改写成分层事实
迁移把被迁支的行号整体挪动,指针会腐烂(3A 已为此把 :1265 换成方法名,这次同一
失效模式又出现四处):TerminalRejection#IDEMPOTENT/newTaskHeader/successFileCount
/enqueueResultAssembly 的 CollectData 读数一律改指 persistParsedTask、
enqueueFinalWorkbook、processResultFileJob。
publishResultFile 那条「六支逐字相同」在 3C 之后不再成立,按实测改成分层表述:
列形状七支都有,真接上本件的目前只有 shop-payload 两支(grep 全树 publishResultFile
调用点核实),另有三种「接不上」的理由——ShopDataCrawl 批量条件更新、DeleteBrand
的可空 rowCount、CollectData 的上传必须排在 persistStats 之前(那条时序是自愈前提)。
判据与代码一行未动。
|
2026-10-19 15:45:42 +08:00 |
|
huangzd1997
|
49107bb2ad
|
test(phase-3): 3C 就地更正——装配切片注释里的同族件数(Mapper 5→6、ExcelAssemblyService 3→4)
e6853a0e 那段「风险最高的三组」是按前五支的读数写的,本支接进来之后:本支私有
Mapper 是六枚(另有交给 super 的两枚),跨支同族的 ExcelAssemblyService 是四支、
LocalFileStorageService 是三支。判据一条没改、assertSame 一条没动,只是注释别再
把下一个读的人带偏。复跑 5 例/0 红。
|
2026-10-19 15:38:19 +08:00 |
|
huangzd1997
|
e6853a0e4f
|
refactor(phase-3): 3C 第六支接入底座——八件十一点,接不上的七格逐格立账
CollectDataService extends AbstractFileTaskPipeline<CollectDataResultRowVo>:
@RequiredArgsConstructor 换成显式 29 枚构造子(参数表逐枚沿用原字段声明序,
两处 29 枚实参的测试调用点一个字未改),五枚底座依赖交 super;钩子两枚
moduleType()/loadTaskForSubmission()(DB 直读派)。
接上的公共件(八件十一点):newTaskHeader/insertTask/newScopeRow×2(建单结果行
+ ensureTaskResult 补建行)/requireSubmissionTask×2(锁外预检+锁内复核,全族
第一次同一格被一支用两次)/rejectTerminalSubmission(IDEMPOTENT)×2/
enqueueResultAssembly。锁外那格的 warn 留在调用点(底座件刻意不打日志)。
接不上、逐格留本地写法并写明理由:admitSubmission 整段(本支两段准入、那一格一次
走完);requireUserId(现网把 request 空判与 userId 非法合并成同一格判据);
requireTaskId(本支没有那一格,golden 已证);acquireSubmissionLockOrThrow(文案
差一个字、warn 还带 waitMillis);listScopeRows(本支要 limit 1 首行);
publishResultFile(底座把上传捆在写列内,本支现网先上传→persistStats→再写列,
那条时序是注释里立着的自愈前提);writeJson 两处未并(要 RETHROW_FLOOR 383→381
的逐处记名授权,本笔未动门禁)。
行数账:显式构造子+钩子 ≈+65、②抵掉 22 ⇒ 本支棘轮 2080→2123(+43),对在册
基线 2209 仍净减 86;基线一格未改、--write 未跑。额度来源是上一笔 A 聚类抽件的
−129,抵平因此跨了两笔,这一点如实登记。
装配面:TaskServiceWiringSliceTest 补第六支——真容器起六支、本支 24 枚私有件逐枚
assertSame、并断言本支不再留 taskFileJobService 同名字段;moduleType() 第五个读数
assemble("COLLECT_DATA")。
门禁:定向 341 例/0 红/2 skipped;wiring 5 例/0 红;后端全量 4528 例/0 红/
14 skipped/BUILD SUCCESS(真实 rc=0,用例数与上一读数相同——本笔只加断言不加
方法);两套 golden 非写模式逐字节复现;ops ruff All checks passed、readability
棘轮 9 passed;格式步未纳管 ⇒ 如实跳过。真机启动验收本格仍欠。
|
2026-10-19 15:33:50 +08:00 |
|
huangzd1997
|
0168a30ae4
|
refactor(phase-3): 3C 拆薄第一笔——A 陈旧扫描聚类抽成 support 件,服务棘轮 2209→2080
把 CollectDataService 的心跳线与二次判死线的「扫描+判定」搬到
modules/collectdata/service/support/CollectDataStaleTaskScanner(287 行),收尾
(ensureTaskResult / loadStats / hasReceivedChunks / enqueueFinalWorkbook /
markTaskFailed)留在服务侧经两枚 @FunctionalInterface 回调交回——与
AppearancePatentStaleTaskScanner 同一形状。判据、步序、日志文案逐字保持;
状态字面量改走 TaskStatuses.FileTask.RUNNING;两处 LockSkipWitness 点位仍写死
字面量在调用处(护栏尺不许常量)。服务侧留 finalizeNoUploadStaleTasks 薄委托,
因 CollectDataNoUploadStaleTest 按名字反射点名它。
目的是给 3C 迁移的 29 枚显式构造器(≈+47 行)腾出「同笔抵平」额度:
本笔净减 129 行,基线一格未改。
门禁:定向 349 例/0 红/2 skipped;后端全量 4528 例/0 红/14 skipped
(较上一读数 +10 = 3E/3C 两支新 golden 各 5 枚 @Test);ops ruff All checks
passed、readability 棘轮 9 passed。
|
2026-10-19 14:55:32 +08:00 |
|
huangzd1997
|
465ee06b7c
|
test(phase-3): 3C 快照自我更正——selectById 改成按主键取,别再拿替身的形状当现网语义
上一笔 c4cf7bab 的 invalidTaskIdFallsThroughToNotFound 那格没有证到它在 message 里
声称的东西:替身写的是「selectById(any()) 一律返回那只内存任务」,于是 taskId=0 一路
跑完了整条 happy path,golden 里那 20 行证的是**测试替身的形状**,不是现网语义。
而 commit message 与用例名都写着「非法 id 一路走到『任务不存在』」——那句当时并不成立。
改法:selectById 按主键取行(Objects.equals(id, TASK_ID) ? task : null),非法 id 在
锁外预检就得到「任务不存在」;用例改名 invalidTaskIdRejectedAsNotFound。
现在那一格读出来是 task.load id=0 status=- / thrown code=- message=任务不存在 /
lockAcquire=0 outsideLock=0 —— 这支没有 requireTaskId 那一格这件事,第一次被真证住。
其余 14 段 case 逐字节未动(diff 只有这一格),说明替身收紧没有波及其他形状。
门禁:CollectDataSubmitResultSnapshotTest 5 例(写模式)+非写模式复跑 4 passed/1 skipped,
golden 跨两个 JVM 逐字节相同。
|
2026-10-19 14:20:54 +08:00 |
|
huangzd1997
|
c4cf7bab7f
|
test(phase-3): 3C 前置——补 collectdata 回传段 golden,钉住「两段准入」的现网步序
CollectDataSnapshotTest 只锁到建单+解析+载荷,submitResult 那一段按 §5「先补再动」
必须先在非源上落一笔。本笔吃真实入口 service.submitResult,golden 270 行/15 段 case,
渲染的是调用顺序流水而非分组清单。
这支与另五支最不一样的是**准入发生两次**:锁外预检(快速失败,不为终态任务白跑
去重与品牌检测)+锁内重读复核。于是流水把四个锁外副作用(filter/brandFilter/
asinCache.write/recheck.enqueue)也记下来,terminalRejectedBeforeLock 与
taskNotFoundBeforeLock 两格读出来是 lockAcquire=0 outsideLock=0 ——
「预检在取锁与全部预处理之前」这条形状从此改不动了。
钉住的其他现网形状:
- 重复分片:锁外预处理照跑、锁内 dup 命中后一条库都不写,vo.currentChunkRows=0
- 结果行按需新建(sourceFilename 空串那一形),scopeKey 用 submissionId 回落 "task:{id}"
- done=true 才挂最终组装;带 error 且已收到分片 ⇒ 标失败也照常组装(28599 那起的账)
- 空 ASIN 的行不进过滤链但仍进 chunk payload(结果文件 sheet 要全量)
- requireRustfsPayload 的形状:指针不是 rustfs: 前缀 ⇒ 先 deletePayloadIfPresent 再抛,
顺序反了就是留垃圾对象(chunkPointerNotRustfs 那格钉住)
- 锁竞争抛的是 code=40902 +「任务正在处理,请稍后再试」——与底座件的
「任务正在处理中,请稍后再试」差一个字,本笔只登记不统一
- 这支没有「taskId 不合法」那格:非法 id 一路走到「任务不存在」(invalidTaskId... 那格)
长内容只进长度与 sha256 前 12 位(resultJson/chunk payload),时钟与雪花 id 不进快照;
同一夹具跑两次+跨两个 JVM 复跑逐字节相同(golden 由写模式生成后,非写模式复跑一字未动)。
门禁:collectdata 全面+棘轮/边界/面数见证 定向 320 例/0 红,BUILD SUCCESS。
|
2026-10-19 14:16:37 +08:00 |
|
huangzd1997
|
394145deb5
|
refactor(phase-3): 3E 第五支接入底座——接得上七件九点,接不上的六格逐格立账
DeleteBrandRunService extends AbstractFileTaskPipeline<DeleteBrandParsedFileCacheDto>:
@RequiredArgsConstructor 换显式 14 枚构造子,五枚(两支 Mapper+锁+Job+OSS)交 super,
本支不再重复声明那五个字段;moduleType()/loadTaskForSubmission() 两枚钩子落地。
接上并逐点核对的七件九点:requireUserId(:176)、newTaskHeader+insertTask(:180/183)、
newScopeRow 两处(:259/271)、requireSubmissionTask(:1372)、enqueueResultAssembly(:1516)、
listScopeRows 两处(:1609/1717)。
接不上、且都写了实测理由的六格(不是「没做」,是「做了会改行为」):
- requireTaskId:本支 :1361 文案「任务 id 不合法」≠ 底座「taskId 不合法」,且它在取锁之前
- rejectTerminalSubmission:本支 :1384 只说「任务已结束」——同一 ERROR 形内部有两种文案,
底座把文案写死了
- acquireSubmissionLockOrThrow:本支 :2249 抛不带 TASK_BUSY code 的那句,而 :1577 用
message.contains("任务正被占用,请稍后重试") 当收尾跳过的判据 ⇒ 换件=改锁竞争语义
- writeJson:本支建单走 hutool JSONUtil,压根没有 Jackson 序列化失败那一格
- publishResultFile:形状同但本支 :1916-1924 写的是可空 Integer rowCount(缓存 DTO),
底座件收 int ⇒ 套上去要么 NPE 要么把 NULL 洗成 0
- taskCacheService():DeleteBrandTaskCacheService 不继承 AbstractModuleTaskCacheService
(第二例,第一例是 AP 的兄弟抽象)⇒ 心跳那格没有承接件,admitSubmission 整段用不上
另有 :1770 那处 enqueueAssembleResult 因吃掉返回值(按 job.status/retryCount 判组装已终态
失败)也没换。底座 javadoc 的四处出处账按上述实测更正,并把 :1265 那枚会腐烂的行号指针
改成方法名指针。
拆薄同笔抵账(readability 点名基线只许降):删两枚零调用私有件 countCompletedFiles/
inNewTransaction,接走建单 12 行与结果行各 5-7 行;棘轮读数 2305→2300。本支手抄的
「!MODULE_TYPE.equals(」由 8 处降到 7 处(TaskLifecycleDebt 那格方向对)。基线一格未改。
接线:TaskServiceWiringSliceTest 加第五支(3 枚新 @Bean 桩+逐枚 assertSame 本支 9 枚私有件
+「五枚底座字段不许在本支重复声明」那条 NoSuchFieldException 断言+DELETE_BRAND 那对
moduleType 验证);顺手把这篇测试自己两处会撒谎的计数(两支/三支)改成实数。
门禁:后端全量 mvn -o test 4523 例/0 红/0 错/13 skipped,BUILD SUCCESS;两条 deletebrand
golden(run-snapshot+昨日新落 submit-result-snapshot)跑完 git status 一字未动 ⇒ 建单/解析/
载荷/回传四段对外行为零变化;定向 79 例全绿;ops 面 ruff All checks passed、readability 9 passed。
⚠ 真机启动验收(mvn -o spring-boot:run)仍未做,五支都欠着,账在 Phase 8。
|
2026-10-19 13:33:19 +08:00 |
|
huangzd1997
|
8c771b277e
|
test(phase-3): 3E 前置——补 deletebrand 回传段 golden,先立是非源再动代码
蓝图 §5 的「先补再动」对这支仍然生效:1B 那枚 run-snapshot 只锁到建单+解析+载荷,
submitResult 出结果段一直空着。本笔落 DeleteBrandSubmitResultSnapshotTest(真入口
service.submitResult,不在测试里照抄管线)+ golden 256 行 25 例:
- 事件流水而非分组清单:取锁→加载→模块校验→终态拒→复位 RUNNING→逐片存→恢复重排→
早挂组装 job→收尾尝试,顺序换了就红(这支的准入步序与底座默认序相反,正是最怕改的一格)
- 补传恢复那格单独一例钉住:terminalFailed=true 且分片齐 ⇒ resetForRecovery+再 enqueue
- 十二格准入/校验拒绝逐格点名,写库计数全零;非法 taskId 连锁都不碰
- 实测抓到第九处读数坑:收尾 progress 走 Map.of(...),JDK 不可变 Map 的迭代顺序每次起
JVM 重排——同一棵树两次生成 keys 顺序不同。渲染改为按 key 排序,锁内容不锁桶序
(Redis hash 本就不保序,这条不损耗契约)
- 现网一条事实顺手打进流水:loadTaskForExecution 命中 DB 后会回写缓存,故「一次库都不碰」
的准确读法是 taskUpdate=0,而 taskCacheSave 可以为 1
门禁:定向 114 例全绿(四支 deletebrand 测试+六套棘轮/边界/接线),golden 跨 JVM 逐字节复现,
非写模式复跑一字未动。
|
2026-10-19 13:12:32 +08:00 |
|
huangzd1997
|
ac873b24bf
|
refactor(phase-3): 3A 拆薄第四笔——结果打包与命名抽出,并补上上一笔声称已加的见证
AppearancePatentTaskService 棘轮读数 3165→3049(本会话累计 3458→3049,净减 409 行);
新落 service/support/AppearancePatentResultPackager 206 行(<800 报警线)。
搬的是「按源文件分组 + zip 打包 + 成品命名」四枚:splitRowsBySourceFile、
packageResultWorkbooksAsZip、uniqueZipEntryName、normalizeZipFilename、writeResultZipEntry、
safeFileStem,连同只有它们用的 SourceRowsBuilder 与 SourceRows/SourceResultWorkbook 两枚 record。
分组键的三级回落(sourceFileKey → sourceFilename → __default__)、条目名去重后缀 (2)(3)…、
Windows 非法字符换下划线、异常文案——判据与字面量逐字带过来。
两处如实说明:① 三个重复出现的字面量(appearance-patent/appearance-patent-result.xlsx/8192)
收成本类常量,值一字未改;② 服务侧留三枚薄委托+一个无状态访问器(与 historyAssembler() 同一先例,
所以本笔不动构造器、不动装配),不是为了保反射接缝——AP 测试按名反射的清单里根本没有这四枚
(那批点名在 writeResultWorkbook/validateCompleteLlmCoverage 那一侧),这条前置扫描是上一笔
栽过之后固定下来的动作。
⚠ 更正上一笔的登记(768f8e05 的 commit message 说了没做):那句「另加两条 anyMatch 点名新落件」
实际没进文件——当时脚本改的是数字、那段追加从未落地。本笔把三枚新件逐枚点名进 witness,
并如实留这句更正:只把分母数字改大,护栏证的还是「数对不对」,不是「扫不扫得到」。
顺带一条既有事实登记(不是本笔引入、本笔没顺手改):文本归一化在 src/main 里有两遍——
Task 93 抽出的 AppearancePatentRowNormalizer(normalize/firstNonBlank/baseId/normalizeDisplayId)
与 AppearancePatentTaskService 自己那两枚同名私有件,服务至今一处没用过 util。扫描件本可以抄第三份,
直接引用 util 了;把服务侧那两枚切过去是纯粹的重复消除(十几处调用点同形),但那是另一笔的账。
门禁:后端全量 mvn -o test 4518 例/0 红/0 错/12 skipped,BUILD SUCCESS(无管道取码);
八条 golden 逐字节相等(git status -- src/test/resources 一字未动);ops 面 ruff All checks passed、
readability 棘轮 9 passed(3049<在册 3458,两枚新件都在报警线以下,基线一格未改)。
|
2026-10-19 12:28:41 +08:00 |
|
huangzd1997
|
768f8e0573
|
test(phase-3): 3A 拆件后同步 SourceScan 的面数见证——28→30、5→7,并让 witness 真指到新件
全量 mvn -o test 4518 例里唯一两记红都在这一支,红因是本会话的拆件:modules/appearancepatent
的服务面从 28 支涨到 30 支(support 从 5 涨到 7——新增 TaskOwnership 与 StaleTaskScanner)。
改法按该格自己的判据来。它原文写的就是「聚合入口存在的理由=拆分后的新文件要自动被看到」,
所以这不是一枚需要放宽的上限,而是一枚需要跟着真面走的**分母见证**:
- 方法名里的 28 一并改成 30(名字与断言不符就是下一处读数坑);
- 逐层拆解的注释同步(5 service/support → 7,并注明 7=既有 5+3A 新落 2);
- 另加两条 anyMatch,点名新落的两枚文件必须在面里。只把数字改大而不指到具体新件,
下一回拆件就又会只剩一个「数不对」的红,而这条护栏真正要证的是「扫得到」。
其余判据一条未动(dto 7/vo 9 未变,model 那两层嵌套没受影响)。
SourceScanTest 40 例全绿;后端全量重跑读数随后登记。
|
2026-10-19 12:00:39 +08:00 |
|
huangzd1997
|
2010074064
|
refactor(phase-3): 3A 拆薄第三笔——A 聚类(陈旧扫描与二次判死)抽成 support 件
AppearancePatentTaskService 棘轮读数 3349→3165(本会话累计 3458→3165,净减 293 行);
新落 service/support/AppearancePatentStaleTaskScanner 313 行(<800 报警线,不进超长清单)。
搬走的是「扫描+判定」:候选列举、心跳是否过期、判死文案按证据分述、二次判死那条线
(心跳新鲜但分片久不来,看 biz_task_scope_state.last_chunk_at)、取锁与 LockSkipWitness 留痕。
收尾那一步 finalizeStaleTask 留在服务侧、以 StaleDeathFinalizer 回调交进来——它要动事务边界、
封口与 LLM 批管线,那些件还在服务里,一起拖出去就得再造一套构造器,正是上一笔刚结清的那种亏。
两条线的先后与分工原样保留(sweep 末尾照旧接 sweepNoUpload;同一条任务在两把尺上的期望相反,
合并判定就会有一边失明)。日志文案、tag 字符串、取锁参数(不等待、TTL 由服务侧交进来)逐字没动。
两处当场判红、当场修,都是本笔的账:
- AppearancePatentNoUploadStaleTest 三支 Method not found:那支测试用 ReflectionTestUtils
按名字点名 finalizeNoUploadStaleTasks 这枚私有方法。抽件前只扫了调用点没扫反射点名——
AGENTS.md §1 铁律 2 写的就是这个面。处置是保留同名入口(包内可见)转调到扫描件,
测试接缝与原语义都不动,理由写在方法注释里。
- TaskStatusVocabularyRatchetTest:扫描件里那行 STATUS_RUNNING = "RUNNING" 让 src/main 手写
状态标量从 70 涨到 71。这格是只许降的棘轮,降法本来就写在该尺的报错文案里——改成引用
TaskStatuses.FileTask.RUNNING,一格判据没放宽。
门禁:定向批 435 例/0 红/0 错/5 skipped(golden 生成器),BUILD SUCCESS,取码走无管道写法;
含 *Stale*Test 七支与 ForbiddenLogAuditTest(搬移带 WARN,日志面也过)。八条 golden 逐字节相等。
|
2026-10-19 11:54:17 +08:00 |
|
huangzd1997
|
f3ac3cb20b
|
refactor(phase-3): 3A 拆薄——归属实例谓词收成 support 件,服务侧只留薄委托
AppearancePatentTaskService 棘轮读数 3381→3349;新落 support/AppearancePatentTaskOwnership
114 行(<800 报警线,不进超长清单,readability 棘轮无需登记例外)。
形状与判据一字未改,只是换了住处:owner 优先读 owner_instance_id 列、回落
resultJson.ownerInstanceId 快照(那条 2026-09-30 内部认领实测的注释原样带过来)、
scopeKey 按 ":owner:" 尾段解析、TaskOwnerMismatchException 四枚入参顺序照旧。
服务侧留六枚 1-3 行薄委托+一处 taskOwnership() 访问器——这是本模块已有的先例
(historyAssembler() / sheetBuilder() 同样是服务内部 new 的普通对象,不是 Spring bean),
所以本笔不动构造器、不动装配、注进 wiring slice 的东西一个字节没变。
为什么现在搬:A 聚类(陈旧任务扫描与二次判死)紧接着要抽出去,它跨实例接管那格要用
同一套谓词。谓词留在服务里只有两条路——扫描件回调服务,或者再抄一遍三枚。后者正是
TaskLifecycleDebtRatchetTest 钉住的债(同一条安全谓词手抄 130 遍、只许降),
所以收成一枚可复用件,而不是多一处抄本。
⚠ 一处可观测差异如实登记:两条 WARN 的 logger 名从 ...AppearancePatentTaskService
变成 ...service.support.AppearancePatentTaskOwnership;消息文本、级别、参数顺序一字未动。
按 logger 名做检索的人要跟着换,别读成「日志丢了」。
门禁:定向批 349 例/0 红/0 错/5 skipped(golden 生成器),BUILD SUCCESS;八条 golden
逐字节相等;CatchSilence 四格未动(搬移不改树上 catch 总数);ArchitectureBoundary 绿。
|
2026-10-19 11:47:18 +08:00 |
|
huangzd1997
|
f0c672025d
|
refactor(phase-3): 3A 接入底座——建单段与一格准入沉下去,回传段其余部分按证据未动
AppearancePatentTaskService 继承 AbstractFileTaskPipeline<AppearancePatentResultRowDto>。
棘轮读数 3458(在册基线)→3381:显式构造器成本 +26,被建单段下沉(-25)与三枚零调用
私有件出仓(-33)对冲掉,本笔自身净减 7 行、较基线净减 77 行。
接得上什么、接不上什么(这次是第四条实测,答案与前三支都不同):
- 接得上底座:newTaskHeader/insertTask/newScopeRow/writeJson/requireUserId/
requireSubmissionTask/ensureTaskOwnedByCurrentInstance(本支那枚私有同名件签名逐字相同,
改成 @Override 就接上了)。
- 接不上家族层:本支是 chunk+scope 族(按 submissionId 分片),套 shop-payload 就是把
「按分片合并」换成「按店铺合并」。装配切片里那条 getSuperclass 断言现在盯住了这一点。
- 接不上缓存钩子:本支的 AppearancePatentTaskCacheService 继承的是同族兄弟
AbstractPendingRowTaskCacheService,不是 AbstractModuleTaskCacheService ⇒ 底座
taskCacheService() 钩子对它无类型可套。处置是不覆写那一格(默认 null 已经对),心跳留在
persistSubmittedChunk 自己那句 touchTaskHeartbeat——不是本支没心跳,是两套抽象接不上。
底座 javadoc 把 AppearancePatent 列进「4/7 支有模块缓存服务」那格,这条读数不准,
已在本笔注释里点名更正(蓝图 §5 同步登记)。
- 没动的部分:回传段其余步骤(终态判定用 TaskResultAdmission.rejectNotRunning,比底座
rejectTerminalSubmission 宽——凡非 RUNNING 皆拒,且 40901 只在真终态那格带)与
acquireTaskLock 的非阻塞变体(抢不到返回 null 让巡检跳过下一轮,底座只有「抢不到即拒提交」
两型)。这一段没有 golden,按「先补再动」只做了 prepareSubmittedChunk 那一格
逐字同形的四行替换,其余一个字节没碰。
捕获账:本支两处序列化 catch(私有 writeJson(Object,String) 与建单那段 try/catch)并进底座
已有的 writeJson ⇒ RETHROW 385→383,按该尺自己写的处置口径逐处记名(出处写在
CatchSilenceRatchetTest 常量上方),用户授权沿用 3B 那一笔的同项拍板。不重抛/只 log/
空体三格未涨,其余判据一格没放宽。
门禁:定向批 452 例/0 红/0 错/5 skipped(五格是 golden 生成器,未设环境变量时如实 skip),
BUILD SUCCESS 取码走无管道写法。八条 golden 逐字节相等——git status -- src/test/resources
一字未动(本支新建单那条 + 前三支那六条都在跑)。装配切片接进第四支:22 枚参数逐枚点名,
含「五枚交 super 之后本支不再持有同名字段」那格 assertSame。
真机启动验收仍没做(要 MySQL+Redis),这条账继续挂在 Phase 8。
|
2026-10-19 09:36:48 +08:00 |
|
huangzd1997
|
7b7d22cbb4
|
test(phase-3): 3A 迁移前补建单段 golden——吃真服务入口,不再抄一遍管线
AppearancePatentCreateTaskSnapshotTest(8 例)+ appearancepatent/golden/create-task-snapshot.txt。
渲染的是建单的落库事件流水:task.insert → payload.store → task.update → result.insert → scope.insert。
为什么已有 parse-snapshot.txt 还要再补一支:那支锁的是解析本身,而且是在测试里
重跑管线(自建 ExcelParser + 自己抄一份 baseId/hydratePromptFields),一行库没碰、
真入口一次没进。3A 要换掉的恰恰是 parseAndCreateTask 里那几行落库,那份 golden
对这件事零保护——蓝图 §5 的规矩写得很直白:「照抄那种对迁移零保护(旧代码消灭了测试还绿)」。
钉住的三段本支特有形状:
- 建单全程无事务:载荷存储失败时任务头行已经 insert(最后一节只剩 task.insert 一行),
这是副作用边界,不是 bug 登记——底座不提供任何事务语义,迁移时必须原样保住。
- 结果行 success 留 NULL(不是 0 也不是 ShopDataCrawl 的 -1)、rowCount 写的是接受行数,
所以底座 newScopeRow 的这两列只能由本支显式交进去。
- resultJson 是索引不是数据(六个顶层键+一枚载荷指针),真载荷只留 ptr://。
顺手钉出一条反直觉读数:maxParseRows 是「截断」口径不是「拒绝」口径——单文件读到上限
行数时 aggregate 那格的上限判定根本不触发,整单照建(golden 末行 events=5 就是这条)。
不顺手改,只登记。
时钟与雪花 id 不进快照;长内容取 sha256 前 12 位当摘要。两次独立 JVM 复跑逐字节相同
(generator 那格在未设环境变量时如实 skip)。AppearancePatent*Test 264 例全绿。
|
2026-10-19 09:24:59 +08:00 |
|
huangzd1997
|
3471a4429f
|
refactor(phase-3): 3A 拆薄第一笔——appearancepatent 的死 Excel 读取件出仓 70 行
AppearancePatentTaskService 棘轮读数 3458→3388。删的是八枚私有件:
readHeaders/readRowValues/buildHeaderMap/findRequiredHeader/
findOptionalHeader/findOptionalHeaderExact/normalizeHeaderAlias/cell,
连同因此悬空的两个 POI import(DataFormatter、Row)。
判据不是"看着没人用":这八枚是 AppearancePatentExcelParser 抽走解析本体后的残留,
逐条数过文件内出现次数=1(只有定义行),src/test 全树零命中,跨五棵树的同名
命中全在别的模块自己的 parser 里(SimilarAsinExcelParser/SplitRunService/
AppearancePatentExcelParser 各有一份,不是对本支的引用)。私有方法没有反射、
DI、动态路由面(§1 铁律 2 五路复扫)。同段落里 isAppearanceResultWorkbook/
hasHeader/shouldInspectRow/baseId/normalizeDisplayId 仍在用,一个没碰。
门禁:AppearancePatent*Test 236 例全绿(含 parse-snapshot golden 那支),
mvn -o compile 干净。golden 文件一字未动。
|
2026-10-19 09:07:29 +08:00 |
|
huangzd1997
|
2542669346
|
refactor(phase-3): 3B 的 +20 按「真拆薄」清账——支内去重 40 行,基线一格未改
用户拍板「不改基线、不代登记,在本支内再找可沉件」。棘轮读数 3216→3176,
回到在册 3196 以下 20 行,docs/readability-baseline.json 一字未动。
五处支内去重(逐条等价,非"顺手统一"):
- persistTaskJson 的落库尾部(setResultJson + syncSnapshotTables)改调
persistSnapshotJson,两段落库收尾并成一枚本地件。异常包装面不变:外层 catch
仍在,updateById 仍在 try 内(把下游异常放出去就是改线协议,Phase 2 记过这句)。
- registerUploadedObjectRollback 接进 registerRollbackObjectCleanup:两者只有
「无事务时它删、这里不删」一格之差,用 isSynchronizationActive() 守卫包住即等价。
- loadDailyMemberData 的内联成员排序换成已有的 sortedDailyMembers(逐字同形)。
- applyPartialSuccessToSnapshot 并为 applySuccessToSnapshot 的重载,两个调用点
显式传 PARTIAL_RESULT_MESSAGE(与紧邻的 markResultPartialSuccess 同源常量)。
- 删 loadTaskMap(List<FileResultEntity>):私有、五棵树零调用、自 e453e822c
(2026-07-28「菜单修改优化」)引入起就是死件——不是本轮迁移造出来的。
六条 golden(本支两条+孪生两支四条)逐字节相等:git status -- src/test/resources
整轮一字未动。CatchSilence 9 例/TaskLifecycleDebt 3 例/WiringSlice 5 例全绿,
定向批 330 例只剩 ShopDataCrawlTemplateLargeWorkbookTest:193 那格 5000ms 耗时断言
判红(读到 1,486,511ms),单跑 16 例复绿(31s)——与 Phase 2、首迁同一对第三记,
是本机被并发抢核,不在本笔面上。
|
2026-10-19 09:02:09 +08:00 |
|
huangzd1997
|
ad1865567e
|
test(phase-3): 真实容器装配切片接进第三支——23 枚参数那张表也要跑过而不是推理过
用户 2026-10-19 拍板第 3 项留的那格欠账,本轮由「两支」扩到「三支」:
ShopDataCrawlTaskService 的构造器同样是 Lombok 生成枚换成显式枚,且参数表最长(23 枚)。
切片走真的 Spring 构造器解析,判据是逐枚 assertSame(不是「refresh 没抛异常」——那两句在
同批的非零对照里已被证伪:两枚带参 public 构造器容器起不来、无参+带参那枚 Spring 静默挑无参、
字段全 null 照样绿)。除底座五枚外,本支另点名 11 枚私有件:缓存服务/装配服务/resolve 服务/
两枚同族 Mapper/TransientPayloadStorage/InstanceMetadata/每日文件/item store/转发端口/
心跳位/事务管理器——同族三个 bean 最容易串位,串一枚当场红。
第三条正判顺手钉住「三支三个 moduleType」:progressLight 各自打到自己的枚举形。
另加一条继承链断言:本支的直接父类必须是底座,不是家族层(家族模板会改掉它的准入步序与收尾闸门;
用 getSuperclass 而不是 !(x instanceof 家族层)——静态类型不可能成立时 javac 直接拒绝后者)。
|
2026-10-19 03:02:39 +08:00 |
|
huangzd1997
|
695f570d59
|
refactor(phase-3): ShopDataCrawl 接入底座,家族层按证据不接——三支接得上、两处接不上写死
七支巨石里第三支接进 AbstractFileTaskPipeline。它接的是**底座**、不是 shop-payload 家族层:
家族模板 submitShopScopedResults 要求「按店名自建索引→逐行→changed 闸门→重算」,本支三条都不成立
(索引自建且带「回传店铺与任务不匹配」这道拒、单店合同 resultRows.size()!=1、尾部无 changed 闸门
而是无条件 persistProgressOrSnapshot+tryFinalizeTask)。照家族层套就是替它改行为。
本支复用底座的六件:newTaskHeader/newScopeRow(带显式时刻那一版——建单时刻一枚复用给头行与每一行,
默认时区逐行各取那一版会把这格改掉)、insertTask、listScopeRows(本地 listTaskRows 与孪生两支逐字同形,删)、
requireUserId(本地 validateUserId 逐字同形,删)、requireTaskId、writeJson(第四份同名件并进来,
捕获账净减:RETHROW 386→385 按该尺自述的「逐条点名改基线」处置,出处与授权逐字写进
CatchSilenceRatchetTest 注释;total 1002、不重抛/只 log/空体三格未涨)。
两处「按证据不做」写进代码而不是只留在注释里:
1)准入步序现网先归属后终态,与底座默认序相反 ⇒ 为它把 admitSubmission 拆成
requireSubmissionTask/rejectTerminalSubmission/touchSubmissionHeartbeat 三格、按本支的序复用;
孪生两支走的默认序一个字没动,它们的 golden 就是这条等值的证明。
2)收尾刷结果列走 LambdaUpdateWrapper 批量条件更新(只刷 success=1 的行、不写 success/errorMessage、
objectKey 传 null)⇒ publishResultFile 仍不适用,本地写法保留。
代价要说在白处:显式构造器是继承的结构性成本,本支 23 枚参数(孪生两支 17/15),
ShopDataCrawlTaskService 3196→3215 行——这一格在 readability 棘轮上是**涨**,
与 Phase 3「只许降」那条准出标准相冲,不自行改基线判据、留给用户拍板。
对撞证据:本支两条新 golden(建单 14 例/回传 20 例)+孪生两支四条 golden 迁移前后逐字节相等,
git status -- src/test/resources 一字未动;后端全量 mvn -o test 绿。
|
2026-10-19 03:02:25 +08:00 |
|
huangzd1997
|
b11bc599cd
|
test(phase-3): 3B 迁移前把 shopdatacrawl 的建单与回传两段钉成 golden
蓝图 §4 Phase 3 首迁实录写的开工前置第①条——「那五支的 submitResult 同样没有 golden,
各自补完才能动」。本笔只补件、不动生产码一支。
回传段 20 例、建单段 14 例,渲染的是副作用**先后**流水而不是分组清单,三格专门钉住
Phase 2/3 已登记的「不许顺手统一」:
- ownershipCheckedBeforeTerminal:本支先查归属再判终态(底座 admitSubmission 默认序相反),
套错就 40903 → 「任务已结束」;
- terminalTaskRejectedWithoutCode:终态重复提交本支不带 40901,线协议与孪生两支不同;
- completedRowFlushesWorkbookColumns:收尾刷结果列走 LambdaUpdateWrapper 批量条件更新
(只刷 success=1 的行、不写 success/errorMessage、objectKey 传 null),publishResultFile 不适用。
建单段另钉一格快照本来看不见的性质:建单时刻一枚复用给头行与每一行结果行,故只断
createdAtEqualsTaskCreatedAt=true 而不打印时钟——底座五参 newTaskHeader 是「逐行各取一次」那一派,
照搬就把这格改成 false。
|
2026-10-19 02:31:42 +08:00 |
|
huangzd1997
|
278eaaec2c
|
test(phase-3): 补真实容器装配切片——两支 @Service 的构造器形状改动从推理变成跑过
蓝图 §4 第 4 步那格「真机启动验收」连续两笔如实登记未做(本仓没有全容器装配测试,
spring-boot:run 要 MySQL+Redis),Phase 3 又恰好动了 @Service 的构造器形状
(Lombok 生成枚 → 手写显式枚,还多一层 super(...) 交 5 枚)——装配相邻的风险不该只写在注释里。
本切片不连库,走的是**真的 Spring 构造器解析**(AnnotationConfigApplicationContext+@Bean 桩),
用户 2026-10-19 拍板补这一格。
三条正判:① 两支在容器里建得出来且真的 instanceof AbstractShopPayloadTaskPipeline
(Phase 3 的准出是「有生产调用方继承底座」,不是单测证明契约可用);
② 交给 super 的那 5 枚 + 两支各自的 12/13 枚私有件**逐枚 assertSame** 到对应桩 bean
——同族两个缓存服务、两个装配服务、两个 candidateMapper 是最容易串位的,
少交一枚或交 null 编译期挡不住,只有这里看得见;
③ 调一次 progressLight 后 verify assembler 分别收到 "SHOP_MATCH" 与 "PRICE_TRACK" 一次:
moduleType() 是迁移新加的钩子,回错一支会把心跳、结果行与组装 Job 全挂到别人模块上,
而建单照样成功——那种错只有这条能抓。
两条非零对照(缺了它们,上面的绿就说明不了任何事):
- 两枚 public 构造器且都带参 ⇒ 容器必须起不来(探针实测起不来 ⇒ 判据不是恒绿);
- 一枚无参+一枚带参 ⇒ Spring **静默挑无参那一枚**,refresh 成功而字段全 null。
第二条专门钉住「只断言 refresh 不抛异常」这种会说谎的判据,所以正判走的全是 assertSame/verify。
依赖一律 Mockito 桩:本片量的是装配,不是协作者行为。5 例全绿。
|
2026-10-19 02:04:10 +08:00 |
|
huangzd1997
|
2f0b6b0de9
|
refactor(phase-3): PriceTrack 接入家族骨架,两支逐字重复的作用域行查询下沉 listScopeRows
孪生支之二迁完,§3.1 那句「七支到底接得上几支」现在有实测答案了:shop-payload 那一族
两支都换得上,且各自判序原样保留——本支是「先判 error → 再判 success==FALSE → 处理删跳过
ASIN 的信号 → 最后才合并」,ShopMatch 相反(先合并再判 error),这段家族层 javadoc 点名
「刻意不沉」,本笔一个字没碰。
段 3 整段(准入→取锁→建索引→逐行→changed 闸门→重算状态)改为 submitShopScopedResults;
建单段的头行与结果行改为 newTaskHeader/newScopeRow 的默认时区那一派(本支现网就是
LocalDateTime.now(),与 ShopMatch 的业务时区那一派刻意分成两枚重载,不替谁归一)。
一处「想并但没并」要说在白处:本支 createTask 那格序列化 catch 没接进 writeJson——
并进去会把 CatchSilenceRatchetTest 的 RETHROW 那一格跌破下限 386(它是下限不是上限),
调它属于「改门禁判据」动作、要逐处记名,与 Phase 0 那格三格守卫同批做,不在迁移笔里顺手干。
所以本支的捕获账一个字未动(ShopMatch 那笔才是净减一处)。
终态拒绝前那句 [price-track] submitResult rejected 留在了 loadTaskForSubmission 里:
底座刻意不打日志(七支只有一支打),而骨架没给 throw 前留落点;这一格的条件与顺序与迁移前
逐字相同(模块校验已过、马上 throw),巡检按它数过被拒的回传,删就是改现网可观测行为。
顺手收掉本面 7 处(两支合计 13 处)逐字相同的作用域行查询
eq(taskId).eq(moduleType).orderByAsc(id) → listScopeRows(taskId):这不是清理,是 §3.1
段 3 里已沉的件,Phase 3 的本职就是把内联副本换成它。可读性账因此对得上:显式构造器是
结构性成本(PriceTrack 一度 2331 行、另一路已代登记在飞那笔),去重后回落到 2302 行,
严格低于迁移前 2303;ShopMatch 2028→2008。
证据:两支建单+回传四条 golden 逐字节相等(git status -- src/test/resources 一字未动);
定向批 387 例全绿;全量 mvn -o test 4495 例/3 红/0 错/9 skipped(27:58,机器被并发拖长),
三红逐条单跑复绿(ShopDataCrawl 那两格是 5000ms 耗时断言被抢核、DuplicateCheckRefreshScheduler
那格是真实时间窗在全量并跑里抖),无一条落在本笔的面上。
|
2026-10-19 01:31:14 +08:00 |
|
huangzd1997
|
84f248fa6c
|
fix(外观专利): 兜底归属校验接进 TaskFinalizeSupport 出口——手抄谓词棘轮回落 130
上一枚 commit 的 fallbackAssembleResultFile 手抄了 2 处
「!MODULE_TYPE.equals(x.getModuleType())」,把 TaskLifecycleDebtRatchetTest
钉死的 130 推到 131。按棘轮注释的指路接公共出口:
- TaskFinalizeSupport 新增 belongsToModule(expected, record) 静态出口
(expected 为 null 判不归属,防御守卫静默失效);
- 兜底 2 处改走出口,净增 0,遍数回落 130;
- 出口语义 3 例钉在 TaskFinalizeSupportTest。
|
2026-10-19 00:15:08 +08:00 |
|
huangzd1997
|
49eee59a13
|
fix(外观专利): 失败兜底出部分结果文件+WAIT_LLM 停放作业心跳续租(31302/31354)
线上两例死法修复,目标是「任务失败了也能下载」:
- 31354:组装作业在 WAIT_LLM 停放期执行线程已退出、Worker 执行期心跳
已取消,job 级 stuck 扫描按 updated_at 判陈旧,5 分钟阈值×5 次重试
耗尽后误判「文件生成任务运行超时」。客户端心跳经
AppearancePatentTaskHeartbeatSpi#onHeartbeat 按
dbJobTouchIntervalMillis(默认 60s,远小于 5 分钟阈值)节流续租
(touchRunningAssembleJobsIfStale,与 SimilarAsin 同口径)。
- 31302:覆盖率闸门判红重试 5 次判死后,1196 行成品零交付且不能下载。
接通 fallbackAssembleOnFailure 兜底钩子:作业判死后用已有分片出
部分结果文件(validateCompleteLlmCoverage 加 allowPartial 旁路),
写上 result.resultFileUrl 后前端下载按钮即恢复;兜底幂等(已有
结果文件短 路)、不动任务终态、与补传恢复重跑兼容。
- 棘轮尺 STRICT_TOTAL 1003→1004、NOT_RETHROW 561→562 抬格并逐处
记名(兜底自吞 catch 属接口契约要求的 fail-open 形状)。
全量 mvn -o test 4492 支 0 失败(9 skipped 为既有跳过)。
|
2026-10-18 23:41:24 +08:00 |
|
huangzd1997
|
1be4d766bb
|
refactor(phase-3): 首迁 ShopMatch 接入管线底座,顺手补齐三件实测缺件
蓝图 §5 Phase 2 那条「两支公共件目前零生产调用方、契约可用只由单测证明」在本笔解除:
ShopMatchTaskService 现在真的继承 AbstractShopPayloadTaskPipeline,submitResult 的
「准入→取锁→按店名建索引→逐行合并→changed 闸门→重算状态」整段改为骨架调用,
本支只留 applyShopResultRow 与 onShopRowsRecomputed 两个钩子——判序(先合并再判 error)
留在被迁支里,家族层 javadoc 点名「刻意不沉」的就是它,没动。
底座缺件三件,都是「换不上就是本类缺件」那条规则的实测产物:
① newTaskHeader/newScopeRow 各加一枚带显式时刻的重载。ShopMatch 建单用的是
now()=LocalDateTime.now(Asia/Shanghai) 且同一枚时刻复用给每一行结果行,
底座原来只有默认时区、逐行各取一次那一版——直接套上去就把建单时间整体挪了,
而这条快照量不出来(时钟刻意不进快照)。PriceTrack 那一派仍用五参/六参默认版。
② writeJson:Phase 2 登记「随 Phase 3 首迁同笔落」的那件,这笔落了。
捕获账因此是净减(整树 total 1003→1002、RETHROW 387→386 正落在下限上、decoy 0),
没有放宽任何一格;task 模块内部那三份逐字同名件仍未归并——归并会跌破 RETHROW 下限,
那是「调整门禁判据」动作,与 Phase 0 三格守卫同批做,不在迁移笔里顺手干。
③ onPayloadIndexed(默认空实现):底座刻意不打日志,而 PriceTrack:617 有一句
「received payloadShopCount/payloadKeys」卡在准入之后、行循环之前、每次回传恰好一次。
没有这一格,那句要么丢、要么得挪位置——挪位置就是改现网可观测行为。
迁移登记的三处步序微差(可见结果相同,逐条对过 golden):shops 非空检查从锁内移到锁外、
锁内那次重复的 taskId 检查改由准入序列承担、旧 :670 那枚没人用的 workRoot 死局部变量摘掉
(组装在 processResultFileJob 里各建各的,本层从未写过那个目录)。
证据:shopmatch 两条 golden(建单 5 例+回传流水 5 例)迁移后逐字节未动;
CatchSilence/TaskLifecycleDebt/TaskStatusVocabulary/ArchitectureBoundary(task→业务 0)
四把尺同批复跑全绿;ShopMatchTaskService 2027→2026 行(readability 只许降这条满足)。
|
2026-10-18 20:47:10 +08:00 |
|
huangzd1997
|
121ae9b064
|
test(phase-3): 首迁前把 shopmatch/pricetrack 的回传段落库钉成 golden
蓝图 §5 Phase 0 收口那句「submitResult 出结果段本轮未打快照,Phase 3 要动那一段须先补再动」
是这一笔的全部理由:首迁要替换的正是这一段(取锁→准入→按店名建索引→逐行合并→changed 闸门
→重算状态换成 AbstractShopPayloadTaskPipeline 的模板),没有迁移前的流水,「对外行为未变」就只能嘴上说。
快照渲染的是**调用顺序流水**而不是分组清单——回传段的风险恰恰在副作用先后:先标失败还是先挂文件、
mergedRemove 在不在 enqueue 之后、changed=false 时任务表一次都不许写、taskId 非法时锁一次都不该被碰。
结果行是一份内存表(重读看得见前一次写入),店铺合并载荷是一份 HashMap 接住 get/save/remove,
于是分片回传的合并语义是真的,不是把合并跳过。时钟、雪花 id、OSS 直链一律不进快照。
两支各自 15 例,差异逐条钉住(这些正是迁移时最容易被「顺手统一」掉的):ShopMatch 闸门是
「行数>0 且有 done」,所以 :689 那句「未收到可用于组装的结果数据」在 submitResult 路径上不可达
(只有 tryFinalizeTask 的判序到得了);PriceTrack 闸门只看 success==TRUE,那条可达,
且它多一段排队前的服务端改价次数(基线读不到一律从 0 起算)、终态多一件循环轮次同步、
错误分隔符是半角 "; " 而 ShopMatch 是全角「;」。
golden 生成器用 @EnabledIfEnvironmentVariable 而非 -D:pom 的 <argLine> 是显式配置,
命令行 -DargLine 覆盖不动它,系统属性传不进 forked JVM——第一次跑就是这么发现「写了却没落盘」的。
|
2026-10-18 19:09:48 +08:00 |
|
huangzd1997
|
e90e5e7f64
|
fix(采集数据): 心跳落库节流改按任务自身计时;空结果文件不再冒充成功
两处独立缺陷,同一场事故(task 31253:已完成 + 总进度 25% + 下载是空白):
1) lastProgressFlushMillis 是单例上的一个全局时间戳,却被用来做每支任务的心跳
落库节流(注释里写的「任务级」是意图,不是实现)。约 20 支采集任务并跑时,
任一任务的落库都会重置它,于是「心跳内容不变」的那支永远落在别人刚刷过的窗口
里被丢弃,updated_at 停止前进,30 分钟陈旧巡检把还在正常回传分片的活任务判死
——21:52 被 stale 收尾,而客户端 20:47 还在回传第 19 个分片。计时改成读任务
自身的 updated_at,并在每次心跳 :479 的重读上自然成立,不需要额外 catch
(CatchSilenceRatchetTest 的口径同批核过)。
2) 结果文件组装没有任何空表守卫:明细 sheet 唯一数据源 biz_task_result_item 为
0 行时,仍然出表(4373 字节纯表头、111ms)、上传、写 row_count=0 并把任务标成
SUCCESS。现在写出行数与表内行数不一致、或表内 0 行而计数有行,一律抛异常让作业
重试,宁可不给文件也不给一张空表。全部行被过滤(计数也是 0)仍是合法空结果。
3) 组装阶段重算的 finalRowCount 此前从不落库——persistStats 只改内存实体,紧随的
唯一那条 UPDATE 不含 result_json,界面上的「保留 N 行」于是永远停在组装前的插入
计数(31253 表里 0 行仍显示 93;对照 31300 表里 292 行计数却写 130)。补进同一条
条件更新。
|
2026-10-18 17:12:28 +08:00 |
|
huangzd1997
|
d58546d314
|
refactor(phase-2): 后端任务管线公共层下沉——三段沉实测逐字件,跑批段如实登记无可沉
新增 modules/task/service/pipeline 两支公共件(AbstractFileTaskPipeline 394 行/
AbstractShopPayloadTaskPipeline 149 行)+ 29 例单测(19+10,覆盖正常/边界/异常)。
签名逐条来自 2026-10-18 对七支现网代码的定点实贴,注释里带出处行号:
- 解析建单沉 task 头行与结果行的落库形状(七支公共列,出处逐一点名);
- 回传落库沉准入序列(校验→加载→模块校验→终态拒绝→归属→心跳),
终态拒绝按 BusinessCodes 拆成 IDEMPOTENT(40901)/ERROR(无 code) 两格——这不是文案,是线协议;
- 出结果沉「上传对象存储→写 6 列→updateById」,六支同形,ShopDataCrawl 走批量条件更新
(updateResultFileColumns:1880-1892,还会传 null objectKey)不在其列,已从名单点名撤出;
- 跑批段服务端无可沉(机制早已收在 TaskFileJobService/TaskResultFileJobWorker,
ClientTaskPullSpi 只 3/7 支实现),故不立转发钩子=不造空壳;
- report 段不新造 SPI,复用既有 ResultFileJobHandler;缓存/心跳复用 AbstractModuleTaskCacheService。
七支巨石内部一行未动(Phase 2 硬边界)。
两处「没替现网做决定」:
1) writeJson(序列化失败即 BusinessException、不带 cause,Publish:2122/AP:213/CollectData:362 同形)
本轮不沉——CatchSilenceRatchetTest 自述「新增捕获块要么别加,要么同批减一处同形状」,
而 Phase 2 不许改七支 ⇒ 减不掉就只能不加,该件随 Phase 3 首迁同笔落(本文件零捕获块)。
2) successFileCount/failedFileCount 不由底座初始化:建单时五支写 0、Publish 写真实失败数、
DeleteBrand 首次 insert 两列留 NULL(:146-157 → :268-278 才回填),底座一-default 0 就是偷换语义。
门禁:mvn -o test 4460 例/3 红,三红逐条取证均不归本笔(catch 棘轮 1004=另一路在飞
CollectDataService 新增的一处捕获块;CollectDataBrandBatchFilterTest 与
ShopDataCrawlTemplateLargeWorkbookTest 单独复跑皆绿,前者是顺序污染、后者是 93s 耗时断言被抢核)。
本笔单独跑 88 例全绿(新件 29+ArchitectureBoundaryTest 6+八套 Phase 0 快照),
src/test/resources 下 golden 一字未动=未迁移模块行为逐字节相等;task→业务 依赖仍为 0。
|
2026-10-18 16:45:47 +08:00 |
|