Commit Graph

921 Commits

Author SHA1 Message Date
huangzd1997 ab6e49b5e2 feat(jd): 京东店铺重爬覆盖旧数据——isEnd 落 SUCCESS 后清理本次没采到的旧行(SKU/图片级联,0 行不清 B94-01,在飞任务行不动) 2026-11-15 11:15:44 +08:00
huangzd1997 edc1772683 test(jd-collect): 任务面板四端点撞三处基线的合法增量逐处点名登记——身份出口写133/读67、分页台账61、catch 1097->1098(净新增一枚:BoardService 旧载荷解析兜底;scope解析是搬家不占格) 2026-11-15 03:22:06 +08:00
huangzd1997 45d0989ada feat(jd-collect): 任务面板改版——后端 dashboard/history/progress-batch/delete 四端点+前端左按钮右 TaskCenterPanel(历史/断点续传/中断/重试走通用原位复位) 2026-11-15 01:56:37 +08:00
huangzd1997 55f4f17480 fix(jd): 后端整量三处棘红闭环——catch 棘轮逐处记名放宽(1092→1097/rethrow 382/notRethrow 619/logOnly 196)、XML 总数 159→160、SKU 组合序列化 catch 挂 [silent-degrade] 锚点 2026-11-15 00:40:01 +08:00
huangzd1997 402447af70 feat(jd): 列表列对齐+主图投影+SKU 矩阵+删除链收口(B101/B102 服务端与后管) 2026-11-15 00:01:24 +08:00
huangzd1997 8d8c88a5f3 fix(jd-collect): 补「激活」这一步——页面先 PENDING->RUNNING 再推客户端队列,否则分片全被拒
真机 task 34399 实录:页面建完单直接推客户端,任务仍是 PENDING,JdResultIngestService 只收 RUNNING 的分片、心跳对非 RUNNING 回 alive=false,客户端第一个分片被「任务不在运行中(PENDING),回传被拒」后当场收手,采集白跑一轮。相似ASIN/货源/外观专利/数据采集四条链都有同名 activate 入口,京东这条在建单入口漏了。
2026-11-14 21:32:49 +08:00
huangzd1997 47278ee425 fix(phase-6): 后端整量两处棘轮红闭环——归属谓词改走 TaskFinalizeSupport 出口、读类身份出口分母 64->65 点名登记
整量 mvn -o test 首跑 5540 例 2 红(闸门 73 格不覆盖这两把尺,正是 AGENTS 记的「full 闸门绿 != 后端整量绿」):

1) TaskLifecycleDebtRatchetTest 15 -> 16 文件:36e110d2 的 JdCollectTaskService#queryProgress 手抄了第 17 处归属谓词。按该棘轮设计意图改走公共出口 TaskFinalizeSupport.belongsToModule(与 JdResultIngestService 同形),不是把阈值调大。

2) RequestSuppliedIdentityOutletTest boundRead 64 -> 65:36e110d2 新增 GET /api/jd-collect/tasks/{taskId}/progress(用户端进度条),@RequestParam(user_id) 先过 requireOwnershipUserId(fail-closed),属覆盖面变大,按先例(128->129->130)点名登记并写清是谁的哪一笔。

复跑:点名 7 类 44 例绿;整量 5540 例 0 失败 19 skip BUILD SUCCESS(4:43)。
2026-11-14 18:36:50 +08:00
huangzd1997 36e110d27c feat(jd): 首页一级入口「京东」+工作台两菜单,获取店铺数据一键采集带进度条
首页在亚马逊/视频右侧新增「京东」一级入口(恒显示),落地页 /jd-console 按亚马逊控制台样式做两张工具卡:获取店铺数据(可用)、商品上架(占位,点开只提示「暂未开通」)。

获取店铺数据改成一键:建单 → 推 jd-shop-collect-run 到本机队列 → 轮询服务端进度。进度只读两处真源——任务行状态 + scope 行合并写游标里的 itemsReceived/cursor.total(客户端抓列表第一页时把 total 写进游标),没有分母就退回不定态动画,不编造百分比;终态即停轮询。后端新增 GET /api/jd-collect/tasks/{taskId}/progress(按 taskId+userId 校归属)。

判据:JdCollectProgressQueryTest(5)、jd-console-tool-catalog.test.ts(5)、jd-console-pending-menu.mount(3)、jd-collect-progress.mount(6);catch 棘轮 blocks 314→315 按名登记(轮询 catch 非静默)。
2026-11-14 16:50:06 +08:00
huangzd1997 796ec2130f fix(phase-6.1): CR 六项修复——派发链三件套/登记顺序/判死口凭据化/脏时间可读/UPDATE 段摘死列 2026-11-14 13:53:03 +08:00
huangzd1997 edeffc26c4 fix(phase-6): 整量回归 7 红逐条闭环——锁跳过出口/RawExceptionSink/归属出口真修+四处台账点名登记 2026-11-14 13:16:01 +08:00
huangzd1997 ff859d25bc feat(phase-5): 后管京东数据库接口与页面+用户端采集入口——v1.4 Phase 5 2026-11-14 12:47:08 +08:00
huangzd1997 6ce995f19e feat(phase-4): 京东商品图片预签名直传与登记链——服务端零图片字节 2026-11-14 11:32:47 +08:00
huangzd1997 53e176ba7c feat(phase-2): 京东采集任务域——建单/分片回传落库/判活接线 2026-11-14 09:54:04 +08:00
huangzd1997 a429191edd feat(phase-1): 京东数据库数据底座——V193~V196 迁移 + jd 模块实体/Mapper + 模块注册与 LOCAL 通道默认 + aiimage.jd 配置 2026-11-14 03:08:32 +08:00
huangzd1997 10d73994f5 test(phase-0): v1.4 京东数据库契约预置——通道接缝黄金 3 绿 + Pending 17 例 skip 2026-11-14 02:27:34 +08:00
huangzd1997 64e94458c9 feat(credential): 凭据不可自愈 ⇒ 行失败 + 整单终态 + 用户端弹窗(服务端五面)
用户口径(2026-11-12,34061 取证后):没余额要退成失败、直接中断任务、并弹窗提示;
所有涉及代理 IP / LLM 密钥的特性都一样。范围=服务端全部特性,客户端下批。

- 判据唯一出处 common/retry/CredentialFatalClassifier(致命:LLM 欠费/密钥失效、
  代理未配置/套餐到期/余额不足/密钥无效;非致命:channel_busy、无空闲通道、冷却、
  超时、5xx、限流、出口被拒、技术性、上游不可用);落终态唯一出口
  modules/task/service/CredentialFatalTaskCloser(重读现状态、拒碰 TERMINAL、可重入)。
  外观专利与相似ASIN 原先逐字重复的 terminalizeOnFatalLlmFailure 改为委托,不留第二份。
- 五面接线:外观专利/相似ASIN、跟价 updateTaskStatusFromLatestRows、
  店铺采集 tryFinalizeTask、采集数据 submitResult。判死后回执一律回读库里状态
  (采集数据内存 task 停在 RUNNING 会让采集端继续为死路买出口 IP)。
- 行级诚实:凭据致命行不计入已判,回退路不再拿原始标题伪造「侵权/成功」。
- 用户端:credential-fatal-notice.ts(判据)+ credential-fatal-alert.ts(按 taskId:kind
  去重)+ CredentialFatalAlert.vue 挂 App.vue;轻量轮询不带文案 ⇒ 跟价/采集数据在失败
  终态补一次重型 batch,店铺 batch 补任务级 taskErrorMessage(只给 FAILED、截断 300 字)。
- 三处真死日志按巡检签名正形写「改判死」(scripts/_prod_watch.py 只认 改判死|接管判死),
  否则判死数不进账本。
- TaskFailureCategoryGuardrailTest:写点搬进收口器 ⇒ 登记 CredentialFatalTaskCloser,
  下限 47→46、updateById 总量 160→159(搬点,不是新增写法)。

判据:CredentialFatalClassifierTest(16)、CollectDataCredentialFatalTest(3)、
PriceTrackTaskServiceTest(8)、ShopDataCrawlScopeMergeTest(11)、
ShopDataCrawlProgressQueryTest(9)、credential-fatal-notice.test.ts(9)、
credential-fatal-alert.test.ts(6)。后端整量 5,464 例 / 0 失败 / 19 skipped。

未纳入本笔:BrandAppearancePatentTab.vue、BrandSimilarAsinTab.vue、TaskItemCard.vue
与两个 Tab 里的按钮/徽章 CSS —— 另一路会话在飞改动,按并发纪律不卷进来。
2026-11-12 18:10:10 +08:00
huangzd1997 f5f40cd2ea fix(appearance-patent): 外观维把「没跑」写成「外观识别异常」且原因列空白(B96-09)
34061 交付件实测:1000 行里 987 行外观维=外观识别异常、外观原因/专利原因只有 21 行有字,而零行真的跑过外观。根因是 LLM 上游 01:01-01:06 全程 403 欠费(用户[155933] 剩 0.0305 < 单次 0.0324)→ 标题维先失败 → 跳过外观那一步,跳过分支把标签写死成外观识别异常、原因留空。

改:新增 APPEARANCE_NOT_RUN(未执行外观检测)+ 两条原因文案(无标题/无图、商标维先失败带原话),专利原因同步;APPEARANCE_ANOMALY 只留给发了请求没答上的行。顺带修原因 sheet 每行自增两次(1000 ASIN 占 2000 行)。

门禁:外观专利包 364 例全绿;后端整量 mvn -o test 5435 例/0 失败/0 错误/19 skip/BUILD SUCCESS(7:50)。
2026-11-12 15:53:35 +08:00
huangzd1997 ad33b7d54c fix(task-retry): 已交付代点重试不再空转(B96-08) 2026-11-12 15:18:34 +08:00
huangzd1997 4d008608b1 fix(appearance-patent): 重试不再整单重采——派活前裁掉已采到的行+跨代切分片 scope(B96-07)
33898/33883/33885 这类单重试一次就是 4000 组从头再抓一遍(1.3-1.5 小时+按次买出口 IP),根因两条:① 重排派给客户端的仍是解析载荷的全量 groups;② ap_worker 的 chunkIndex 是相对本载荷的序号且每片都带 submissionId=str(task_id),裁剪后从 1 重新编号会与上一代同号分片撞 (task_id, module_type, scope_hash, chunk_index),落进 duplicate chunk ignored 却照旧回 ok —— 客户端以为传成功、服务端一行没收。

A:AppearancePatentResumeTrimSupport(纯裁剪)/AppearancePatentDispatchTrimSupport(下发口编排)。两条下发口(兜底拉取、页面推本机)都过 trim;已收判据不是「行存在」而是「行上有标题或图片」(失败行也会落库,按行存在裁会把 404 行整批裁掉、坏行永不重采);载荷对象已不在的分片不算已收。跨代 scope=<caller submissionId>:gen:<resumeAttempt>(首代原样,幂等),新一代开跑前清上一代输入面 completed,否则本代第一个分片就被当成「已交完」拿半批行去组装(33924 同形)。

B:裁到一组不剩时不再派活——先标完成再收口出表;已出过表(result_file_url 有值)或状态非 PENDING/RUNNING 不动,避免直链被清空再重排。SPI 对「解析期无分组」与「已收全被裁光」分两侧:后者返回空 groups 载荷而不是 null,否则认领侧会把刚收口的任务改判「任务数据不完整」FAILED。

门禁:mvn -o test 整量 5,430 例/0 失败/19 skipped BUILD SUCCESS;新增用例 14 支(裁剪 9、scope 5);TaskLifecycleDebtRatchetTest 130 遍/15 文件不变(归属谓词改走 TaskFinalizeSupport.belongsToModule);SourceScanTest 台账 57→59、support 22→24;_push_gate.py --fast overall=pass(9.5/8.8/10.0/9.6)。
2026-11-12 13:55:15 +08:00
huangzd1997 f7b206474d test(外观专利): 模块支数台账 56→57、support 21→22(3A 拆薄第十四笔)
AppearancePatentDeliveredRearmSupport 落进 service/support 后,SourceScanTest 两格
(整模块支数、support 支数)按设计报红。按既有口径逐条点名更新,不整份放宽:
新件同时进「必须被逐枚点名扫到」清单,避免只把分母数字改大。

整量 mvn -o test 此前只红这两格(5,416 例 / 2 失败 / 19 skipped),改后 40/40 绿。
2026-11-12 10:49:43 +08:00
huangzd1997 faa08a6138 fix(appearance-patent): 续跑新一代交完后复位上一代已交付的出表作业并清直链
现网 33924(专利4.xlsx,200 行,11-10 17:42 → 11-11 04:08 判死「客户端已上传完全部
结果,但结果文件未能生成」)的链路,按 B 机 java 日志逐条对上:

  00:45 首轮交完 → 01:18 原任务复位重试(代数 3)摘掉已交付的 SUCCESS 作业,但
  biz_file_result.result_file_url 仍在 → 01:18:04 出表侧「结果文件已交付,跳过重复组装」
  把作业标回 SUCCESS → 02:19 客户端重新认领 → 03:33–03:37 全 200 组重采完
  (completed=true, llmDone=false)→ enqueueAssembleResult 原样返回 01:18 那份 SUCCESS,
  scheduleLlmPipelineForSubmittedChunk 一句话都不打地 return ⇒ 检测与出表一步没走,
  心跳停 30 分钟被判死。

两处修:
- AppearancePatentDeliveredRearmSupport(新,3A 拆薄第十四笔):摘作业时同时把结果行的
  result_file_url / result_file_size 清空(文件本体仍留在对象存储),「是否已交付」这一个
  判定由恢复探针与「继续」复位共用
- AppearancePatentLlmSubmissionSupport:拿回的作业是 SUCCESS 时不再静默返回——若本代
  分片已交完(submissionComplete)就先复位上一代再重新 enqueue;半批不复位(半批复位会让
  组装读到半批行,覆盖率闸门反过来把这轮出表判死)
- 主类只留委派,行数 893→871(可读棘轮只许减)

用例:AppearancePatentRearmDeliveredJobTest(2,清直链/无交付作业不动结果行)、
AppearancePatentResumedRoundRearmTest(3,交完才复位、半批不复位、首轮 PENDING 不受影响)。
四支相关套件 25 例全绿;快检闸门 overall=pass。
2026-11-12 10:27:24 +08:00
huangzd1997 5390503f7a test(外观专利): 模块支数棘轮 55→56(B95-02 新增 client/AppearancePatentBrandFailureText)
整量 `mvn -o test` 抓到 `SourceScanTest.moduleSources_appearancepatent登记数与真实文件同号` 红:
新增的文案分档类落在 modules/appearancepatent/client,模块支数 55→56。

棘轮按口径显式改数并写清是谁的哪一笔(同文件既有做法),不放宽断言形状。
2026-11-11 20:29:23 +08:00
huangzd1997 ef78608a64 fix(外观专利): 整批失败文案带上游那句真因作样例(BK B95-02 判据收口)
上一条只做到「分类」:交付列写「服务侧解密链路故障」,但到底是 UTF-8 解不开、密钥不对
还是压缩坏了,只有上游那句 reason 知道——B95-02 的判据要求「能回读到是哪一步失败」。

- AppearancePatentBrandFailureText.describe:分类文案 + 一句样例(压单行、截 80 字、超出以 …
  收尾),没给原因时退回纯分类文案,不凭空补。
- aggregate 改用 describe(分类口径与保守判定一字未动)。
- 用例:e2e 改成「保前缀 + 带 Malformed UTF-8 样例」;新增样例单行/截断/空原因三格(共 21 支)。
2026-11-11 20:14:44 +08:00
huangzd1997 a17d8edc9e fix(外观专利): 整批品牌查询失败的文案按真因分档(BK B95-02)
现网 16890 侧成片刷「解密失败: Malformed UTF-8 data」,交付表却一律写
「品牌库上游整体不可用」——上游其实有应答,坏的是应答体解密,
运维照「上游挂了」去查永远查不到东西。

- 新增 AppearancePatentBrandFailureText:批内 reason 全同形才分档
  (全解密→解密链路故障、全不可达→服务不可达、混形/空→通用文案),
  三条文案都保留「商标查询失败」前缀(状态列与 isBrandQueryFailed 靠它判失败)。
- AppearancePatentLlmClient 的 brandAggregateFailure 收成一行委派;
  删掉只被测试调用的 boolean buildTitleRisk 重载(String 版保留兼容)。
- 用例 +5:整批解密/整批不可达/混形与空 reason/三条文案互不相同且同前缀。
2026-11-11 20:01:36 +08:00
huangzd1997 691b29da7e fix(llm): 识别钱包型欠费 insufficient_funds,欠费不再落回未完成检测 2026-11-11 18:15:41 +08:00
huangzd1997 c00f8c6e1c feat(appearance-patent): 无侵权明细改按 ASIN 累计(V192 唯一键+同步链 upsert-only,永不删行) 2026-11-11 16:29:14 +08:00
huangzd1997 3dec8d41ed feat(appearance-patent): 顶部全量「导出」摘掉+每张主管卡加「删除」(2026-11-11 客户「这个可以不要 有下载就行了」「也要加个删除按钮」)
删除走新 DELETE /api/admin/appearance-patent-clean-items/supervisors?supervisor_user_id=…:谓词与卡片「下载」逐字同源(共享 cleanItemConds + supervisorScopeConds,Same SQL 下推),所见即所删;supervisor_user_id 必填、服务侧先挡空值(缺值会让 <if> 不生效=退化成整表删除),日期倒挂同全站口径拒;同一 requireCleanItemsAccess+readCompanyIdOrOwn 正门(非超管只能删本公司行),并打一条带 operatorId/主管/过滤面/删除行数的日志留痕;只删快照明细,不碰结果文件与任务记录。前端破坏性动作先 openAdminConfirm(点名主管与条数、danger),删完回读并在删掉本页最后一张卡时回退页;读不到主管的卡两钮都禁用。护栏:XML_STATEMENT_TOTAL 155→156、NOT_MIGRATED 登记 deleteSupervisorItems、controller 只读判据改为「无 POST/PUT+DELETE 必须在位」、wiring 新增第 4 个发送口(26 处/19 组)。
2026-11-11 13:39:17 +08:00
huangzd1997 e1767faff5 feat(appearance-patent): 外观专利数据库改为按主管划分的一主管一卡(2026-11-11 客户「应该是只显示一个卡片的才对」「获取店铺那边是按店铺做成卡片 我们这边就是按主管划分」)——后端新增 GET /supervisors 主管聚合(组键=与「所属主管」列同源的归属表达式:主管本人取自己、普通账户取创建人、读不到归同一 NULL 组;返回条数/任务数/最近任务号/最近同步/国家集,total 是主管数),卡片[下载]走 /export 新增 supervisor_user_id 按同一表达式收窄(不近似成 user_id OR created_by_id);共享 cleanItemConds 前移到 i. 前缀并复用(铁律 20 SQL 下推);后管页面由「每明细一卡」改为「一主管一卡」(卡头主管名/条数/任务/国家/最新 + 下载,对齐店铺数据记录一店一卡),明细分页卡片下架(3488 条铺成几千张卡是客户不要的形态),明细仍走 /export 表格看;护栏台账同轮更新(XML_SELECT_TOTAL 105→109、XML_STATEMENT_TOTAL 151→155、PageDefaults 56→58、SourceScan 52→55/vo 11→14、wiring 新增 /supervisors 发送口);后端 test-compile rc=0、controller 22 例绿+6 支护栏绿,前端 vue-tsc rc=0、mount 13/13、三支 node --test 21/21 2026-11-11 12:31:28 +08:00
huangzd1997 6f85f17c58 feat(appearance-patent): 外观专利数据库主管列+导出+分组筛选——后管只读页补「所属主管」读侧现算列(owner 是主管取自己、普通账户取创建人,铁律 30 读不到不猜名)、GET /export 与分页共用同一过滤面与正门出 xlsx(SXSSF,上限 5 万行超限拒)、分组筛选 group_id 按 selectUserIdsByGroupId 解析「组长本人+名下子账户」整集 SQL 下推(铁律 20,选项复用既有 GET /shop-manages/groups 不下新端点);前端加主管列/分组下拉/导出按钮(blob 落盘+业务错误信封解包),wiring 护栏补导出发送口钉与 watch token(25 处发送口);棘轮 1073→1074 一枚记名,「无侵权」白名单登记导出上限文案 2026-11-11 02:03:25 +08:00
huangzd1997 9b4404d027 test(护栏): 整量回归消两红——超管出口调用点 19→20、clean_item 品牌按 payload 原样投影点名
2026-11-10 发版前手点 mvn -o test 整量(5391 例)抓到两处红,都是 v1.3 新增代码没在尺子上登记(闸门按类点名的格子册没扫到它们,full 绿掩盖了这两格):
2026-11-10 12:18:50 +08:00
huangzd1997 cec863af89 fix(llm渠道): 龙抬头模型 id 切 gm-3.5-flash-lite——贞贞仍留 3.1,映射仍走 LlmChannel 单出口
2026-11-09 用户口径:龙抬头那家中转把同款模型统一叫 gm-3.5-flash-lite(旧值 gemini-3.1-flash-lite 已不存在)。业务配置里写的仍是贞贞的 gemini-3.1-flash-lite-preview-thinking-medium,渠道映射表改一处,三条取用点(外观专利/相似ASIN/密钥检测)与示例配置注释同步;切渠道不映射就会 model_not_found。判据 LlmChannelProxyProviderTest 两支断言随改。
2026-11-10 12:18:46 +08:00
huangzd1997 bd0c0a0810 fix(task): 失败重试也复位已交付出表作业,判死文案按「客户端是否交完」分档 2026-11-10 11:49:43 +08:00
huangzd1997 7ce6ff64cc test(appearance-patent): 出表成功→同步落表→后管可查 全链 mock 回环——mapper mock 成按 XML 真实语义的内存假表,真实同步/查询两服务跑通:未出表不写行、严格口径只落无侵权、覆盖式重写零重复、分公司隔离、任务号/ASIN 前缀/日期窗筛选 2026-11-10 10:41:59 +08:00
huangzd1997 9acb221152 feat: 后管菜单更名「外观专利数据库」——V191 改 columns.name(V190 已上产不可回改);routes 标题/页头 h3/403 文案同步;挂载测试断言随改 2026-11-10 10:31:06 +08:00
huangzd1997 264db52b84 fix(phase-4): catch 静默棘轮补 v1.3 四枚逐处记名(1069→1073,full 档红格消项) 2026-11-10 03:06:20 +08:00
huangzd1997 83f1ecf952 feat(phase-3): 后管无侵权只读页——私有鉴权闸+readCompanyIdOrOwn 公司隔离+分页钳制;前端自绘表格页与路由/操作提示/五护栏同轮记账
后端:AdminAppearancePatentCleanItemsController(GET /api/admin/appearance-patent-clean-items,requireCleanItemsAccess 照去重页形状)+ AppearancePatentCleanItemQueryService(page≤10000/size≤100 钳制防 (page-1)*page_size 溢出)+两 VO;PageDefaults 第五种 page_size=10 显式登记。前端:AppearancePatentCleanItemsPage(自绘 table+OldPagination,companyScoped)+api/filter/model 拆件;routes/company-scope/operation-guides 收口。护栏:company-tab-wiring 24 处发送口、date-range-order 分母 21 实例/9 对、date-guard EXEMPT、ChunkRow 无侵权白名单四件(LlmClient 仍是唯一结论值来源)、SourceScan 52 支、G2 WIRED_PAGE_KEYS 第七支。判据修正:columnKey→getColumnKey 对齐代码库命名。
2026-11-10 02:27:50 +08:00
huangzd1997 0512359b21 feat(phase-2): 无侵权行同步服务与出表成功点挂钩——覆盖式落表/公司归属读不出即跳过/失败只留日志不阻断 2026-11-10 01:49:35 +08:00
huangzd1997 434e4bf037 feat(phase-1): 无侵权同步数据底座——V189 建表/V190 菜单(每公司V21形状)/实体与Mapper+XML,三本台账同轮记账 2026-11-10 01:10:52 +08:00
huangzd1997 a94e59d434 test(phase-0): 确认基线全绿并预置迭代验收测试契约 2026-11-10 00:47:25 +08:00
huangzd1997 6919108043 fix(状态词表): 别写第四份 PENDING 字面量——接进 TaskStatuses.FileTask 正本
上一笔(61ec324b)后端整量抓到一处真红:TaskStatusVocabularyRatchetTest 的手写状态标量棘轮
只许降、降法就是接进正本,我却在 StaleTaskRepairService 又加了第四个 STATUS_XXX 字面量。
既有那三个(SCHEDULED/RUNNING/FAILED)在基线里,不是我这次该顺手动它们(只把自己引入的那处接回正本)。

整量读数 5356 例/0 失败/19 skipped(19 与在册基线逐字同)。
⚠ 顺带记一笔量具教训:上一轮那条命令的 shell rc=0 是 tail 的退出码,把 mvn 的 BUILD FAILURE 吃掉了——
拿管道尾部的 rc 当绿,就会把红灯发上线。
2026-11-06 13:49:41 +08:00
huangzd1997 61ec324b2f feat(PENDING 判死): 所有模块的等待中单超 24 小时判死,原地可重试(2026-11-06 产品拍板)
起因:现网 33462(uid=1245,数据采集 文档格式.xlsx,17 行)提交后 20 小时停在「等待中」,
updated_at 与 created_at 逐字相同、零分片回传;同批 33103 已挂 6 天。ONLINE 通道没有服务端认领方
(客户端拉取 SQL 硬性要求通道为 LOCAL、内部认领端点默认关闭且从不以 COLLECT_DATA 请求),
把这一单翻成 RUNNING 的唯一动作是界面发 activate——用户没点,"等待中"就成了事实终态:
界面不报错、后台不判死、无人通知。

- StaleTaskRepairService 新增 repairFileTaskStalePending():PENDING 且 updated_at 超 24h → FAILED,
  判死文案唯一出处 PENDING_UNCLAIMED_REASON 供 markers 引用(两处各写一遍就会改一处静默失效)
- TaskRetryEligibility 新增 Category.UNCLAIMED + UNCLAIMED_MARKERS ⇒ 这一档不进自动重试:
  否则会被复位成 PENDING、再等满 24 小时,白烧一轮排队与通知,还把"没人点启动"洗成"上游坏了"
- 三处刻意形状:基准用 updated_at 不用 created_at(重试复位过的单按最后一次状态变更起算);
  UPDATE 里复验 status+updated_at(查询与写入之间用户可能刚点启动,只按 id+status 会把刚被
  领走的单判死);不调 markDeadDownstream(这一档的定义就是没被领走,无结果行无出表作业)

口径冲突如实处理:2026-10-29 那条「PENDING 一律不判死」被本笔覆盖,但它防的是阈值太短
(按 2 小时清杀排队任务并连锁自动克隆重试,现网 2026-10-28 用户 1211 两条 829 行任务),
不是"PENDING 永远不该有终态";克隆放大那条早已被铁律 26 换成本地原地重试。剩下的已知代价
(排队真久的单也会被扫到)写进类注释,靠界面「重试」接回。

判据:StaleTaskRepairServiceTest 改写 1 格+新增 2 格(8 例),MarkersSnapshot 新增
「Category 全集必须逐个登记 markers 组」(加一档不登记即红——本笔实测三支既有测试 21 例
全绿,正是那个缺口的现场)。反向验过三处:摘 CAS updated_at 复验/摘 failure_category 写点/
摘判定分支,各出真红后还原全绿(前两次因 CRLF 未落地的"假反向"已被逐行定位断言挡下)。
2026-11-06 13:27:42 +08:00
huangzd1997 62e92003f2 fix(b82-01): 第三批——七面实体式终态写点接上 ledger(风险/店铺匹配/查ASIN/提现/巡删/店铺采集/巡删品牌)
现网读数(2026-11-05 只读探针)把缺口指得很实:9 条「文案命中 markers 而 failure_category 为空」
的 FAILED 单里,除了已接的跟价(CREDENTIAL)与外观专利(DELIVERY)两族,其余写面全部落在
名单外——B82-01 的②「抽样窗口里那些文案本来就不在值域」有一半就是"这些面根本没接线"。

本笔把 `TaskFailureCategoryGuardrailTest.ENTITY_FACE_FILES` 从四面扩到十一面(+32 处写点,
15→47),逐处 `task.setErrorMessage(...)` 紧邻下一行配对
`task.setFailureCategory(TaskFailureLedger.categoryOf(task.getErrorMessage()))`:

  · 风险 8/店铺匹配 5/查ASIN 3/提现 3/巡删 3 —— 这五面都是「汇总行状态 → 任务终态」那一族,
    任务级文案是店铺级原因**拼出来的**(`"李四: 会话失效且重新登录失败"` 这种),
    所以列值多数时候仍是 null,免疫力恰好在"店铺级原因命中六组 markers"那一刻买到;
  · 店铺采集 4(含 `handleResultFileJobFailure` 那处把「结果文件生成失败」写进任务行的 DELIVERY 族)
    /巡删品牌 6(含「N 个结果文件生成失败」「部分结果文件生成失败」两支 DELIVERY)。

**清错误同时清列**:`setErrorMessage(null)` 那半边一并配对,否则一行"成功/RUNNING"任务上
会挂着一个不属于它的旧判决——这正是护栏第五格场景④点名的背离。

`updateById` 一边不动(十一面用的都是全实体血统,ALWAYS 会把列真落库),
`.updateById(` 总量棘轮 160 一字未改;本笔没有新增任何 catch。

DeleteBrand 那处跨三行的三元表达式改成局部变量再 set:配对判据钉的是「下一行」,
把 set 拆成多行会让那一格看不见配对——**不放宽判据,改书写形状**。

行为半边(`ProductRiskTaskServiceTest` +1 改 1):护栏源码格只钉"下一行有配对语句",
这两格钉"值真的落在交给 mapper 的那个实体上"——`verify(fileTaskMapper).updateById(captor)`
拿到 CREDENTIAL/成功路径把陈旧 DELIVERY 清成 null。**两格都做过反向验证**:
摘掉对应配对分别报 `expected CREDENTIAL but was null` 与 `expected null but was DELIVERY`。

门禁:`mvn -o test` 整量 **5,353 例/0 失败/19 skipped(10:47,skipped 与在册基线逐字同)**。
部署口径:本笔未随任何 jar 发版 ⇒ 「写点已修」≠「线上已修」,随下一窗后端发版生效;
线上正样本至今 n=1(33418/DELIVERY),这七面接线后仍需各自的第一个 FAILED 单才算被生产验证。
2026-11-06 00:13:56 +08:00
huangzd1997 c461210b12 fix(任务进度): 剔除非归属任务时点名 taskId——那 512 条「请求 1 个 命中 0 个」以前读不出是哪一单
现网形状(2026-11-05 主机A 只读取证,43 分钟日志窗):`userId=1228` 打了 **512 条**
「进度查询剔除非归属任务 … 请求 1 个 命中 0 个」,同一账号每 5 秒轮询一支取不到结果的任务,
界面一直转圈。旧文案只有两个数,于是三种完全不同的事实共用同一行日志:

  · 拿别人的 taskId 在轮询(越权探测形状,该报警);
  · 网页端换号后仍用旧缓存(该清缓存);
  · 单已删而客户端按旧 id 空转(B21「在跑的任务列表没掉」那一族)。

读不出是哪一种,就没人能修——所以本笔只补「点名被剔的 taskId」这一件事,
判据与语义一字未动:剔除仍是安全边界,归属仍只由那一条带 `user_id` 的 SQL 决定。

刻意**不加**第二次归因查询、也**不把**归属条件挪进 Java:
① 挪条件=踩铁律 20「先取页再在 Java 里 filter」那一族(取页与过滤的先后一旦脱钩,
   饿死某一分页的缺陷会在这里重生);② 为一条日志在轮询热路径多打一次往返不划算;
③ 本仓 catch 总量棘轮 `CatchSilenceRatchetTest`(STRICT_TOTAL=1069)实测把
   「多包一层兜底 try」直接判红——第一版就是因此回炉的。
拿到 id 之后「这单存不存在、现在归谁」是一条主键查询就能定死的事,留给取证侧。

点名有上界(ATTRIBUTION_PREVIEW_LIMIT=12):一次批量轮询不许刷出一行超长日志。
三格新判据:id 必须出现在行里、干净轮询恰好一次查询且零日志、预览被截断在 12 个;
另把 `ProgressQueryOwnershipOutletTest` 的取证口径写回「一次 selectList」并注释清楚
归因只是日志、不是第二道过滤。
2026-11-06 00:13:35 +08:00
huangzd1997 eeff73d322 fix(b82-01): 第二批——跟价面六处实体式终态写点同笔派生 failure_category(CREDENTIAL 族)
B82-01 那 9 条实锤里的 1 条 PRICE_TRACK「会话失效且重新登录失败」=CREDENTIAL 组:这句话由 Python 侧逐店
回报、在 PriceTrackTaskService 聚合进任务行的 error_message,而这一面走的是实体式写面(setErrorMessage +
updateById),上一批的 wrapper 配对判据扫不到它。⇒ 六处终态写点(markDispatchFailedRecords 无明细分支、
tryFinalizeTask 空明细分支、收尾判定的 RUNNING/SUCCESS/部分失败/全失败)每处 setErrorMessage 紧邻下一行
配对 setFailureCategory(TaskFailureLedger.categoryOf(task.getErrorMessage()))——判据形状是"下一行",跨行写法会漏判,
照现成先例的书写形状写。updateById 一边不动:这两面进来的都是 loadTaskForExecution 的全实体(selectById/缓存血统),
ALWAYS 策略会把列真落库,改成窄 wrapper 反而缩了写面。

护栏名单三→四面(ENTITY_FACE_FILES 加 PriceTrackTaskService.java)、写点下限 9→15(AP 4+相似ASIN 4+采集 1+跟价 6)。
反向验证:摘掉任一配对 ⇒ 该格 1 失败(实测)。没新增任何 .updateById( 调用,160 的总量棘轮不动。

AP DELIVERY 半边核明"早已接线":AppearancePatentResultJobSupport 四支 task.setErrorMessage 自 51401de2(2026-11-03,
已上线)就全配对,本批不动、也不虚构缺口。

现网只读探针把"列尚未被生产验证"归因到位(2026-11-05,本机 SSH 主机B 用容器 env 连 192.168.0.171:3306,凭据不出
服务器):全表非空仍 0(804 行)、近 7 天 FAILED 140 条全空;命中六组 markers 的 FAILED 近 7 天 82 条,但最新一条
updated_at=2026-11-01 23:14——早于接线 jar 上线(11-04 14:29)三天;接线后新增的 9 条 FAILED(8 条 AP「客户端回传
中断」=刻意排除在 DELIVERY 外那族、1 条跟价英文原文)按今天的判据本来就该是空列。⇒ 非空路径至今没有任何一笔
生产写入走过,本机只欠 MySQL 也无历史正样本可回放,本窗证不了;不得拿"列空=一致"当验证。第三批(风险/店铺匹配/
查ASIN/提现/巡删五面+ShopDataCrawl:3060/DeleteBrand:1839 的 DELIVERY 写面)已逐条登记 BACKLOG B82-01。
2026-11-05 12:02:49 +08:00
huangzd1997 609ad396a6 feat(用户密钥): 龙抬头余额按人民币口径上界面——credits 查询+用户端/后管两个读取面
上游事实(官方文档+2026-11-05 从主机B 直打实测):`GET /v1/skills/balance` 顶层 balance 是美元串("$12.345678"),
站内 ⚡=人民币口径在 credits 块(⚡ = 美元 × credits.per_usd)。要跟网页/账单对上必须取 credits,Java 里
不得出现任何汇率字面量。四条硬规则落在 LongtaitouBalanceClient:① 只认 credits.balance/available/frozen,
且 credits.unit 必须为 CREDIT、per_usd>0;② 顶层 $… 与 currency:USD 只作交叉校验(偏差 >0.5% 打 WARN),永不进展示;
③ credits 缺失/不可解析时不回落美元——把 12.34 当 ¥12.34 显示就是"美元当人民币"的假绿;④ 错误体
{error:{code,message,type}} 与 4xx/5xx 一律 available=false + message 原样透出,绝不抛、也不显示成 ¥0。
URL 由 LlmChannel.LONGTAITOU.host() 派生(配置键留空即用域名唯一正本),响应体限读 1MB。

不复用 UserApiSecretBalanceVo:那个类的 surplus/scope/low 语义全是 jikip 代理的,LLM 塞进去会让注释撒谎并
诱导下一个人在 useProxyBalance 里加分支(铁律 25「口径不得借」)。新建 UserLlmBalanceVo + 平行新建
UserLlmBalanceService(不扩 UserProxyBalanceService),缓存键 (userId,moduleKey) 5 分钟;渠道分档:t8star 不打
上游、available=false +「不提供余额查询」(贞贞有没有余额接口在册无判据,不许猜端点、更不许借龙抬头的数)。

后管走实时查、不落库(本窗零 Schema、零迁移):POST /api/admin/user-secrets/balances,requireAdmin +
DataReadScope 逐个剔除越权 userId(不信任前端给的列表)。三条护栏是这条路线不被点爆的唯一防线:单次 ≤20 行
(越限 BusinessException,不静默截断)、固定线程池 adminBalanceConcurrency=4 + 整请求 deadline 10s(到点的行
按「上游未在本轮时间预算内应答」降级并记进 timedOutUserIds 如实上报,不读成 0)、只对真能查的行打上游
(LLM 仅 longtaitou、代理仅 detectFromUrl==JIKIP;t8star/青果零 HTTP),一页 15 行通常只剩 3–8 次调用。
用户端 GET /api/user-secrets/llm-balance?moduleKey= 与既有 proxy-balance 同款 requireUser。

保存/清空密钥与后台代填/清空时代际失效两侧余额缓存:换一把钥匙还挂着上一把的钱就是串档。
配置三键同步 application.yml 与 application-local.example.yml(铁律 3)。

测试:LongtaitouBalanceClientTest 11(官方样例断言 balance=="88.888882"/surplus=="85.288882" 且 12.34/11.84/0.50/$
一律不出现;缺 credits、per_usd<=0、unit≠CREDIT、缺 available 四种坏形状各自 available=false + balance=null;
现网实测 401 missing_api_key / invalid_api_key 形状入夹具——钉的是测过的读数不是猜的错误体)、
UserLlmBalanceServiceTest 10(贞贞 never() 打上游、三态不伪装成 0、缓存命中不二次查询、两模块各回各值)、
UserSecretBalanceAdminServiceTest 7(越上限拒、越权剔、超时行 available=false 而非 0、只有可查行产生 HTTP)。
三支已登记进 ops scripts/score_ratchet.py 的 suites(不入册=闸门永远跑不到)。
catch 棘轮五枚新增全是 NOT_RETHROW(LOG_ONLY/EMPTY 一格没涨),逐处记名抬 STRICT_TOTAL 1065→1069、
notRethrow 604→608。未证事项按 BACKLOG B83-01 如实挂:真 sk- 下 credits 字段逐字核对、后管实时查的现网
并发表现、jikip find-balance 对用户自有套餐 key;本窗代码未随任何 jar 发版。
2026-11-05 12:02:33 +08:00
huangzd1997 b231a67dd7 fix(b82-01): 任务行部分字段落库改 update(null, wrapper),13 处部分实体 updateById 不再抹 failure_category
B82-01:failureCategory 标 FieldStrategy.ALWAYS(V186 让清错误分支的 null 真落库)的代价是任何 new 出来的部分实体走 updateById 都把该列无条件抹回 NULL。现网只读探针(2026-11-05,SSH 主机B)实证列全表零非空:近 7 天 194 条 FAILED 全空,9 条文案命中 CREDENTIAL/DELIVERY markers 的行列也是空。本笔只动调用点一边;注解半边由 TaskFailureCategoryMigrationV186Test 的 ALWAYS 钉守住。

写点转换(13 处 updateById,12 个条目,DedupeRunService 收尾一处两调用):convert/split/productrisk/queryasin/withdraw/similarasin/appearance-patent/pricetrack 显式两到四列;shopdatacrawl 快照+归属三列;deletebrand 终态分支 error_message 与分类同笔配对 TaskFailureLedger.categoryOf(护栏格1连线语义);dedupe FAILED 收尾同笔配对;similarasin 归属绑定(rustfs 回退)。Explore 初判 12 处漏了 withdraw/pricetrack 族——逐支验明全是 loadTaskForExecution 全实体(selectById/缓存血统),非抹列点,留痕不扩 scope;DELIVERY/CREDENTIAL 两族终态写点接 ledger 属后续批,不在本笔。

护栏 TaskFailureCategoryGuardrailTest 5→7:① ledger 对六组 markers 各出一条值非空断言(配对写恒 NULL 也绿那半堵上);② .updateById( 总量棘轮 173→160(本仓 ALWAYS 字段还有 PriceTrackLoopRun/ShopKey/SkipPriceAsin 四实体,棘轮按全量钉,新增写法必须登记复审)。测试适配:共享探针 UpdateWrapperProbe(getSqlSet 列序+MPGENVAL 精确取值+列名 snake 归一——单测 JVM 的 Lambda 列缓存可能被自动初始化成驼峰,不归一则快照取决于测试类执行顺序);4 份 golden 重钉 11 行(窄写面 status 不在写面渲染成 -);ShopDataCrawlOwnerColumnTest 假 DB 从只会 CAS 升级为按 SQL 语义应用 SET 段(whereEq 校验 id/status eq);SimilarAsinTaskServiceSubmitTest 归属断言改为录 SET 段断言零 owner_instance_id(touchJavaSideTaskActivity 本就合法走 update(null,wrapper),verify(never) 会误杀)。

门禁:受影响七支定向 50/0 失败/0 错误/3 skipped(既有 skip,零新增);mvn -o test 整量 5321/0 失败/0 错误/19 skipped BUILD SUCCESS(5:01,skip 数与在册基线逐字相同);后端无 lint/格式器如实跳过;未动 application.yml/路由/Flyway/env,门禁5不适用。
2026-11-05 01:34:00 +08:00
huangzd1997 56b916f2fe docs(交付): 纠正已交付收尾那条注释里对终态的错误承诺(纯注释、不改行为、不重新出包)
上线后现网读数打脸了上一笔留的注释:它写"是否成功仍由 statusResolver 按覆盖率判",
实际 resolveTaskExecutionStatus 只看 (waitingForAssemble, executionFailed) 两个布尔,
覆盖率那条判据住在 completeLlmFileJob 那条链上、这一格根本走不到。六单
(33111/33157/33177/33196/33208/33228)14:30 的库侧读数全是 success_file_count=0/
failed_file_count=1 ⇒ 进来的是扫描器卡死文案、不在 partialGapSalvageable 那一族,
收尾判的就是 FAILED。

注释改按真实形状写,并把"为什么 FAILED 反而是用户要的那把钥匙"记在原地:界面「重试」
前后端判据都是 FAILED/CANCELLED,33228 正是 14:30 落 FAILED → 14:32 用户点得动 → PENDING
重新排队,而 biz_file_result 的表与直链一行没动照样能下。要改成"承认已交付→SUCCESS 带
缺口注记"得先给卡死文案分档,欠账记 BACKLOG B77-01,不在这一格顺手做。

随下一支 jar 一起出,不为本笔单独发版。
2026-11-04 14:42:20 +08:00
huangzd1997 b321ea6f45 refactor(交付): 已交付判定的唯一出处搬回模块侧——底座不长新方法、复位改成摘行复用现成入队路
上一笔 847f8a22 的落点不对,这一笔把它改到位(行为等价、判据同向):

一、TaskFileJobService 回到 1233 行(−60)。可读棘轮把这支钉在 1240 行、规则是
    按对象点名只许减,拿"再开一对 hasXxx/rearmXxx"往底座加方法是跟量具讨价还价。
    该棘轮基线故意钉清单成员而非总数,正是防"A 加一条 B 减一条"整段绕过,所以
    不动基线、只让改动落在该落的地方。

二、已交付判定搬进 AppearancePatentTaskService,并同时喂给恢复探针与「继续」复位
    (deliveredAssembleJobs 一个出处)。这条同源不是洁癖:两处判的不是同一样东西时,
    刚点过继续的任务会被探针当成已交付当场收尾——33228 的死胡同换个方向再演一遍。
    读侧复用底座既有 findAssembleJobsByTaskIds(已按 jobType 过滤 ASSEMBLE_RESULT),
    比 listJobs(status,module,task,limit) 稳:后者不过滤 jobType,等第二种作业出现
    就会把别的 SUCCESS 误读成"表已出"。finalizer 因此新增一个 Predicate 注入位,
    与它既有的 submissionComplete/persistedRowsPresent 同形。

三、复位从 UPDATE SUCCESS→PENDING 改为 deleteResultJobs 摘掉作业行。结果行
    biz_file_result 与直链一行不动(读侧都取结果行),而 enqueueAssembleResult 在
    existing==null 的分支里本就建 PENDING、按当前 owner 算 scope_key 并补发派发事件
    ——走现成那条路,不在底座之外再抄一遍派发形状(抄的那份迟早和 owner 对账那条分叉)。

判据:守卫 4 支改注入式谓词仍绿;DelegationTest 补 2 支钉住复位的两个方向——已交付→删对
resultId、RUNNING→一律不删(不许摘掉正在产出表的那支)。20 例 0 失败;快检四面绿
(overall=pass,档位=快检)。
2026-11-04 13:51:18 +08:00
huangzd1997 847f8a224a fix(交付): 已交付任务不再在 Python 超时恢复里空转(现网 33228 既不失败也不完成)
机制:恢复链路每 2 分钟走到 enqueueAssembleResult,它按 TaskFileJobService 的
.ne SUCCESS 刻意原样返回那行 SUCCESS(没人要求重做时不许替换用户可能已下载的表),
调用方据此打一条 "skipped llm submission because result job unavailable" 就跳过发批。
于是作业没排上、批没发出,交付闸门永远不被评估,补检/recheckMaxRounds 预算/终态
那条有界链一步都不走;而紧随其后的 touchJavaSideTaskActivity 又刷新 updated_at,
让陈旧扫描永远看不见这一行——正是铁律 28(c) 点名的「不计任何计数还刷 updated_at」。
33228 实测:表 11-03 10:50 就出好了(job SUCCESS+biz_file_result.success=1 带直链),
activeAssembleJobs 恒 0,10 行永远"等待补检轮",而界面「重试」的判据(前后端一致的
FAILED/CANCELLED)永远拒绝它——用户被关在死胡同里。

三处改动:
- TaskFileJobService 新增 hasDeliveredAssembleJob,与既有 hasExhaustedAssembleJob 成对
  (那一格看"重试耗尽",这一格看"成品已交付",两种"恢复已经试过了"都该停止空转);
- finalizer 在 uploadComplete ∧ activeAssembleJobs=0 ∧ 已交付 时返回 false 交回收尾,
  不再 touch、不再空发批。收尾走既有 finalizeTask:它本就把部分数据缺口判成非致命
  (partialGapSalvageable),缺口由行级文案标在表里(未采集到数据/未完成检测/
  未取得检测结果是三句不同的话,处置动作不同),是否成功仍由 statusResolver 按覆盖率判;
- onTaskResumed 补第二半 rearmDeliveredAssembleJobForResume。只加上一条会引入新 bug:
  刚点过「继续」的任务同样呈"已交付+无在飞作业",会被直接收尾,剩余行永远轮不到补检。
  界面确认框本就承诺「当前已生成的部分结果文件会被替换」,这里复位那行 SUCCESS 是兑现
  承诺,不是绕过 retry() 的保护——那是给没人要求重做时的。

判据 AppearancePatentStaleTaskFinalizerDeliveredGuardTest 4 支,四个方向都钉住:已交付→
收尾且不 touch/未交付→照常恢复(保「继续」)/有在飞作业→不抢它正在产出的表/
未封口→仍走封口那条路。后端整量 5,317 例 0 失败(新增前 5,313)。
2026-11-04 13:21:40 +08:00
huangzd1997 00f45cc20f feat(phase-B75): 计次上报加 source 维度(V188)——「谁在烧」一列读数,归因不再扫设备日志
- V188:biz_user_secret_usage_daily 加 source varchar(24) NOT NULL DEFAULT 'legacy'(存量行诚实落 legacy 不回填),唯一键 uk_user_module_date 扩成四元组(user/module/date/source),加列与建索引均 information_schema 判存可重跑(列按 V157 款、索引按 V184 款),八段式含验证 SQL 与人工回滚
2026-11-04 02:56:50 +08:00