Commit Graph

655 Commits

Author SHA1 Message Date
huangzd1997 5547237950 test(guard): 守卫前缀总数按实扫 22→23,cost-guard 进无条件名单的那一笔 2026-10-24 13:33:08 +08:00
huangzd1997 1743666334 fix(cost-guard): 注解 SQL 收进 XML、新端点进守卫名单,并按实扫对齐 catch 棘轮
三格护栏红都在本笔自己头上:UserSecretUsageMapper/UserTaskGuardMapper 的 5 条
注解 SQL 迁进 mapper XML(两处语句台账同步);cost-guard 两个端点身份取自 JWT,
进 AdminApiGuardFilter 无条件名单而不是登记成「方法内自校验」;catch 静默棘轮
先摘掉 6 处能去的静默出口(含 resume 写失败被吞成「已继续任务」的假成功),
余下 6 处带 [cost-guard] 锚点的 fail-open 逐处记名入账。
2026-10-24 13:21:47 +08:00
huangzd1997 ba20f5ed42 feat(workbench-client): 新增数富AI工作台客户端包管理独立更新渠道
后台上传安装包,confirm 阶段由服务端从 MinIO 实物流式复算 sha256 后落库,
客户端经 /api/workbench-client/version/latest 自动检查更新;与 ShuFuAI 桌面端
的 nanri-image/versions/ 渠道隔离,包体落 client 桶 workbench-client/versions/。
2026-10-24 12:49:51 +08:00
huangzd1997 9c4905c94e feat(cost-guard): 代理/LLM 损耗监控与账号级任务暂停
- 每分钟扫描用量增量/日累计,异常置暂停闸并推站内通知
- 品牌补测、跟价派发、外观激活、品牌检测与两个 LLM 客户端统一接闸
- 同一代理/LLM 密钥被 3 个以上账号共用时给出用户提示
- 品牌检测出口拒绝批级熔断;LLM 同 key 共享并发/间隔/429 惩罚
- V170 新增 biz_user_task_guard
2026-10-24 10:50:20 +08:00
huangzd1997 2c85f47c3b feat(brandgating): 品牌Gating库后端模块并入管理后台
直连主库既有 biz_brand_gating 表(原独立小网页后台 8090 下线的前置),
六端点挂 /api/admin/brand-gating,权限键 admin_brand_gating,走 admin
第一道门前缀守卫无需额外登记。列表/统计/新增/删除/启停用对齐桌面版
(停用记 disabled_at、恒刷 updated_at);批量导入 { text } 按桌面版
parse_batch 逐条同款解析,去重靠唯一键+批内四键预检。
SQL 账本 115→124、select 账本 78→86,8 条 select 点入 NOT_MIGRATED。
2026-10-23 21:56:45 +08:00
huangzd1997 2d408199d6 feat(keywordshare): 五国关键词共享后端模块(桌面工具网页化)
词本体直接读写主库既有 keyword_share 表(已是全量词库),使用状态
keyword_usage,留痕 keyword_add_log/keyword_delete_log;不建新表、无 SQLite。
九个端点挂 /api/keyword-share,权限键 keyword-share,companyId 服务端取。
列表排序对齐桌面版:已使用在前、按 used_time 升序;添加查重跳过+留痕+
自动标记已使用;随机抽词从未使用池。
SQL 账本 99→115(16 条新写语句)、select 账本 67→78(11 条),逐条点入
NOT_MIGRATED;ApiGuardCoverageAuditor METHOD_GUARDED_PATHS 登记
/api/keyword-share(9 端点全部 handler 内 requireConsolePageAccess 把门)。
FILTER_* 命名避开任务状态词表棘轮。
2026-10-23 21:54:52 +08:00
huangzd1997 09dfb01f9c feat(unreachable-cooldown): 连接层不可达客户端级冷却,四家判定下沉共用
BACKLOG B24(窗长 300s 已拍板):连续 2 次连接未建立即对该 host 进
冷却窗,窗内调用零探针快速失败(归因文案与调用内短路逐字一致);到期
后下一条真实调用兼作探针,失败重进、成功恢复。isConnectFailure 四处
副本(BrandCheckClient/AppearancePatentLlmClient/SimilarAsinLlmClient/
TaskOwnerForwardService)下沉 common/retry 共用。三家客户端接入同一
冷却表(两个 LLM 客户端共用 ai.t8star.org 一格,16890 独立一格),
窗长可配(0=关闭退回调用内短路)。另修 CollectDataBrandBatchFilter
首批预算竞态(1ms 预算下 GC 停顿误切首批,照 BrandCheckClient 首轮
不掐契约补 start>0 守卫)。变异验证:冷却禁用 6 例判红;定向 47/47 绿。
2026-10-23 20:58:32 +08:00
huangzd1997 6af19b51ba fix(similar-asin): LLM 连接层故障短路,行级写明服务不可达真因
BACKLOG B23:网关不可达时 invokeChat 原本对任何异常跑满 3 次阶梯,
批量失败再逐行回退把白等乘上行数。现对齐 BrandCheckClient /
AppearancePatentLlmClient 同款口径:连续 2 次连接未建立(读超时与
5xx 不计入且清零证据)即停,抛「LLM 服务不可达(连接未建立,非本行
数据问题)」。变异验证 23.4s 判红→收口 7.7s 绿;后端整量 4709 例
0 红 0 错 BUILD SUCCESS。
2026-10-23 19:47:46 +08:00
huangzd1997 b65b709700 fix(appearance-patent): LLM 连接层故障短路,行级写明服务不可达真因
invokeChat 的重试阶梯原先不区分故障层:网关根本连不上也把 llmRetryTimes
打满。照 BrandCheckClient 的 SERVICE_UNREACHABLE 同口径补短路——同一次
调用连续 2 次连接未建立(ConnectException/NoRouteToHost/UnknownHost,
顺 cause 链)且中间无一次成功 ⇒ 停止重试,行级原因写成「LLM 服务不可达
(连接未建立,非本行数据问题)」。读超时与 5xx 故意不算,非连接失败
清零证据。结论一字不变,差别只在耗时与归因文案。
新增 2 例互为非零对照:死端口必须在第 2 次连接失败处停(第 3 次不发);
连得上但 5xx 要跑满整个阶梯。
2026-10-23 18:00:34 +08:00
huangzd1997 70b3be63a9 fix(dedupe): 文件处理槽位等待加上限,等不到判失败并写明原因
原先 Semaphore.acquire() 无超时:一个文件卡在上游读取或 OSS 上传时,
同批与后续任务的每个文件都无限排在这 4 个槽位上——任务不落终态、
进度冻在已提交那格。改为 tryAcquire(默认 600s,可配
aiimage.dedupe.run.file-slot-wait-seconds),等不到把该文件判失败
并写明「是没排到槽位」,不再是静默续等。新增 2 例互为对照:
槽位占满必须到点返回 false 且不占槽位;有空槽位照常放行。
2026-10-23 18:00:17 +08:00
huangzd1997 dbe35dfcb5 refactor(phase-4): 解散万能 util——similarasin/util 与 common/util 按域归位
similarasin/util 7 支:
- 域内件(SimilarAsinImageEmbedder/PuzzleImageMerger/SimilarAsinLogSupport/
  BoundedImageCache)并入既有 service/support 先例;
- 通用 Excel 件(ExcelCellImageWriter/WpsCellImageWriter)归 common/excel;
- 仅测试用的 SimilarAsinPerfFixture 移出生产源到 src/test。

common/util 13 支解散为四个关注点包:excel(读/写/单元格图片)、
text(BrandLabel/SecretMasking/UserMessages)、task(行过滤/分组传播/判死文案/
删除台账/锁跳过留痕)、support(LRU/下载头/线程池)。老 util 目录不再存在。

纯粹的包搬迁与 import 重写(diff 219 增 / 217 删),零行为改动:
搬迁前后由 SimilarAsinCreateTaskSnapshotTest 的建单入口 golden 对撞相等;
新增 MovedComponentScanTest 钉住三枚 @Component 仍被根包扫描发现、老包零残留。
2026-10-23 00:59:53 +08:00
huangzd1997 8f6913fb4a test(phase-4): similarasin 建单入口黄金快照——补上 Phase 3 点名的「抄管线」缺口
现有 SimilarAsinSnapshotTest 自建 parser、再抄一份归一/分组,parseAndCreateTask
一次没进、一行库没碰,对 Phase 4 要动的类似 ASIN 与 common 归位零保护。

本笔打真入口:单文件/双文件聚合两条 case,钉住建单校验、scope key、
解析载荷与指针落盘、头行+结果行+scope 三处落库形状与返回 VO 预览。
时钟、雪花 id 不进快照(id 桩固定,taskNo 只渲染前缀)。
2026-10-23 00:35:02 +08:00
huangzd1997 3766a34360 fix(similar-asin): history 保留续跑件并补回窗口外非终态任务,更新打断后不再两头看不见
现场(用户 2026-10-22「更新客户端,在跑的任务列表没掉」):
① 客户端更新打断任务后,V129 自动续跑会克隆一条新的 PENDING
(TaskRetryCloneSupport:status=PENDING + resume_of_task_id 指向原件)。原件已 FAILED
沉进历史,而 SimilarAsinHistoryAssembler 对 PENDING 一律 continue ⇒「当前任务」和
「历史任务」两头都看不到,要等下一个在线客户端把它领走才重新出现。
② 第二条独立成因:history 由结果行驱动、ORDER BY created_at DESC LIMIT 50..100
(每任务一行)。一个还在跑、但结果行被更新任务挤出窗口的任务会从列表里彻底消失;
前端「当前任务」唯一的兜底是内存 liveProgressItems,页面重载/客户端更新即清零。

改法:
① PENDING 只跳过「未启动的解析预览」,续跑克隆件保留(普通预览不进列表,避免用户
   没打算跑的预览一直挂在当前任务里);
② history 追加一次固定的非终态任务查询(RUNNING + 续跑件),把窗口外的按任务头补回
   列表最前;resultId/downloadUrl 留空、由前端按 taskStatus 渲染(删除按钮本就
   v-if="itemSource(item).resultId",不会拿 null 打接口)。
查询数仍是常数:1 次结果行 + 2 次任务 + 1 次 job = 4(性能守卫同步改成 ≤2 / 总数 ≤4)。

门禁:mvn -o test-compile rc=0;整量 4695 例 / 0 红 / 0 错 / 17 skip / BUILD SUCCESS
(07:05);组装器 15 例、history 批次 13 例、性能守卫 8 例全绿(新增 4 例:续跑件保
留、普通预览仍跳过、窗口外补回、窗口内不重复)。
2026-10-22 20:55:57 +08:00
huangzd1997 96315fe302 fix(brand-check): 连接未建立即收口整批重试阶梯,并留 SERVICE_UNREACHABLE 锚点
现网读数(主机B java-server,窗口 10-21 07:05→10-22 18:26):B→A:16890 自 10-21
16:30:14 起一次也没通过(A 侧 journal 里来自 121.196.149.225 的调用 10-20 1283 次、
10-21 2033 次、10-22 零次;B17 摘掉兜底 DROP 只恢复了 80/443,16890 从没在放行清单里),
而这一侧的日志是 请求异常将重试 err=I/O error … 16890 **14,944 条**、
重试耗尽判定查询失败 同因 **7,667 条**——每个品牌都要烧满 10 轮(约 45~65 秒)才知道
同一个"连不上",而外观专利正在 B 上跑批(taskId 31891),交付表因此成片「商标查询失败」。

改的是白等,不是结论:批内连续两次连接未建立且中间没有任何一次成功 ⇒ 其余品牌不再重试,
每个品牌仍真发得出它那一次首轮请求(与既有 upstreamRejecting 同一条保守口径),
判失败的行一字不变,只是 reason 从空串写成「品牌检测服务不可达(连接未建立,非本行数据问题)」。
isConnectFailure 只认 ConnectException/NoRouteToHostException/UnknownHostException
(顺着 cause 链,Spring 的 ResourceAccessException 把真凶挂在下面,JDK 的
HttpConnectTimeoutException 本就是 ConnectException 子类);读超时与 5xx 故意不算——
那是"连上了但这次没答好",重试救得回来。

用例 2 支:确定性判据用真闭环(指向一个确定没人监听的端口)——变异验证把证据阈值改成
1000000(等于不短路)后该用例判红、实测 38.64s,收口后 <5s;另一支钉 predicate 的
正例/反例(含 null 与别处的 500)。后端面整量 4691 例/0 红/0 错/17 skip/BUILD SUCCESS。
2026-10-22 19:19:38 +08:00
huangzd1997 16643f6912 fix(task-lock): 持锁封顶改按模块分档,两根平线都实测砍到过合法大单
30 分钟那版在主机A 留下 12 条 heldMs≈1,800,011 的精确撞线,被掐的 31725/31888
照常推进、最终在 43.7/49.3/49.8 分钟正常放过;改成一根 2 小时平线又会去砍
appearance-patent——两台 7 天日志的「放过」分布:similar-asin 7845 次最长 105.9 分,
appearance-patent 660 次最长 453.8 分(对应任务墙钟 9.4 小时、SUCCESS),
collect-data 1079 次最长 9.2 分。

现按模块分档(默认 2h/similar-asin 4h/appearance-patent 12h),6×TTL 项不变;
分档表整表只有一个出处,用例既钉静态线也钉「续期按这把锁的模块查线」的形状。
2026-10-22 17:24:47 +08:00
huangzd1997 9c07b28a94 fix(task-lock): LLM 响应体补时间界+任务锁跨线程可放与持封顶,掐掉 11 小时无主锁
现网 31888/31856/31725 等任务永久停在 RUNNING,读数链是:
java.net.http 的请求超时只封顶到响应头,响应体 read() 走 ArrayBlockingQueue.take(),
上游只发半截就发呆时这一读永久 park(12 条 similar-asin-llm-row 虚拟线程全停在那)
⇒ 无超时的 join() 把 task-queue 线程一起挂住 ⇒ 它手里的 task:similar-asin:<id>
被看门狗无条件续期(实测 11.3 小时,放过留痕 0 次)⇒ 该任务每次结果回传判 40902
(两小时 2370 次),且 12 个 taskQueueExecutor 许可被占满、44 条排队。

两道界各配非零对照:
- HttpClientPool.readBodyBounded 把响应体读取挪进一次性虚拟线程、由调用方拿预算去等,
  到点中断+关流退成可重试 IOException;三处同型 readResponseBodyBounded 改为委托它。
- LockHandle 直接绑住 HeldLock,任意线程 close 都真放手(旧实现按取锁线程的 ThreadLocal
  找锁,跨线程 close 静默 no-op 就是无主锁本体);加持锁封顶 max(30 分钟, 6×TTL),
  越界停止续期并 error 留痕,让键在 TTL 内自然过期。

裸跳过例外台账随之清空:它保的正是那条被现网证伪的静默 no-op。
门禁:干净 worktree(HEAD 97312821+本笔)后端全量 4686 例 / 0 红 / 17 skip / rc=0。
2026-10-22 15:49:24 +08:00
huangzd1997 6d52b95d85 fix(task-board): 任务卡片假死自救——轮询失败退避重试+面板刷新按钮+补检轮进度文案
task 31769:外观专利任务后端 18:08 已 SUCCESS,但页面卡片冻在「正在组装 xlsx 92%」
一天多——Patent 轮询配的 propagate 让一次瞬时错误永久杀死轮询,且无自救出口。
- useLiveTaskBoard 摘除 pollErrorMode:失败一律吞掉重试,连续失败按倍数降频(封顶 5x)
- TaskCenterPanel 头部新增「刷新」按钮,外观专利/货源查询两页接上(强拉 history+dashboard)
- 补检轮触发时进度文案改「有 N 行未完成检测,补检中」,不再停在「正在组装 xlsx」假死
- 回归:AppearancePatentRecheckProgressMessageTest+task-board-poll-resilience.test.ts
2026-10-22 15:34:36 +08:00
huangzd1997 973128216a fix(task-retry): 原件被迟到回传复活后停掉重复子任务,避免同一份活跑两遍
现网 2026-10-22 实测到一对:子任务 31857 RUNNING,而它的原件 31751 也被迟到回传拉回 RUNNING
(SimilarAsinStaleReopenSupport 那一路)。重试面放宽到「所有 FAILED」之后,心跳超时这类
**可翻转的判死**就接到了真金白银上——两遍抓取+两遍 LLM 计费,烧的是用户本人额度。

清账做在巡检开头而不是复活路径里:复活支持是在 SimilarAsinTaskService(基线点名的 1936 行长文件)
现场 new 的,多一个依赖就得动它;而「父子两条都活着=重复劳动」与模块无关,收在这里一次覆盖
所有复活入口,顺带收掉存量对,代价是最长滞后一个巡检周期(2 分钟)。留原件停子任务:复活是客户端
拿着真实分片回来触发的,数据在原件上。

状态取 FAILED 而非 CANCELLED,照 ExpiredAccountTaskStopService 的先例:TaskResultAdmission 只对
FINISHED_ORDERED(SUCCESS/FAILED) 带 40901,客户端据此才删本地副本收口;取消态不在那张表里,
被领走的子任务会陷入「永远送不进也不放手」的补发循环(10-11 那起单设备 14,906 行/天的病理)。
因此 TaskRetryEligibility 补第四类 STOPPED,文案直接引 DUPLICATE_STOP_REASON 常量而非抄字面量——
两处各写一遍,改一处就静默失效、双跑被自己捡回来。

LIVE_STATUSES 引用 TaskStatuses.FileTask 常量:状态词表棘轮判的就是新增内联状态集合字面量,
被它管的对象不该另立一份(这是全量跑出来的红,局部三支类测不到)。

验证:后端全量 4677 例 / 0 红 / 17 skip,rc=0;新增 3 例契约(停对、原件仍 FAILED 时一条都不许停、
dryRun 只数不落库)+ 2 例判据。变异验证:摘掉两处调用点 ⇒ 失败数 1→2,非空跑。
2026-10-22 14:12:44 +08:00
huangzd1997 d268ecdf6b feat(通知): task_failed 带 ref_json 定位锚点,明细可点直达任务详情
用户原话「都没体现哪个任务id/店铺/用户,咋排查」:通知表只有 title/content,
失败任务又按「用户×模块×自然日」聚合成一条,明细被 5 个 taskNo 预览 + 512 字截断吃掉。

- V162 给 biz_user_notification 加 ref_json(TEXT,可重跑迁移,存量不回填)
- 扫描器把桶内每个失败任务写成锚点(taskId/taskNo/moduleType/reason/updatedAt/
  deviceId),上限 20 条;品牌任务无 task_no 用 #<id> 兜底,保证至少一条可定位
- 详情接口回传 refs;同键刷新时锚点变化也更新,且不重新点亮已读
- 后台铃铛「展开明细」渲染成可点行,跳任务中心 ?taskNo= 自动开详情抽屉
- 新增判据 taskFailedAdminNotificationCarriesUidAndTaskNoAnchor:管理端正文必须含
  uid、每个桶的 ref_json 至少一条非空 taskNo
2026-10-22 10:28:12 +08:00
huangzd1997 3413904d5f feat(task-retry): 失败任务克隆重试,最多 3 代并跳过欠费/宕机
- 废弃只复制 request_json 的空壳续跑:三类任务的解析输入都在模块侧状态里,
  线上历史 19 条续跑因此全部失败;改为由 ClientTaskRetrySpi 克隆任务头 +
  采集明细 / 解析 scope state / 源结果行,新任务直接可执行。
- 不可抗力不重试:LLM 密钥或代理 IP 欠费、服务宕机、账号自动登录失败。
- 新增内部回填端点 POST /api/internal/tasks/retry-failed(内部令牌,
  dryRun 默认 true),用于补扫 30 分钟窗口之外的历史失败。
2026-10-22 08:00:49 +08:00
huangzd1997 950f379d48 fix(oss): 软件版本下载 URL 优先走 download-endpoint
机 A 的 oss.aishufu.top:443 事件隔离期只放行管理 IP,软件版本直链落在该
入口时外部用户不可达。复用既有 download-endpoint(主机 B 反代回源),
上传预签名仍按 public-endpoint 签,避免签名 host 与反代 Host 不一致。
2026-10-22 00:38:53 +08:00
huangzd1997 bae954d8d0 fix(oss): 建 client 时带上 region,预签名不再联网探 GetBucketLocation
minio-java 未设 region 时,getPresignedObjectUrl/putObject 都会先向端点发一发
GetBucketLocation。预签名本身不需要网络,却被这一步吊在端点可达性上——
2026-10-21 主机A 隔离期间,出链因此吃满 10 秒建连超时、整条上传链路报 500。
region 留空时保持旧行为(不替配置猜值),并配一条"摘掉 region 必须失败"的反向对照。
2026-10-21 23:23:09 +08:00
huangzd1997 66b71a544c feat(internal-audio): 内部音频上传口收口落桶与出链,外部工作流免持对象存储凭据
主机 A 事件隔离期间 oss.aishufu.top:443 对公网不可达,外部平台自签 SigV4 直连
MinIO 的链路当场失效;那把自签凭据又正是生产 root,随微信文件明文外流。
新增 POST /api/internal/audio(X-Internal-Token,只收 audio/*、50MB 上限),
服务端走 VPC 内网落桶 upload/audio/{uuid}/{filename},出 24h 预签名链并把 host
换成 download.aishufu.top——反代按 Host: oss.aishufu.top 回源,SigV4 只对收到的
host 验签,故签名不变、主机 A 无需对外开放公网入口。
2026-10-21 22:43:54 +08:00
huangzd1997 2adf3071a9 perf(临时载荷): extractTaskId 剥掉 local:i 实例段,删检不再全表扫
oversize 回落本地产生的 local:i/<instanceId>/<objectKey> 指针,第三段是
类目词而非数字,extractTaskId 必然解析失败 → 删除引用检查退化为
biz_task_chunk.payload_json(12 万行 JSON 列,无索引)全局全表扫描,
2026-10-21 现网实测把 MySQL 顶到单核 105%。剥掉 i/<instanceId> 两段后
按标准 objectKey 解析,引用检查带上 task_id 走 uk_task_scope_chunk
最左前缀;异形指针仍回退全局查询,保守口径不变。
2026-10-21 20:22:15 +08:00
huangzd1997 6096e85d32 refactor(代理): 用户余量巡检与长样式出件,压回可读性棘轮
推送闸门抓到 UserApiSecretService 1278→1408、两枚 Vue 超过 800 行:
把用户级余量查询/缓存/巡检拆到 UserProxyBalanceService,两端组件的大段
样式移到同名 .css 由 scoped src 挂载。行为与选择器不变,只为让长文件棘轮
回到基线以内(不调基线、不整份回写)。
2026-10-21 14:26:03 +08:00
huangzd1997 86d78160fd feat(通知): 四级严重度与严重度/时间双排序,客户端与后台管理同步
通知表新增 severity(紧急/高危/中危/低危,V161),由 scene + level 推导且
不回改 level:老客户端配色不受影响,secret_balance 的余量偏低与欠费也能分档。
列表与聚合接口默认按严重度倒序(同档按时间倒序),sort=time 切纯时间排序;
聚合组取组内最高严重度。两端铃铛加彩色等级标签与排序切换,展开明细沿用
同一排序,严重度排序下隐藏会跨天误导的日期头。
2026-10-21 13:33:07 +08:00
huangzd1997 f6aa04d0f2 feat(代理): 多套餐余量预警与用户级 jikip 套餐配置
平台自费池由单个 planId/userId 改为 planId:userId 列表逐套餐探测,
套餐余量或账户余额低于阈值时推管理员预警;用户可在密钥设置里为自己
配置多个套餐,巡检跟随密钥检查按用户查余量并推站内通知,欠费状态在
客户端右上角常驻提示(V160 新建用户级套餐表)。

同时把测试里写死的真实代理 key 换成占位串,避免凭证随仓库扩散。
2026-10-21 13:32:56 +08:00
huangzd1997 f5e5717443 fix(similar-asin): 迟到回传重开超时判死任务,收尾复位组装 job
心跳判死巡检只改任务状态,客户端继续补发时被 40901 拒绝并删本地
副本;线上 31577/31472 的 214 行结果分片整批丢失。24 小时内、仅
心跳/回传停滞类判死文案的 FAILED 任务,收到迟到分片时条件重开为
RUNNING;业务失败与 SUCCESS 仍按终态拒绝。

判死巡检会把组装 job 一并写成 FAILED+retry=max,底座不会自动重排;
收尾进入等组装态时复位它,避免重开后卡在 RUNNING。
2026-10-21 10:19:34 +08:00
huangzd1997 73838916ef fix(brand-check): 检查池排队纳入批预算,队列满不再拖死回传
共享 3 线程池的排队等待不受采集批 10s 预算约束;16890 超时叠高后
单次品牌检查排队 7–35 分钟,Tomcat 线程被占满,客户端 180s×5 重试
耗尽,采集任务以「中间分批回传失败」整单失败。

现在排队最多等「批预算 + 1s 首轮宽限」,未开跑的品牌取消并按查询
失败交补测;队列满立即降级,不再 CallerRuns 到请求线程。
2026-10-21 10:19:30 +08:00
huangzd1997 4d70a0d3f8 refactor(phase-3): 3A 拆薄第十三笔——AP 剩余五簇出件,服务 1127→750(<800 达标)
- 新落五件:ChunkPayloadMerger(CAS 合并)/LlmSubmissionSupport(提交调度+凭据)/
  StaleTaskFinalizer(判死+超时恢复)/GroupingSupport(解析分组)/TaskRecordSupport(删除下载激活)
- 非事务回传支并进 ChunkSubmissionSupport.receiveWithoutTransaction(逐字搬移)
- 归一/首非空/基 id 改吃 AppearancePatentRowNormalizer,登记过的重复实现退场
- 状态标量改吃 TaskStatuses.FileTask(状态词表棘轮 70 不涨)
- 手写归属谓词文件数 16→15 是拆件真下降,棘轮同步登记(阈值 ≤130 未放宽)
- SourceScan 面数 39→44 / support 16→21,五枚新件逐枚 anyMatch 点名
- 等价:18 段符号归一逐行对撞,14 段 EQUAL,4 段仅登记过的回调/util 替换
2026-10-21 09:30:17 +08:00
huangzd1997 7da9311265 refactor(phase-3): 3A 拆薄第十二笔——AP 解析簇出件,服务 1409→1127
parse 聚类 12 段整体进 service/support/AppearancePatentParsePipeline(471 行):
parseAndCreateTask 主体 + parseWorkbook/statusHeaderName/hydratePromptFields/
isAppearanceResultWorkbook/hasHeader/normalizeDisplayId/mergeHeaders/
buildAggregateScopeKey/buildAggregateSourceFilenameLabel/buildRowToken/elapsedMs,
ParsedWorkbook/ParsedAppearanceRow 两记录随件;宿主能力走 5 接口 + Function/Consumer/
Supplier 回调,groupRowsByBaseId 整枚直传不抄第二份。

等值证明:12 段符号归一逐行 diff 全部 EQUAL(elapsedMs 补 static 是唯一形状增量);
本簇无按名反射点名的入口(全测试树 grep 核实),未留壳;状态字面量改吃
TaskStatuses.FileTask.PENDING。SourceScan 面数 38→39、support 15→16 并逐枚点名。

门禁:test-compile rc=0;定向(AP+十把守卫)355/0 红/2 skip;后端整量单跑
4617 例/1 红/17 skipped——红是 CatchSilenceRatchetTest 扫到另一路会话改
BrandCheckClient 的中间态(total 1008>上限 1004),其落盘后当前树实测 997、
单跑该类 9/9 复绿;本笔 catch 净增量 0(服务 4→4、新件 0)。ops ruff 全绿。
真机启动验收本格仍欠(本机无 MySQL/Redis 监听)。
2026-10-21 01:17:54 +08:00
huangzd1997 479114cf95 test(phase-3): 3D 收口——publish 建单段 golden 落地,七支「先补再动」最后一格缺口闭合
PublishTaskService 一字未改。新落 PublishCreateTaskSnapshotTest(吃真入口
parseAndCreateTask)+ publish/golden/create-task-snapshot.txt:7 段场景由
7 支执行用例渲染,第 8 支是写档器(无 SHUFU_SNAPSHOT_WRITE 即 skip)。

补这支的理由:3D 迁移本体当时把 newTaskHeader/insertTask/newScopeRow 换成底座件,
等值证据只有「旧块/现块/底座件体做 setter 差集」——推理级证据,不是可复跑的防线。
本支在册两条快照都碰不到建单:PublishBatchLoadingSnapshotEquivTest 吃读侧
(history/dashboard/getTaskDetail/getTaskProgress),PublishSubmitResultSnapshotTest
吃 submitResult。

钉住的现网形状(逐段读 golden 得来,非推测):
1. 解析在事务外、落库在事务内:tx.begin→task.insert→file.insert→item.insertBatch
   →result.insert→tx.commit,一次 execute();
2. 建单时刻一枚复用给头行/文件行/结果行(同一枚引用),而 insertRows 自己再取一次
   now ⇒ 行项目 createdAt 与之不同——这条不对称由 itemCreatedAtEqualsTaskNow=false 钉住;
3. 文件解析失败不抛只标 FAILED,有一个可用任务仍 PENDING;全失败才 FAILED
   +「全部文件解析或店铺匹配失败」+ finishedAt,且结果行照插(rowCount=0);
4. 计数与落库不同径:totalRows/rowCount 取 rows.size() 含 null,insertRows 跳 null;
   0 行不调 insertBatch 但文件仍 PENDING、任务照样建起来;
5. 结果行 success 写 0(AP 留 NULL、ShopDataCrawl 写 -1,三种形状);
6. 行内品牌在落库那格过 BrandLabel.strip:"品牌: 耐克"→"耐克"、
   "Brand: NIKE: X"→"NIKE: X"(只剥行首一枚标签)、全角冒号同样剥。

两处夹具自踩(都是「不判红就看不见的假证据」那一族):① 兜底 stub 若用 when(any())
注册在调用方 when("shop-a") 之后,Mockito 后注册者优先会把具体桩顶掉 ⇒ 匹配分流
收敛成一枚 thenAnswer;② tx.begin 整条不含空格,照 AP 那版 substring(0, indexOf(' '))
取事件名当场越界 ⇒ 补 eventKind 容错。

门禁:mvn -o test-compile rc=0;整类 9 例/0 红/1 skip;定向(Publish* 全面+
SourceScan/TaskModuleCoverage/CatchSilence/ArchitectureBoundary/LockSkip/
TaskStatusVocabulary/TaskLifecycleDebt/ForbiddenLogAudit/SqlLayering/
TaskServiceWiringSlice)205 例/0 红/2 skip;后端整量单跑 4616 例/0 红/0 错/
17 skipped,BUILD SUCCESS,真实 rc=0;golden 非写模式逐字节复现,
git status 仅本笔两件、其余快照一字未动。ops 面 ruff All checks passed。
真机启动验收本格仍欠(本机无 MySQL/Redis 监听,本笔零生产码改动)。
2026-10-21 00:07:10 +08:00
huangzd1997 74384fa6ac fix(brand-check): 补测耗尽通知按失败类别说话,代理套餐问题不再算成上游的锅
16890 改烧任务归属用户自己的代理提取链接后,失败主因从上游不可用变成用户侧套餐:
现网 12 分钟内 18 条「全部 N 把代理 key 处于冷却」、4 条「余额不足」。而耗尽通知仍一律写
「上游商标库持续不可用,建议稍后重新提交采集任务重跑这些 ASIN」——既把账算到别人头上,
又把人推向"重跑必然还是同样失败"的那条路。

- 新增 BrandCheckFailureNotice:原始原因 → Kind(未配置/套餐耗尽/冷却/出口被拒/技术性/上游),
  每类给一句"发生了什么 + 该做什么",代理侧全部指向「密钥设置」的「代理设置」。
- 拒付判定排在冷却之前:key 因余额不足被拒后整批写冷却,只报冷却等于让用户白等。
- pushRecheckOutcome 多收一个 Kind,耗尽分支改用它给的句子;last_error 照库存原文供后台取证。
- 30 支用例(分类器 9 / 通知 7 / 调度 10,含冷却原话透传到通知那支),判据串取自现网读到的原文。
2026-10-20 23:05:29 +08:00
huangzd1997 b9fb25c270 fix(brand-label): 品牌检测链读写两端接上 BrandLabel,解析处单点清洗
onRow 落 row map 时就把品牌列的标签前缀剥掉:查询集 uniqueBrands、与执行方回传值的匹配、
结果文件里那一格必须是同一个字符串。只在写出端剥会让比对两边分家——判为"不符合"的行剔不掉,
用户把没通过的行当成已通过上架。纯标签值("Brand:")洗完即空,与"这行没填品牌"走同一条路径,
不再送给上游当 Solr 字段限定符(2026-10-08 单日 19,247 次 undefined field Brand 的起点)。

normalizeBrandSet 与 normalizeBrandSetFromInvalids 也归一:执行方刻意回传原值(失败清单要能对
得上用户表里那一行),服务端两侧同口径才命中,legacy 脏分片照样剔得掉。
「不符合品牌」与「查询失败品牌」两张 sheet 的写出各兜一次——后者本身就是被打回的品牌清单,
用户改完直接再传,这一格不洗就把同一个脏值原样送回链路。

BrandTaskServiceResultRowsTest 里 "Brand: CC" 那条出件断言按新口径改为 "CC"(那张表用户会再传),
另加一条钉住"查询集与出件同口径、纯标签行不算品牌"。

门禁:隔离 worktree(HEAD + 本笔两文件)跑 mvn -o test 全量 4595 例 0 红。本仓工作树此刻另有
一路在飞的 brand/support 抽取(NotificationDispatchService 签名未接完),全量读数只在隔离树取。
2026-10-20 22:55:28 +08:00
huangzd1997 cdef922251 fix(brand-label): 品牌标签清洗抽公共件,六模块读写两端统一过出口
PublishBrandLabel 从 publish 私有件搬入 common/util/BrandLabel(三条守卫尺子随迁:
唯一副本、实体写出不许绕过、解析端不许重复实现),品牌列的读入与出件两端都走这一处。

读入端接上:asincache 缓存落库、invalidasin 人工黑名单(先洗再判空——键对不上是静默失效,
比脏值出件更难发现)、appearancepatent resolveBrand(两条取值分支同一个串)、collectdata
入库、shopdatacrawl copyRow/sameRow/rowDedupKey(键与值分家会让同一行跨分片重复出件)、
撞款解析与 re-baseline、dedupe 按表头名只洗品牌列。
写出端接上:publish/similarasin×2/appearancepatent/collectdata/撞款 csv+xlsx/shopdatacrawl。

rows-snapshot golden 里品牌格去掉首尾空格:正本 strip 自 2026-10-08 就含 trim,
Java/Python/MySQL 三处同形,不是这次新加的行为。

门禁:后端 mvn -o test 4594 例 0 红。BrandTaskService(含四张 sheet 出件与解析端匹配)
因同仓另一路在飞改动未动,见 docs/audit/BACKLOG.md B5。
2026-10-20 22:35:25 +08:00
huangzd1997 3500feb921 fix(brand-check): 出表整读源文件展开全量行——同品牌不同 ASIN 不再被删
任务 2735 复盘:品牌检测解析阶段按品牌删行后,同一份行集既当执行方查询清单
又当出表数据源,904 行源文件结果只剩 173 行。现解析器加 dedupeRowsByBrand
开关,payload 仍逐品牌一行(执行方按行提品牌,不重烧代理),组装时用真实源
文件整读展开全量行;不符合/未检测品牌的挪 sheet 语义不变。
新增 BrandTaskServiceResultRowsTest 4 例,Abort 夹具换真实 Excel 并钉双 ASIN 保行。
2026-10-20 20:49:19 +08:00
huangzd1997 e71a1077af fix(brand-check): 缓存测试两处 verify 补齐第 4 位 userId 匹配器
后端全量 4574 例复跑抓到:checkAll 已是 (brands, strategy, budgetMillis, userId)
四参重载,captor 版 verify 仍写三位 ⇒ Mockito 判「参数不同」。上一笔只按 13 类
点名复跑,漏圈了这支随迁移一并改过的第 15 文件。
2026-10-20 20:15:10 +08:00
huangzd1997 6c14f29a87 feat(brand-check): 品牌检测按任务归属用户取代理并计用量——三处调用接入
- BrandCheckClient 契约扩展:构造器收 UserApiSecretService,check/checkAll/
  checkTitleText(s) 全系带 userId,请求体新增 user_id + proxy_url(proxy 取自
  用户密钥库 module=proxy);响应新增 reason/retryable,retryable=false(供应商
  拒付、用户没配代理)当场停重试阶梯并短路整批
- 三处调用方接入:CollectDataService 品牌过滤、CollectDataBrandRecheckScheduler
  补测(markAttempted 带真实原因)、AppearancePatentLlmClient 标题查标(取
  SecretUsageContext 归属用户)
- 用户未配置代理:整批本地定论「用户未配置代理」,零 HTTP,不再有平台钥匙兜底
- 测试迁移:15 支测试文件按新契约迁移(3 参构造、userId 实参、BrandCheckBatchResult
  第 4 位 reason、Mockito 匹配器加宽);HTTP 类测试 stub findPlainValue 非空代理
  以绕开零 HTTP 短路。13 类 119 例全绿(1 skip 为既有快照写盘门),test-compile 零错误
2026-10-20 18:14:52 +08:00
huangzd1997 492a27270a refactor(phase-3): 3A 拆薄第十一笔——AP 结果作业与出表出件,服务 1827→1409 2026-10-20 17:58:54 +08:00
huangzd1997 3a22267b0d refactor(phase-3): 3A 拆薄第十笔——AP 交付闸门与补检出件,服务 1942→1827 2026-10-20 16:49:59 +08:00
huangzd1997 56e5a58b18 refactor(phase-3): 3A 拆薄第九笔——AP 回传分片 prepare/persist/scope 出件,服务 2161→1942 2026-10-20 15:54:13 +08:00
huangzd1997 421d9da1b3 refactor(phase-3): 3A 拆薄第八笔——AP 进度与视图组装出件,服务 2377→2161
G 聚类(看板/历史/批量进度、文件构建进度百分比与快照落库)原样搬进
AppearancePatentProgressSupport;四个公开入口与 saveFileBuildProgress
保留同名薄委托。SourceScan 面数 34→35、support 11→12 并点名新件。
2026-10-20 15:23:06 +08:00
huangzd1997 a765468a9f refactor(phase-3): 3A 拆薄第六七笔——AP 载荷与结果行读取出件,服务 2801→2377
I 聚类(解析/分片载荷组装、读取、事务后删除)进 AppearancePatentPayloadSupport;
H 聚类(回传分组展开、解析行计数、分片载荷读取、分页结果行与行键口径)进
AppearancePatentResultRowReader。归一、归属、分组、afterCommit 与解析载荷读取
仍由服务回调交出。SourceScan 面数 32→34、support 9→11 并逐枚点名新件。
2026-10-20 15:11:53 +08:00
huangzd1997 4bcce9d534 refactor(phase-3): 3A 拆薄第五笔——外观专利 LLM 批管线出件,服务 3135→2801
B 聚类(候选收集、批调度、轮次判死、结果行合并、批计数)原样搬进
service/support/AppearancePatentLlmBatchPipeline;读分片、分片合并、
心跳、封口判定仍留在服务侧,以回调交入。四枚同名入口保留为测试
按名反射的接缝;SourceScanTest 面数 31→32、support 8→9 并逐枚点名新件。
2026-10-20 14:03:18 +08:00
huangzd1997 3ac859e05f fix(心跳): 影子扫描不再新增 catch 块——静默 catch 棘轮当场抓住
闸门红在 CatchSilenceRatchetTest:影子服务新增的 2 处 log-only catch 与位置指纹
新增的 1 处 fail-open catch 都会抬「只 log / 不重抛」台账。改法是消除新增 catch
而不是调基线:tryLock 内部已把 Redis 异常降级成 null,扫描异常交给 Spring 调度器
记录;指纹复用 describe/readPosition 各自的降级出口。之后 1281 例与棘轮全绿。
2026-10-20 12:42:06 +08:00
huangzd1997 eb6f082674 feat(心跳): 影子判官先跑读数——心跳断/进度停滞/排队/服务端处理分开判
现有判死线各看各的证据,假活(心跳线程活着、主线程卡死)与假死(长任务/排队被
判死)同时存在。新增只读影子扫描:每 5 分钟扫 RUNNING 文件任务,按「心跳中断 /
进度停滞 / 排队宽限 / 服务端结果任务 / 24h 硬顶」输出 would-finalize 日志,
不改任何任务状态。进度用「计数+文本+阶段」指纹,写影子独立快照键,不影响正式
判死线的未变化起点。规则纯函数单测 9 例 + 只读边界守卫 3 例。
2026-10-20 12:30:09 +08:00
huangzd1997 4c1a2a9ffb fix(相似ASIN): 结果为空时把真因写进失败文案,不再建议重试生成结果文件
装配失败时原本只剩一句「请稍后重试生成结果文件」:同一份数据重跑只会得到同一份
空结果,这句建议做不到;而客户端上报的 error、行级 error/reason、分片读取失败本来
都在,只是被丢掉了。bounded/unbounded 两条路径现在都带上这些原因,并去掉做不到的
重试建议。新增归纳规则的纯函数单测,另加出口接线守卫防止文案退回。
2026-10-20 11:34:37 +08:00
huangzd1997 c8fc8c619b fix(appearance-patent): 三条补检日志别再冒用「判死」措辞——被推送闸门当场抓住
pre-push 闸门(四面)判红两格,两格同因、且都是本会话前三笔自己添的账:
新写的 log.warn 字面量里带「判死」,但那三条说的是补检调度,不是任务判死——

  交付缺口补检排不上队,转判死出口按补检预算处置
  判死出口补检重排未接上,按已有结果交付
  判死出口触发补检轮

`_prod_watch.py` 的告警签名是 ('任务判死', '改判死|接管判死'),而
test_deadjudge_signature_is_precise 要求每条含「判死」的 java 日志要么被签名算成死、
要么挂 BY_DESIGN 标记。这三条两头都不沾 ⇒ 签名与 java 措辞脱钩,巡检会把补检调度
报成任务判死(正是这条尺存在的理由:告警面宁可少报也不能错报)。

改法是动措辞、不动判据:三条日志与相关注释统一改用本仓既有词汇「失败兜底出口」
(fallbackAssembleResultFile 的 javadoc 一直这么叫),签名与放宽闸一格没碰。

复跑:test_deadjudge_signature_is_precise 6 passed;ops 整量 500 passed(正好踩下限);
AppearancePatent* 258 例/0 红 BUILD SUCCESS。

⚠ 另记本会话一处操作失误:前两次 git push 我误判成"卡在鉴权"各杀了一次,实际是
pre-push 四面闸门在正常跑十几分钟(客户端 674s/用户端 410s/后端 367s/后管 275s)。
被杀的只是我自己的门禁时间,闸门没被绕过——第三次是让它跑完才拿到这两格红的。
2026-10-20 02:26:37 +08:00
huangzd1997 04bc7ee5e7 fix(appearance-patent): 未完成检测的文案不再替系统断一个没判过的原因
NOT_INSPECTED_TEXT 原来写「该行未完成检测(任务提前结束),重新运行可补检」。
括号里那句归因从来没被判过:classify() 只读得出"三列没给出可用结论"+"行上有标题或图片",
它分不清任务中断、载荷读不回来、还是补检被自己的重试预算挡掉这三种死法。

现网 2026-10-19 任务 31527 是第三种:分片 completed=1 全数回传、112 行只是没轮到 LLM,
表上却写着"任务提前结束"——把后端的死角转嫁成了用户的动作。改成只写量得到的事实:
「该行未完成检测:有数据但未拿到判定结论,重新运行可补检」。

「原因」sheet 那格后缀原本与主文案重复说两遍"重新运行",换成 isJudged() 真正判的三列
(标题维、外观维与结论都没出可用值)。

保留短语「未完成检测」:AppearancePatentRowOutcomeTest 的"三句文案不许互相顶替"那一格
靠它区分 NOT_INSPECTED/NO_DATA/NO_RESULT_TEXT 三种处置动作。
前后端无耦合已核:用户端 task-progress-readout.ts 与 BrandCollectDataTab.vue 里的
"任务提前结束"是它自己的进度读数(processedRows < totalRows),不解析结果表单元格。

新增一例 notInspectedTextStatesOnlyWhatClassifyCanKnow 钉住不许再写未经判证的归因。

门禁:AppearancePatent* 258 例/0 红;后端整量 4551 例/0 红/16 skipped BUILD SUCCESS
(同一次复跑覆盖本笔与 21508057);ops 面 ruff All checks passed、readability 棘轮 9 passed。
2026-10-20 01:01:12 +08:00
huangzd1997 21508057b5 fix(appearance-patent): 已交付的作业不再被重投后空转烧预算
现网读数(2026-10-19 任务 31527):结果文件 23:02:35 已交付、任务已 SUCCESS,
组装作业却被事件重投后又跑五次(23:02:40→23:03:20,每 10 秒一次),每次读到 0 行
连抛「外观专利检测结果为空」。分片在交付时已被 cleanupResultFileJob 删掉,重跑无事可做,
只把 retry 预算和 ERROR 日志一起刷满。

worker 那三处守卫(TaskResultFileJobWorker:226/252/301)只认 SUCCESS 状态,挡不住
"文件已挂上、作业被重投"这一格;补上兜底出口早就有的那枚幂等闸:resultFileUrl 非空即收工。

边界查过,不误伤补传恢复:maybeRecoverTerminalFailedAssemble 自带 hasSuccessfulAssembleJob
早退,而交付之后任务已终态、迟到分片被 rejectNotRunning 拒掉,没有合法的第二轮组装。

顺带登记一处本会话前一笔的读数不实:3c662389 的 message 写「AP 3048→3121」,
对着 git show 复核实际提交态是 3122,差一行。不 amend(已入库),在此留案。
本笔之后 AP 为 3135 行,基线在册 3458,只许降这格仍满足。

门禁:后端整量 mvn -o test 4551 例/0 红/0 错/16 skipped,BUILD SUCCESS。
⚠ 同树第一次整量另有一枚 collectdata 用例判红
(CollectDataBrandBatchFilterTest.test_cached_verdict_..._after_budget_exhausted):
单跑 12/12 绿、CollectData* 整包 260 例绿、同树复跑整量绿——该用例把 Thread.sleep(30)
对上一枚 1ms 的 chunk 预算,判的是墙钟过没过,属机器被并发拖慢就翻的时间窗用例,
与本笔面上无关,与本仓已登记过的 DuplicateCheckRefreshSchedulerTest:41 同一形状。
只登记,不顺手改(那是 3C 在飞的支)。
定向:AppearancePatent* 258 例/0 红。
2026-10-20 01:01:02 +08:00