huangzd1997
|
3413904d5f
|
feat(task-retry): 失败任务克隆重试,最多 3 代并跳过欠费/宕机
- 废弃只复制 request_json 的空壳续跑:三类任务的解析输入都在模块侧状态里,
线上历史 19 条续跑因此全部失败;改为由 ClientTaskRetrySpi 克隆任务头 +
采集明细 / 解析 scope state / 源结果行,新任务直接可执行。
- 不可抗力不重试:LLM 密钥或代理 IP 欠费、服务宕机、账号自动登录失败。
- 新增内部回填端点 POST /api/internal/tasks/retry-failed(内部令牌,
dryRun 默认 true),用于补扫 30 分钟窗口之外的历史失败。
|
2026-10-22 08:00:49 +08:00 |
|
huangzd1997
|
950f379d48
|
fix(oss): 软件版本下载 URL 优先走 download-endpoint
机 A 的 oss.aishufu.top:443 事件隔离期只放行管理 IP,软件版本直链落在该
入口时外部用户不可达。复用既有 download-endpoint(主机 B 反代回源),
上传预签名仍按 public-endpoint 签,避免签名 host 与反代 Host 不一致。
|
2026-10-22 00:38:53 +08:00 |
|
huangzd1997
|
bae954d8d0
|
fix(oss): 建 client 时带上 region,预签名不再联网探 GetBucketLocation
minio-java 未设 region 时,getPresignedObjectUrl/putObject 都会先向端点发一发
GetBucketLocation。预签名本身不需要网络,却被这一步吊在端点可达性上——
2026-10-21 主机A 隔离期间,出链因此吃满 10 秒建连超时、整条上传链路报 500。
region 留空时保持旧行为(不替配置猜值),并配一条"摘掉 region 必须失败"的反向对照。
|
2026-10-21 23:23:09 +08:00 |
|
huangzd1997
|
66b71a544c
|
feat(internal-audio): 内部音频上传口收口落桶与出链,外部工作流免持对象存储凭据
主机 A 事件隔离期间 oss.aishufu.top:443 对公网不可达,外部平台自签 SigV4 直连
MinIO 的链路当场失效;那把自签凭据又正是生产 root,随微信文件明文外流。
新增 POST /api/internal/audio(X-Internal-Token,只收 audio/*、50MB 上限),
服务端走 VPC 内网落桶 upload/audio/{uuid}/{filename},出 24h 预签名链并把 host
换成 download.aishufu.top——反代按 Host: oss.aishufu.top 回源,SigV4 只对收到的
host 验签,故签名不变、主机 A 无需对外开放公网入口。
|
2026-10-21 22:43:54 +08:00 |
|
huangzd1997
|
2adf3071a9
|
perf(临时载荷): extractTaskId 剥掉 local:i 实例段,删检不再全表扫
oversize 回落本地产生的 local:i/<instanceId>/<objectKey> 指针,第三段是
类目词而非数字,extractTaskId 必然解析失败 → 删除引用检查退化为
biz_task_chunk.payload_json(12 万行 JSON 列,无索引)全局全表扫描,
2026-10-21 现网实测把 MySQL 顶到单核 105%。剥掉 i/<instanceId> 两段后
按标准 objectKey 解析,引用检查带上 task_id 走 uk_task_scope_chunk
最左前缀;异形指针仍回退全局查询,保守口径不变。
|
2026-10-21 20:22:15 +08:00 |
|
huangzd1997
|
9a9d90a7a1
|
fix(ratchet): SimilarAsin 迟到回传新件的归属谓词接回 TaskFinalizeSupport
TaskLifecycleDebtRatchetTest 手写归属谓词的文件数 15→16 判红(全量 4644 例唯一那记红),
多出来的是 df77a62b2 新增的 SimilarAsinStaleReopenSupport:62 那处 !MODULE_TYPE.equals(...)。
按该尺自述的处置口径「新增归属校验一律改走 TaskFinalizeSupport 出口,而不是把数字调大」
归位为 belongsToModule(MODULE_TYPE, ...):常量非空 ⇒ 与旧写法逐字等价,null 语义不变。
文件数降回 15、遍数 109→108,两条判据(hasSize(15)/≤130)一格未放宽。
验证:定向 19 例 0 红;后端整量 4644 例 / 0 红 / 0 错 / 17 skipped / BUILD SUCCESS。
|
2026-10-21 16:51:28 +08:00 |
|
huangzd1997
|
6096e85d32
|
refactor(代理): 用户余量巡检与长样式出件,压回可读性棘轮
推送闸门抓到 UserApiSecretService 1278→1408、两枚 Vue 超过 800 行:
把用户级余量查询/缓存/巡检拆到 UserProxyBalanceService,两端组件的大段
样式移到同名 .css 由 scoped src 挂载。行为与选择器不变,只为让长文件棘轮
回到基线以内(不调基线、不整份回写)。
|
2026-10-21 14:26:03 +08:00 |
|
huangzd1997
|
86d78160fd
|
feat(通知): 四级严重度与严重度/时间双排序,客户端与后台管理同步
通知表新增 severity(紧急/高危/中危/低危,V161),由 scene + level 推导且
不回改 level:老客户端配色不受影响,secret_balance 的余量偏低与欠费也能分档。
列表与聚合接口默认按严重度倒序(同档按时间倒序),sort=time 切纯时间排序;
聚合组取组内最高严重度。两端铃铛加彩色等级标签与排序切换,展开明细沿用
同一排序,严重度排序下隐藏会跨天误导的日期头。
|
2026-10-21 13:33:07 +08:00 |
|
huangzd1997
|
f6aa04d0f2
|
feat(代理): 多套餐余量预警与用户级 jikip 套餐配置
平台自费池由单个 planId/userId 改为 planId:userId 列表逐套餐探测,
套餐余量或账户余额低于阈值时推管理员预警;用户可在密钥设置里为自己
配置多个套餐,巡检跟随密钥检查按用户查余量并推站内通知,欠费状态在
客户端右上角常驻提示(V160 新建用户级套餐表)。
同时把测试里写死的真实代理 key 换成占位串,避免凭证随仓库扩散。
|
2026-10-21 13:32:56 +08:00 |
|
huangzd1997
|
19a291ec39
|
fix(similar-asin): 重开 support 复用 TaskStatuses.FileTask 词表
新类原抄了 STATUS_FAILED/STATUS_RUNNING 两处字面量,把后端标量棘轮顶出 70 上限;
改引用唯一词表,提交语义不变(VocabularyRatchet 7 例 + SubmitTest 11 例复跑绿)。
|
2026-10-21 11:28:04 +08:00 |
|
huangzd1997
|
df77a62b22
|
refactor(similar-asin): 迟到回传恢复出件 support,日志措辞避开判死签名
- 85 行重开/组装复位逻辑从服务搬入 SimilarAsinStaleReopenSupport,服务 2008→1936;
- 落库前重开与终态收尾复位语义逐行不变,SubmitTest 11 例复跑绿;
- 回传日志把「判死」改为「终止」:该行描述的是重开动作,不该被「任务判死」巡检计成死亡。
|
2026-10-21 11:06:16 +08:00 |
|
huangzd1997
|
f5e5717443
|
fix(similar-asin): 迟到回传重开超时判死任务,收尾复位组装 job
心跳判死巡检只改任务状态,客户端继续补发时被 40901 拒绝并删本地
副本;线上 31577/31472 的 214 行结果分片整批丢失。24 小时内、仅
心跳/回传停滞类判死文案的 FAILED 任务,收到迟到分片时条件重开为
RUNNING;业务失败与 SUCCESS 仍按终态拒绝。
判死巡检会把组装 job 一并写成 FAILED+retry=max,底座不会自动重排;
收尾进入等组装态时复位它,避免重开后卡在 RUNNING。
|
2026-10-21 10:19:34 +08:00 |
|
huangzd1997
|
73838916ef
|
fix(brand-check): 检查池排队纳入批预算,队列满不再拖死回传
共享 3 线程池的排队等待不受采集批 10s 预算约束;16890 超时叠高后
单次品牌检查排队 7–35 分钟,Tomcat 线程被占满,客户端 180s×5 重试
耗尽,采集任务以「中间分批回传失败」整单失败。
现在排队最多等「批预算 + 1s 首轮宽限」,未开跑的品牌取消并按查询
失败交补测;队列满立即降级,不再 CallerRuns 到请求线程。
|
2026-10-21 10:19:30 +08:00 |
|
huangzd1997
|
4d70a0d3f8
|
refactor(phase-3): 3A 拆薄第十三笔——AP 剩余五簇出件,服务 1127→750(<800 达标)
- 新落五件:ChunkPayloadMerger(CAS 合并)/LlmSubmissionSupport(提交调度+凭据)/
StaleTaskFinalizer(判死+超时恢复)/GroupingSupport(解析分组)/TaskRecordSupport(删除下载激活)
- 非事务回传支并进 ChunkSubmissionSupport.receiveWithoutTransaction(逐字搬移)
- 归一/首非空/基 id 改吃 AppearancePatentRowNormalizer,登记过的重复实现退场
- 状态标量改吃 TaskStatuses.FileTask(状态词表棘轮 70 不涨)
- 手写归属谓词文件数 16→15 是拆件真下降,棘轮同步登记(阈值 ≤130 未放宽)
- SourceScan 面数 39→44 / support 16→21,五枚新件逐枚 anyMatch 点名
- 等价:18 段符号归一逐行对撞,14 段 EQUAL,4 段仅登记过的回调/util 替换
|
2026-10-21 09:30:17 +08:00 |
|
huangzd1997
|
7da9311265
|
refactor(phase-3): 3A 拆薄第十二笔——AP 解析簇出件,服务 1409→1127
parse 聚类 12 段整体进 service/support/AppearancePatentParsePipeline(471 行):
parseAndCreateTask 主体 + parseWorkbook/statusHeaderName/hydratePromptFields/
isAppearanceResultWorkbook/hasHeader/normalizeDisplayId/mergeHeaders/
buildAggregateScopeKey/buildAggregateSourceFilenameLabel/buildRowToken/elapsedMs,
ParsedWorkbook/ParsedAppearanceRow 两记录随件;宿主能力走 5 接口 + Function/Consumer/
Supplier 回调,groupRowsByBaseId 整枚直传不抄第二份。
等值证明:12 段符号归一逐行 diff 全部 EQUAL(elapsedMs 补 static 是唯一形状增量);
本簇无按名反射点名的入口(全测试树 grep 核实),未留壳;状态字面量改吃
TaskStatuses.FileTask.PENDING。SourceScan 面数 38→39、support 15→16 并逐枚点名。
门禁:test-compile rc=0;定向(AP+十把守卫)355/0 红/2 skip;后端整量单跑
4617 例/1 红/17 skipped——红是 CatchSilenceRatchetTest 扫到另一路会话改
BrandCheckClient 的中间态(total 1008>上限 1004),其落盘后当前树实测 997、
单跑该类 9/9 复绿;本笔 catch 净增量 0(服务 4→4、新件 0)。ops ruff 全绿。
真机启动验收本格仍欠(本机无 MySQL/Redis 监听)。
|
2026-10-21 01:17:54 +08:00 |
|
huangzd1997
|
479114cf95
|
test(phase-3): 3D 收口——publish 建单段 golden 落地,七支「先补再动」最后一格缺口闭合
PublishTaskService 一字未改。新落 PublishCreateTaskSnapshotTest(吃真入口
parseAndCreateTask)+ publish/golden/create-task-snapshot.txt:7 段场景由
7 支执行用例渲染,第 8 支是写档器(无 SHUFU_SNAPSHOT_WRITE 即 skip)。
补这支的理由:3D 迁移本体当时把 newTaskHeader/insertTask/newScopeRow 换成底座件,
等值证据只有「旧块/现块/底座件体做 setter 差集」——推理级证据,不是可复跑的防线。
本支在册两条快照都碰不到建单:PublishBatchLoadingSnapshotEquivTest 吃读侧
(history/dashboard/getTaskDetail/getTaskProgress),PublishSubmitResultSnapshotTest
吃 submitResult。
钉住的现网形状(逐段读 golden 得来,非推测):
1. 解析在事务外、落库在事务内:tx.begin→task.insert→file.insert→item.insertBatch
→result.insert→tx.commit,一次 execute();
2. 建单时刻一枚复用给头行/文件行/结果行(同一枚引用),而 insertRows 自己再取一次
now ⇒ 行项目 createdAt 与之不同——这条不对称由 itemCreatedAtEqualsTaskNow=false 钉住;
3. 文件解析失败不抛只标 FAILED,有一个可用任务仍 PENDING;全失败才 FAILED
+「全部文件解析或店铺匹配失败」+ finishedAt,且结果行照插(rowCount=0);
4. 计数与落库不同径:totalRows/rowCount 取 rows.size() 含 null,insertRows 跳 null;
0 行不调 insertBatch 但文件仍 PENDING、任务照样建起来;
5. 结果行 success 写 0(AP 留 NULL、ShopDataCrawl 写 -1,三种形状);
6. 行内品牌在落库那格过 BrandLabel.strip:"品牌: 耐克"→"耐克"、
"Brand: NIKE: X"→"NIKE: X"(只剥行首一枚标签)、全角冒号同样剥。
两处夹具自踩(都是「不判红就看不见的假证据」那一族):① 兜底 stub 若用 when(any())
注册在调用方 when("shop-a") 之后,Mockito 后注册者优先会把具体桩顶掉 ⇒ 匹配分流
收敛成一枚 thenAnswer;② tx.begin 整条不含空格,照 AP 那版 substring(0, indexOf(' '))
取事件名当场越界 ⇒ 补 eventKind 容错。
门禁:mvn -o test-compile rc=0;整类 9 例/0 红/1 skip;定向(Publish* 全面+
SourceScan/TaskModuleCoverage/CatchSilence/ArchitectureBoundary/LockSkip/
TaskStatusVocabulary/TaskLifecycleDebt/ForbiddenLogAudit/SqlLayering/
TaskServiceWiringSlice)205 例/0 红/2 skip;后端整量单跑 4616 例/0 红/0 错/
17 skipped,BUILD SUCCESS,真实 rc=0;golden 非写模式逐字节复现,
git status 仅本笔两件、其余快照一字未动。ops 面 ruff All checks passed。
真机启动验收本格仍欠(本机无 MySQL/Redis 监听,本笔零生产码改动)。
|
2026-10-21 00:07:10 +08:00 |
|
huangzd1997
|
74384fa6ac
|
fix(brand-check): 补测耗尽通知按失败类别说话,代理套餐问题不再算成上游的锅
16890 改烧任务归属用户自己的代理提取链接后,失败主因从上游不可用变成用户侧套餐:
现网 12 分钟内 18 条「全部 N 把代理 key 处于冷却」、4 条「余额不足」。而耗尽通知仍一律写
「上游商标库持续不可用,建议稍后重新提交采集任务重跑这些 ASIN」——既把账算到别人头上,
又把人推向"重跑必然还是同样失败"的那条路。
- 新增 BrandCheckFailureNotice:原始原因 → Kind(未配置/套餐耗尽/冷却/出口被拒/技术性/上游),
每类给一句"发生了什么 + 该做什么",代理侧全部指向「密钥设置」的「代理设置」。
- 拒付判定排在冷却之前:key 因余额不足被拒后整批写冷却,只报冷却等于让用户白等。
- pushRecheckOutcome 多收一个 Kind,耗尽分支改用它给的句子;last_error 照库存原文供后台取证。
- 30 支用例(分类器 9 / 通知 7 / 调度 10,含冷却原话透传到通知那支),判据串取自现网读到的原文。
|
2026-10-20 23:05:29 +08:00 |
|
huangzd1997
|
b9fb25c270
|
fix(brand-label): 品牌检测链读写两端接上 BrandLabel,解析处单点清洗
onRow 落 row map 时就把品牌列的标签前缀剥掉:查询集 uniqueBrands、与执行方回传值的匹配、
结果文件里那一格必须是同一个字符串。只在写出端剥会让比对两边分家——判为"不符合"的行剔不掉,
用户把没通过的行当成已通过上架。纯标签值("Brand:")洗完即空,与"这行没填品牌"走同一条路径,
不再送给上游当 Solr 字段限定符(2026-10-08 单日 19,247 次 undefined field Brand 的起点)。
normalizeBrandSet 与 normalizeBrandSetFromInvalids 也归一:执行方刻意回传原值(失败清单要能对
得上用户表里那一行),服务端两侧同口径才命中,legacy 脏分片照样剔得掉。
「不符合品牌」与「查询失败品牌」两张 sheet 的写出各兜一次——后者本身就是被打回的品牌清单,
用户改完直接再传,这一格不洗就把同一个脏值原样送回链路。
BrandTaskServiceResultRowsTest 里 "Brand: CC" 那条出件断言按新口径改为 "CC"(那张表用户会再传),
另加一条钉住"查询集与出件同口径、纯标签行不算品牌"。
门禁:隔离 worktree(HEAD + 本笔两文件)跑 mvn -o test 全量 4595 例 0 红。本仓工作树此刻另有
一路在飞的 brand/support 抽取(NotificationDispatchService 签名未接完),全量读数只在隔离树取。
|
2026-10-20 22:55:28 +08:00 |
|
huangzd1997
|
cdef922251
|
fix(brand-label): 品牌标签清洗抽公共件,六模块读写两端统一过出口
PublishBrandLabel 从 publish 私有件搬入 common/util/BrandLabel(三条守卫尺子随迁:
唯一副本、实体写出不许绕过、解析端不许重复实现),品牌列的读入与出件两端都走这一处。
读入端接上:asincache 缓存落库、invalidasin 人工黑名单(先洗再判空——键对不上是静默失效,
比脏值出件更难发现)、appearancepatent resolveBrand(两条取值分支同一个串)、collectdata
入库、shopdatacrawl copyRow/sameRow/rowDedupKey(键与值分家会让同一行跨分片重复出件)、
撞款解析与 re-baseline、dedupe 按表头名只洗品牌列。
写出端接上:publish/similarasin×2/appearancepatent/collectdata/撞款 csv+xlsx/shopdatacrawl。
rows-snapshot golden 里品牌格去掉首尾空格:正本 strip 自 2026-10-08 就含 trim,
Java/Python/MySQL 三处同形,不是这次新加的行为。
门禁:后端 mvn -o test 4594 例 0 红。BrandTaskService(含四张 sheet 出件与解析端匹配)
因同仓另一路在飞改动未动,见 docs/audit/BACKLOG.md B5。
|
2026-10-20 22:35:25 +08:00 |
|
huangzd1997
|
e855801237
|
refactor(brand-check): 归属用户读取下沉为 SecretUsageContext.currentUserId()
上一笔在 AppearancePatentLlmClient 里就地取上下文(+6 行),把那支已进超长点名
台账的文件从 1465 顶到 1471,可读棘轮按对象判红。改为未入册的 SecretUsageContext
提供一个静态访问器(含「无上下文就不该打上游」的口径),调用点回到一行——该文件
现在 1464 行,比基线还短一行。AP/品牌相关 273 例全绿,test-compile 零错误。
|
2026-10-20 20:54:47 +08:00 |
|
huangzd1997
|
3500feb921
|
fix(brand-check): 出表整读源文件展开全量行——同品牌不同 ASIN 不再被删
任务 2735 复盘:品牌检测解析阶段按品牌删行后,同一份行集既当执行方查询清单
又当出表数据源,904 行源文件结果只剩 173 行。现解析器加 dedupeRowsByBrand
开关,payload 仍逐品牌一行(执行方按行提品牌,不重烧代理),组装时用真实源
文件整读展开全量行;不符合/未检测品牌的挪 sheet 语义不变。
新增 BrandTaskServiceResultRowsTest 4 例,Abort 夹具换真实 Excel 并钉双 ASIN 保行。
|
2026-10-20 20:49:19 +08:00 |
|
huangzd1997
|
e71a1077af
|
fix(brand-check): 缓存测试两处 verify 补齐第 4 位 userId 匹配器
后端全量 4574 例复跑抓到:checkAll 已是 (brands, strategy, budgetMillis, userId)
四参重载,captor 版 verify 仍写三位 ⇒ Mockito 判「参数不同」。上一笔只按 13 类
点名复跑,漏圈了这支随迁移一并改过的第 15 文件。
|
2026-10-20 20:15:10 +08:00 |
|
huangzd1997
|
6c14f29a87
|
feat(brand-check): 品牌检测按任务归属用户取代理并计用量——三处调用接入
- BrandCheckClient 契约扩展:构造器收 UserApiSecretService,check/checkAll/
checkTitleText(s) 全系带 userId,请求体新增 user_id + proxy_url(proxy 取自
用户密钥库 module=proxy);响应新增 reason/retryable,retryable=false(供应商
拒付、用户没配代理)当场停重试阶梯并短路整批
- 三处调用方接入:CollectDataService 品牌过滤、CollectDataBrandRecheckScheduler
补测(markAttempted 带真实原因)、AppearancePatentLlmClient 标题查标(取
SecretUsageContext 归属用户)
- 用户未配置代理:整批本地定论「用户未配置代理」,零 HTTP,不再有平台钥匙兜底
- 测试迁移:15 支测试文件按新契约迁移(3 参构造、userId 实参、BrandCheckBatchResult
第 4 位 reason、Mockito 匹配器加宽);HTTP 类测试 stub findPlainValue 非空代理
以绕开零 HTTP 短路。13 类 119 例全绿(1 skip 为既有快照写盘门),test-compile 零错误
|
2026-10-20 18:14:52 +08:00 |
|
huangzd1997
|
492a27270a
|
refactor(phase-3): 3A 拆薄第十一笔——AP 结果作业与出表出件,服务 1827→1409
|
2026-10-20 17:58:54 +08:00 |
|
huangzd1997
|
3a22267b0d
|
refactor(phase-3): 3A 拆薄第十笔——AP 交付闸门与补检出件,服务 1942→1827
|
2026-10-20 16:49:59 +08:00 |
|
huangzd1997
|
56e5a58b18
|
refactor(phase-3): 3A 拆薄第九笔——AP 回传分片 prepare/persist/scope 出件,服务 2161→1942
|
2026-10-20 15:54:13 +08:00 |
|
huangzd1997
|
421d9da1b3
|
refactor(phase-3): 3A 拆薄第八笔——AP 进度与视图组装出件,服务 2377→2161
G 聚类(看板/历史/批量进度、文件构建进度百分比与快照落库)原样搬进
AppearancePatentProgressSupport;四个公开入口与 saveFileBuildProgress
保留同名薄委托。SourceScan 面数 34→35、support 11→12 并点名新件。
|
2026-10-20 15:23:06 +08:00 |
|
huangzd1997
|
a765468a9f
|
refactor(phase-3): 3A 拆薄第六七笔——AP 载荷与结果行读取出件,服务 2801→2377
I 聚类(解析/分片载荷组装、读取、事务后删除)进 AppearancePatentPayloadSupport;
H 聚类(回传分组展开、解析行计数、分片载荷读取、分页结果行与行键口径)进
AppearancePatentResultRowReader。归一、归属、分组、afterCommit 与解析载荷读取
仍由服务回调交出。SourceScan 面数 32→34、support 9→11 并逐枚点名新件。
|
2026-10-20 15:11:53 +08:00 |
|
huangzd1997
|
4bcce9d534
|
refactor(phase-3): 3A 拆薄第五笔——外观专利 LLM 批管线出件,服务 3135→2801
B 聚类(候选收集、批调度、轮次判死、结果行合并、批计数)原样搬进
service/support/AppearancePatentLlmBatchPipeline;读分片、分片合并、
心跳、封口判定仍留在服务侧,以回调交入。四枚同名入口保留为测试
按名反射的接缝;SourceScanTest 面数 31→32、support 8→9 并逐枚点名新件。
|
2026-10-20 14:03:18 +08:00 |
|
huangzd1997
|
3ac859e05f
|
fix(心跳): 影子扫描不再新增 catch 块——静默 catch 棘轮当场抓住
闸门红在 CatchSilenceRatchetTest:影子服务新增的 2 处 log-only catch 与位置指纹
新增的 1 处 fail-open catch 都会抬「只 log / 不重抛」台账。改法是消除新增 catch
而不是调基线:tryLock 内部已把 Redis 异常降级成 null,扫描异常交给 Spring 调度器
记录;指纹复用 describe/readPosition 各自的降级出口。之后 1281 例与棘轮全绿。
|
2026-10-20 12:42:06 +08:00 |
|
huangzd1997
|
eb6f082674
|
feat(心跳): 影子判官先跑读数——心跳断/进度停滞/排队/服务端处理分开判
现有判死线各看各的证据,假活(心跳线程活着、主线程卡死)与假死(长任务/排队被
判死)同时存在。新增只读影子扫描:每 5 分钟扫 RUNNING 文件任务,按「心跳中断 /
进度停滞 / 排队宽限 / 服务端结果任务 / 24h 硬顶」输出 would-finalize 日志,
不改任何任务状态。进度用「计数+文本+阶段」指纹,写影子独立快照键,不影响正式
判死线的未变化起点。规则纯函数单测 9 例 + 只读边界守卫 3 例。
|
2026-10-20 12:30:09 +08:00 |
|
huangzd1997
|
4c1a2a9ffb
|
fix(相似ASIN): 结果为空时把真因写进失败文案,不再建议重试生成结果文件
装配失败时原本只剩一句「请稍后重试生成结果文件」:同一份数据重跑只会得到同一份
空结果,这句建议做不到;而客户端上报的 error、行级 error/reason、分片读取失败本来
都在,只是被丢掉了。bounded/unbounded 两条路径现在都带上这些原因,并去掉做不到的
重试建议。新增归纳规则的纯函数单测,另加出口接线守卫防止文案退回。
|
2026-10-20 11:34:37 +08:00 |
|
huangzd1997
|
c8fc8c619b
|
fix(appearance-patent): 三条补检日志别再冒用「判死」措辞——被推送闸门当场抓住
pre-push 闸门(四面)判红两格,两格同因、且都是本会话前三笔自己添的账:
新写的 log.warn 字面量里带「判死」,但那三条说的是补检调度,不是任务判死——
交付缺口补检排不上队,转判死出口按补检预算处置
判死出口补检重排未接上,按已有结果交付
判死出口触发补检轮
`_prod_watch.py` 的告警签名是 ('任务判死', '改判死|接管判死'),而
test_deadjudge_signature_is_precise 要求每条含「判死」的 java 日志要么被签名算成死、
要么挂 BY_DESIGN 标记。这三条两头都不沾 ⇒ 签名与 java 措辞脱钩,巡检会把补检调度
报成任务判死(正是这条尺存在的理由:告警面宁可少报也不能错报)。
改法是动措辞、不动判据:三条日志与相关注释统一改用本仓既有词汇「失败兜底出口」
(fallbackAssembleResultFile 的 javadoc 一直这么叫),签名与放宽闸一格没碰。
复跑:test_deadjudge_signature_is_precise 6 passed;ops 整量 500 passed(正好踩下限);
AppearancePatent* 258 例/0 红 BUILD SUCCESS。
⚠ 另记本会话一处操作失误:前两次 git push 我误判成"卡在鉴权"各杀了一次,实际是
pre-push 四面闸门在正常跑十几分钟(客户端 674s/用户端 410s/后端 367s/后管 275s)。
被杀的只是我自己的门禁时间,闸门没被绕过——第三次是让它跑完才拿到这两格红的。
|
2026-10-20 02:26:37 +08:00 |
|
huangzd1997
|
04bc7ee5e7
|
fix(appearance-patent): 未完成检测的文案不再替系统断一个没判过的原因
NOT_INSPECTED_TEXT 原来写「该行未完成检测(任务提前结束),重新运行可补检」。
括号里那句归因从来没被判过:classify() 只读得出"三列没给出可用结论"+"行上有标题或图片",
它分不清任务中断、载荷读不回来、还是补检被自己的重试预算挡掉这三种死法。
现网 2026-10-19 任务 31527 是第三种:分片 completed=1 全数回传、112 行只是没轮到 LLM,
表上却写着"任务提前结束"——把后端的死角转嫁成了用户的动作。改成只写量得到的事实:
「该行未完成检测:有数据但未拿到判定结论,重新运行可补检」。
「原因」sheet 那格后缀原本与主文案重复说两遍"重新运行",换成 isJudged() 真正判的三列
(标题维、外观维与结论都没出可用值)。
保留短语「未完成检测」:AppearancePatentRowOutcomeTest 的"三句文案不许互相顶替"那一格
靠它区分 NOT_INSPECTED/NO_DATA/NO_RESULT_TEXT 三种处置动作。
前后端无耦合已核:用户端 task-progress-readout.ts 与 BrandCollectDataTab.vue 里的
"任务提前结束"是它自己的进度读数(processedRows < totalRows),不解析结果表单元格。
新增一例 notInspectedTextStatesOnlyWhatClassifyCanKnow 钉住不许再写未经判证的归因。
门禁:AppearancePatent* 258 例/0 红;后端整量 4551 例/0 红/16 skipped BUILD SUCCESS
(同一次复跑覆盖本笔与 21508057);ops 面 ruff All checks passed、readability 棘轮 9 passed。
|
2026-10-20 01:01:12 +08:00 |
|
huangzd1997
|
21508057b5
|
fix(appearance-patent): 已交付的作业不再被重投后空转烧预算
现网读数(2026-10-19 任务 31527):结果文件 23:02:35 已交付、任务已 SUCCESS,
组装作业却被事件重投后又跑五次(23:02:40→23:03:20,每 10 秒一次),每次读到 0 行
连抛「外观专利检测结果为空」。分片在交付时已被 cleanupResultFileJob 删掉,重跑无事可做,
只把 retry 预算和 ERROR 日志一起刷满。
worker 那三处守卫(TaskResultFileJobWorker:226/252/301)只认 SUCCESS 状态,挡不住
"文件已挂上、作业被重投"这一格;补上兜底出口早就有的那枚幂等闸:resultFileUrl 非空即收工。
边界查过,不误伤补传恢复:maybeRecoverTerminalFailedAssemble 自带 hasSuccessfulAssembleJob
早退,而交付之后任务已终态、迟到分片被 rejectNotRunning 拒掉,没有合法的第二轮组装。
顺带登记一处本会话前一笔的读数不实:3c662389 的 message 写「AP 3048→3121」,
对着 git show 复核实际提交态是 3122,差一行。不 amend(已入库),在此留案。
本笔之后 AP 为 3135 行,基线在册 3458,只许降这格仍满足。
门禁:后端整量 mvn -o test 4551 例/0 红/0 错/16 skipped,BUILD SUCCESS。
⚠ 同树第一次整量另有一枚 collectdata 用例判红
(CollectDataBrandBatchFilterTest.test_cached_verdict_..._after_budget_exhausted):
单跑 12/12 绿、CollectData* 整包 260 例绿、同树复跑整量绿——该用例把 Thread.sleep(30)
对上一枚 1ms 的 chunk 预算,判的是墙钟过没过,属机器被并发拖慢就翻的时间窗用例,
与本笔面上无关,与本仓已登记过的 DuplicateCheckRefreshSchedulerTest:41 同一形状。
只登记,不顺手改(那是 3C 在飞的支)。
定向:AppearancePatent* 258 例/0 红。
|
2026-10-20 01:01:02 +08:00 |
|
huangzd1997
|
3c662389c0
|
fix(appearance-patent): 补检改吃独立预算,缺口不再以"排不上队"的名义交付半张表
现网读数(2026-10-19 近 24h 日志):交付缺口触发过补检,但从没补齐过大面积缺口——
"补检排不上队,按已有结果交付" 四例 missingRows=112/455/1471/2110,作业全部 retry_count=5。
根因是一条自我锁死:补检重排走 requeue,而 requeue 的 WHERE 带 retry_count<MAX_RETRY_COUNT,
把这条预算抛满的恰恰是"还没检完"本身(覆盖率抛、空结果抛)。越慢 ⇒ 抛得越多 ⇒ 越补不上。
改法是把两条预算拆开,且只用底座现成件(modules/task/** 是共享文件,且
TaskFileJobService 在册 929/实 928,只剩 1 行棘轮余量,加方法必判红):
- recheck-max-rounds(默认 2):补检自己的轮次上限,与行级 llm-row-max-rounds 分家。
- completeLlmFileJob:补检决定挪到 assembleResultWorkbook 之前(新增 measureDeliveryFacts,
只量行账不出表)——那一跑完就把成品传上 OSS 并挂好 resultFileUrl,那时才发现缺口,
半张表已经在用户的下载列表里了。
- requestRecheckForMissingRows:requeue 排不上队时改吃抛,不再退化成按已有结果交付;
让作业走到终态失败,由判死出口按补检预算再判一次。
- fallbackAssembleResultFile:出表前先试 scheduleFallbackRecheck,复用现成的
resetTerminalFailedForRecovery(终态失败+retry 到顶 ⇒ 清零、重回 PENDING、重派发),
补传恢复那条路一直在用它,只有交付缺口这条路没接上。轮次只在重排真接上之后才记,
否则一轮没接成的重排会自己把预算吃光。预算耗尽仍照常出表——
"起码失败了也可以下载"那条保证不变。
门禁:后端整量 mvn -o test 4549 例/0 红/0 错/16 skipped,BUILD SUCCESS;
定向 43 例(交付闸门 14+兜底出表 5+行标记 15+CatchSilence 9)全绿;
ops 面 ruff check . All checks passed、readability 棘轮 9 passed(AP 3048→3121,基线 3458)。
整量第一次跑抓到的是本笔自己的账:新增两枚 Redis 降级方法各带一处不重抛的 catch,
把 CatchSilenceRatchetTest 的"不重抛"从 562 顶到 564。没放宽那格判据,改成去掉这两处
新 catch——补检轮次直接复用既有的行级轮次计数(同 24h TTL、同降级口径),借哨兵键
__recheck__;行键恒为 id::ASIN::国家、必带 "::",撞不上。
|
2026-10-20 00:41:29 +08:00 |
|
huangzd1997
|
773c41254f
|
test(phase-3): 3A 欠账第一笔——appearancepatent 回传段 golden 落地,七支的「先补再动」至此齐平
只加测试与 golden,`AppearancePatentTaskService` 一字未动。AP 是七支里唯一没按「先补 golden 再动迁移」推进的一支(在册只有 create-task 与 parse 两条,parse 锁的是解析输出、不是回传副作用),所以本文件记的是**现状**而非理想形状,它给的是已经迁移过的那份代码补外层防线。
规模口径(第七处读数坑那条尺别):golden **11 段**,由 **2 支执行用例**渲染(第 3 支 `@Test` 是写档器,无 `SHUFU_SNAPSHOT_WRITE` 时 skip ⇒ 非写模式读数 `Tests run: 3, Skipped: 1`)。全量 4542→4545 的 +3 就是本笔这三支,其中 1 skip 也是它。
射程(本笔只钉「准入七形+首片未收尾+两条例外」):`finalizeTask` 比其余各支深,里面还有「同步组装 vs 排队组装」的分叉与工作簿组装,硬塞只会产出一枚看着绿其实假的 golden——双事务边界、终态失败 job 恢复、finalize 分叉留第二笔。
流水里读出来的三件事(都非推测,且两处推翻了我自己的预设):
- **AP 回传段没有 `requireTaskId` 那一格**:非法 taskId 先打一次 `selectById(0)`,再按「任务不存在」拒。publish/ShopDataCrawl 是在取锁或加载之前就拒 ⇒ 「非法 id 该不该碰 DB」七支不同形。我最初把这段命名成 `…RejectedBeforeAnyLoad`,那是假名,已改 `illegalTaskIdStillHitsOneLoadThenRejectedAsNotFound`。
- **终态拒绝发生在载荷已存进对象存储之后,且这支没有清理调用**:三段准入拒绝的流水都留着 `payload.storeChunk` 而无任何 delete(publish 有 `deleteUncommittedPayloads`)。只登记现状当防线,不动它——改就是改对外行为,得另立一笔并先量孤儿载荷代价。
- **准入是第四种形状**:`TaskResultAdmission.rejectNotRunning` 判「不是 RUNNING」而非「是终态」,PENDING 也拒但不带 code(保持可重试),SUCCESS/FAILED 带 40901。底座那格只拒终态、会放行 PENDING ⇒ 这一格接不上不是漏接,`admissionRejectedForPendingTaskIsNotTerminal` 是物证。
另有两处夹具自身的坑当场修掉:`payload.resolve pointer=` 我原先取的是第二个实参(现网那句失败文案)而不是指针;分片夹具把 `chunkIndex` 设成 1 与本段实际回传的 0 不一致,会让流水里的 `idx=[1]` 误导读者。这类不会判红,只有逐段读 golden 才露馅(第十三处读数坑同一族)。
门禁:本类写档模式 3/0、非写模式 3/0/1 skip;AP 簇复跑 `TxBoundaryTest` 8、`ChunkMergeConflictTest` 5、`TerminalFailedRecoveryTest` 8、`SnapshotTest` 9 全绿;后端全量 **4545/0 红/16 skipped/BUILD SUCCESS,真实 rc=0**。ops `ruff check .` All checks passed;readability 棘轮 **8 passed/1 failed**,唯一 offender 是 app_client `approve.py` 三枚长函数(142→145/95→110/102→119,另一路在飞件)⇒ 不动基线、不 `--write`、不代收。产品风险那三处超长文件已由另一路 `850f935` 自行代收,本笔不替它记账。
|
2026-10-19 22:06:31 +08:00 |
|
huangzd1997
|
d44ac2c447
|
style(产品风险): 合并段注释与日志实参收成行内,压回服务侧增量
代收基线走 ops 仓那一笔。实测 1485→1492 行。
|
2026-10-19 20:42:33 +08:00 |
|
huangzd1997
|
d49c6fc78b
|
docs(phase-3): 3D 出处账——publish 进「真接上 publishResultFile」名单,另抓到 listScopeRows 那格本来就记错的支数
纯 javadoc(`git diff` 逐行核过:除 diff 头以外没有一行不是注释),生产逻辑零改动。
底座 551→575 行,距 800 报警线仍远;本件不在棘轮点名清单内。
跟着 `a125e8f8` 把「谁真用了哪一格」改实,共七处:
- 类头「真接上 `publishResultFile` 的目前只有 shop-payload 两支」→ 三支(+Publish)。Publish 此前一直被记成本件出处却没被接,这次逐列核过是**同形且接得上**,不是「同形接不上」。
- `newTaskHeader`/`publishResultFile` 两处 Publish 行号指针改成认方法名+「迁移前是 :xxxx」,与 3C 给 CollectData 的写法同一格式(`:1054-1070`、`:590-598` 已随迁移漂掉)。
- `ensureTaskOwnedByCurrentInstance` 的三支出处行号全部改成认方法名。这里有一句差点写成假话:我原想写「publish 那枚 public 还兜着别处进来的调用」,去核才看到 `PublishTaskHeartbeatSpi:28` 确实从类外调它(更早一次 grep 被 `head -8` 截断、把这支切掉了)⇒ 保持 public 是**必需**而不是容忍,注释里点名列出该调用方。
- `TerminalRejection#ERROR` 的 3D 补正那句「得留本地写法或先给枚举加第三档」补上结论:已按留本地写法落地,枚举未增第三档。
- 类头那组 2026-10-18 的巨石行数加一句「这组数是签名的来源、不是现状」——否则每迁一支它就更假一分。
⚠ 顺带抓到一处**与本次迁移无关、本来就错**的账:`listScopeRows` 的注释写着「真正调本件的支数现在是三(ShopMatch/PriceTrack/ShopDataCrawl),其余四支尚未迁移」。全树实点调用方是**四支**——`DeleteBrandRunService:1609/:1717` 从 3E 起就在调,那句把出处里的「DeleteBrand 同款」读成了「形状同款、还没接」,一直没跟着迁移改。同时「其余四支尚未迁移」现在整句失效(七支都在底线上了)。已改成:四支调本件;其余三支(AP/CollectData/Publish)虽在底线上却都没用它,并逐支写清它们读的是哪一形(AP 带 `.select(...)` 投影、CollectData 是跨任务历史分页、Publish 是 `selectOne(limit 1)` 查不到就 insert)——三条都是 grep 实读,不是推测。**教训**:「在底线上」不等于「用过每一格」,这两句以前混用过。
|
2026-10-19 20:06:28 +08:00 |
|
huangzd1997
|
a125e8f8a5
|
refactor(phase-3): 3D 迁移本体——publish 接上底座,七支至此全部有生产调用方在底线上
`PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>`。上一笔腾出的额度足够,本笔未动任何门禁判据(`writeJson` 并档因此不再是必需,仍然未做、仍待逐处记名授权)。
接上六格(比 3D 前置测绘预估的四格多两格,两处都是实测新确认):
- `requireTaskId`:原 `requireTaskRecord` 内联的「taskId 不合法」三行。
- `requireSubmissionTask` ← 新确认:底座那格做的正是「加载+模块校验+『任务不存在』」。把本支原来的一次三条件判拆成两次顺序判(异常类型/文案/检查之间无副作用三者同源,判据不变),于是 `loadTaskForSubmission` 这枚钩子**不是死件**——它被建单外的全部 `requireTask*` 路径真调用着。
- `requireUserId`:删本支 `validateUserId`,四处调用点转名(文案逐字相同,实测过)。
- `newTaskHeader`+`insertTask`:注意建单入口 `validateParseRequest` 已先 `requireUserId` ⇒ 底座那格在这条路上是空转,不新增拒绝点。
- `newScopeRow`:结果行。
- `publishResultFile` ← 新确认:底座注释本就列 publish 为出处,这次逐列核过是真接得上(上传入参、6 列、`success=1`、清 `errorMessage`、`updateById`),不是「同形但接不上」。
原样留本地三格(都是形状差、不是没做):两参 `acquire` +不带 code 的「任务正被占用,请稍后重试」;SUCCESS 静默短路/FAILED 抛「任务已失败」那第三种终态形状(见 `TerminalRejection#ERROR` 的 3D 补正);本支私有 `writeJson`。
等值证据(这三格没有既有 golden 覆盖——publish 只有 batch-loading 与 submit-result 两条快照,建单段没快照,所以没停在「读两段代码觉得一样」):把 `git show HEAD` 的旧块、现块、底座件体各抽 setter 集合做差集 ⇒ 头行 **16 列 = 现留 6 + 底座 10,未接住为空、底座多写为空**;写列 **7 = 7 完全一致**;结果行只多两列,是新建实体上本就为 null 的 `rowCount`/`sourceFileUrl`(等价,不是补默认值)。底座件自身的逐列行为由既有 `AbstractFileTaskPipelineTest` 钉着(含「两列同一个显式时刻」「不给模块自决列编默认值」「userId 非法在建行前就拒」)。
构造子 19 枚参数**逐枚沿用原字段声明序**,只把交给底座的五枚转给 `super`:`PublishTaskServiceTest`/`PublishDashboardAggregateTest`/`PublishBatchLoadingSnapshotEquivTest`/`PublishSubmitResultSnapshotTest` 四处 `new PublishTaskService(…)` 一个字都不用改——改顺序就是把回传段 golden 的夹具重排。
行数账(`--numstat` 实测):本笔净 **+23**(2109→2132);含上一笔抽件累计 **2250→2132,净减 118**,基线一格未改、`--write` 未跑。
门禁:定向 **191 例/0 红/1 skip**(publish 全部 10 支测试类+七把棘轮/护栏+`SqlLayeringConventionTest`);后端全量 **4542/0 红/15 skipped/BUILD SUCCESS,真实 rc=0**。两次全量之间出过一记红,定性如下——
- `ShopDataCrawlTemplateLargeWorkbookTest.test_task_026_…boundary_limit_and_overflow`:「5000 行模板写入须在预算内完成,实际=87322ms」。那是**墙上时钟预算断言**、且不在本笔射程(本笔只动 publish)。复现而非宣称:单跑该类 8/0(整类 171.3s→99.3s),第二次全量该类 42.29s 且整树 0 红。这条尺的读数强依赖本机有无并发在飞。
- 用例数 4540→4542 的 +2 归另一路的在飞件(`productrisk` 那三笔在他们仓里落地),**本笔零新增 `@Test`**。
- ops `ruff check .` All checks passed;readability 棘轮 2 failed/7 passed,offender 三处全不归本笔(`ProductRiskTaskService` 1485→1495、`BrandProductRiskTab.vue` 1722→1724 已随另一路 `ab42adad`/`a97dbf7f` 进入 HEAD 而基线未同步;`app_client/amazon/approve_v2.py` 1279→1284 与 `approve.py` 三枚长函数属 app_client 面)⇒ 不动基线、不 `--write`、不代收。格式步未纳管 ⇒ 如实跳过。真机启动验收本格仍欠(七支全部欠,属 Phase 8 收口项)。
|
2026-10-19 19:56:45 +08:00 |
|
huangzd1997
|
cdbe247dbf
|
fix(品牌检测): 整批确定性拒绝时短路同批其余品牌的重试阶梯
2026-10-19 现网取证:品牌库代理套餐过期(供应商回 {"code":-1,"message":"套餐不存在"})
→ 16890 代理池恒为 0、一次代理都没挂上 → 全部直连打 WIPO branddb 被整片 Forbidden。
这是每次必然失败的确定性拒绝,而重试阶梯照旧跑满:单品牌 10 轮含最长 10 秒的递增等待
约 45~65 秒,全是白烧;更糟的是它烧的是整批共用的 90 秒预算,于是后面的品牌还没开始
就被掐在 attempt=2/10——日志里成片的「整批耗时预算用尽」与「重试耗尽判定查询失败」
其实是同一件事的两面。
判据保守,三条都硬:
- 只有「跑满整条阶梯 + 最后一轮仍是 query_faild_data」才置标志;被预算或短路掐断的
轮次不算证据(ladderCompleted 专门为此而设)
- 请求全程抛异常(response==null)不触发:那可能是本品牌特有的超时形态,拿它当
「上游整体在拒绝」会误伤同批真能查回来的品牌
- 首轮始终执行,短路最坏情形的上界就是每品牌一次请求
结论语义不变:短路只省重试,每个品牌仍各自判查询失败、仍交调用方降级。
本类是外观专利 / collect_data / similar-asin 三模块共用的出口,用户口径明确要求
放在共用层(收益最大、影响面也最大),故三处同时生效。
BrandCheckClientTest 10 例(新增 2)+ AppearancePatent*/TaskServiceWiringSlice 全绿。
变异检验:把 upstreamRejecting.set(true) 废掉后新用例确实变红,非装饰性断言。
在独立 worktree(HEAD 干净副本)完成编译与测试——共享工作树此刻有另一路会话的
PublishTaskService.java 半成品(缺 AbstractFileTaskPipeline 的 import,主源码编译不过),
未触碰、未暂存。
|
2026-10-19 19:45:05 +08:00 |
|
huangzd1997
|
ab42adad05
|
feat(产品风险): 回传带上实跑筛选值与线索,随合并载荷落进范围态
客户端把本次实跑用的「商品列表筛选」和一条不改判终态的线索发上来后,
mergeShopPayload 按「后到的非空值覆盖」合并(增量回传不带这两字段,
不能让最后一条空载荷把审计线索冲掉),随合并载荷整份存进
biz_task_scope_state.parsed_payload_json —— 不需要新列:result_json 每次由
buildSnapshotFromDb 从库里重建,不落列的东西写进去也会被冲掉。
submitResult 的 merged 日志同步带上两值,现网可直接 grep。
warning 与 error 严格分开:error 会让店铺判失败,线索不会(用例逐条钉住)。
另把结果表九列的次序与文案逐字钉住——用户是按列位对账的,加列/换序/改文案
都会让存量对表脚本静默错位。
|
2026-10-19 19:17:03 +08:00 |
|
huangzd1997
|
de38c3ec58
|
refactor(phase-3): 3D 前置拆薄——publish 陈旧扫描聚类抽出 PublishStaleTaskScanner,服务 2250→2109
用户拍板的路线:接底座净亏 +8~15 行、必须先靠一笔 ③ 前置抽件把账做平。本笔就是那件抽件,为下一笔(publish extends 底座,实测成本 ≈+35 行)腾出 141 行额度。
搬的是「扫描+判定」,不是「收尾」:
- 进 `publish/service/support/PublishStaleTaskScanner.java`(293 行):作业锁 `publish:stale-check` 与其 fail-open 日志、两条候选 SQL(心跳线 `updated_at` 陈旧/二次线 `last_chunk_at` 停摆)、每任务分布式锁、未完成组装 Job 闸门、「从未上报」三分证据判定、两条线各自的复查谓词与对外文案。
- 留在服务:`failStaleTaskLockedInternal` 收尾本体**零改动**(部分回传行抢救、结果行终态、组装 Job 入队都在 machinery 侧),`failStaleTasks` 与 `failNoUploadStaleTasks` 各留一枚 delegator。
- 两枚 delegator 不是风格选择:`failStaleTasks` 被 `PublishTaskServiceTest` 三处公有调用;`failNoUploadStaleTasks` 被 `PublishNoUploadStaleTest:123` 用 `ReflectionTestUtils.invokeMethod` **按名字**反射。删名字等于把回归网拆掉。
- 扫描器**每次入口新建、不注入**:两枚阈值是服务侧 `@Value` 非 final 字段,测试靠 `setField` 改它们;烤进构造更早的缓存里,那三支既有用例当场读旧数。
等值证明不靠眼看:把搬走的两段与 `git show HEAD` 的原文做符号归一后逐行对照,A 线与 B 线的差异**只剩** `MODULE_TYPE`→`moduleType`、`STATUS_RUNNING`→`TaskStatuses.FileTask.RUNNING`、`currentInstanceId()`→`Supplier<String>.get()`、收尾改走 `StaleFinalizer` 回调、`"limit 100"`/`0L`/`Math.max(5,…)` 提常量——没有第六种。当前实例 id 交 Supplier 而非定值是为了不改「查询那一刻才取值」的现网语义。
顺手的一处真减:两条候选查询的 owner 三条件块逐字相同,收成一枚 `ownerScoped` ⇒ 全树 wrapper 内裸 SQL **15→12**。
⚠ 一处如实登记的既有缺口:二次线「有过上报但停摆」那一支没有测试覆盖(三支用例全在「从未上报」三分上)。它不是本笔造成的,但意味着那一支只有逐行对照当证据、没有测试当证据。
门禁与两处读数账:
- 后端全量 **`Tests run: 4540, Failures: 0, Errors: 0, Skipped: 15` + BUILD SUCCESS,真实 rc=0**(取自重定向)。⚠ 4537→4540 这 +3 是另一路 `ProductRiskTaskServiceTest`/`ProductRiskExcelAssemblyServiceTest` 的在飞改动带来的,**本笔零新增 `@Test`**——第十一处读数坑的同族,引用例数变化先查归属。
- **抓到一枚本笔自己的红**:`SqlLayeringConventionTest.rawSqlInsideWrappersDoesNotGrow` 按文件名精确记 wrapper 内函数级 SQL,在册 `PublishTaskService=6`,抽件后实测 `PublishStaleTaskScanner=3`。按测文规定「迁走 ⇒ 同步减基线」改登记键,方向是减、不是放宽(不是阈值动作,无需请示)。教训入册:定向清单是按「上一笔红过什么」攒的那七类,**不含这一类**,新建 `src/main` 文件会唤醒按文件记账的尺——定向全绿给不出门禁全绿,这条只有全量能兜住。
- ops `ruff check .` All checks passed;readability 棘轮 2 failed/7 passed,三处增长全不归本笔(`ProductRiskTaskService` 1485→1495、`BrandProductRiskTab.vue` 1722→1724 属另一路 crawler-plugin 在飞件;`app_client/amazon/approve_v2.py` 1279→1284 与 `approve.py` 三枚长函数属 app_client 面在飞件)⇒ 不动基线、不 `--write`、不代收。本笔 `PublishTaskService` 2250→2109 是减,天然合法、不回写基线。格式步未纳管 ⇒ 如实跳过。真机启动验收本格仍欠。
|
2026-10-19 18:56:22 +08:00 |
|
huangzd1997
|
6a43a7e745
|
docs(phase-3): 3D 前置出处账——底座把 Publish 记成 TerminalRejection#ERROR 的出处这一笔不实,改记成第三种形状
纯 javadoc,一行生产逻辑未动(`git diff --stat` = 12+/4−,全在注释块内)。
3D 前置 golden(上一枚 commit)逐段读完 publish 的终态后,发现底座 `TerminalRejection#ERROR` 那段注释里两处不实:
- **Publish 从来不是本档位的使用方**。Phase 2 把它按「不带 code」这一维归了类并留了个 `:1344` 指针,但 `PublishTaskService` 全文零次出现「任务已结束」;它真实的两处是 `:1104-1108`/`:1137-1141`,形状是本枚举**没建模的第三种**:SUCCESS 静默返回(不抛),FAILED 才抛「任务已失败,拒绝继续回传」。golden 的 `taskSuccessShortCircuitsWithoutThrowing` = 两次 `task.load` + `tx.begin/commit`、零写入、`result=void` 就是这条的物证。
- **ShopDataCrawl 的 `:633` 指针也已漂**(那行现在是建单段的 `newTaskHeader`),真出处是 `submitResult` 里 `:676`。连同 `IDEMPOTENT` 段的 ShopMatch `:652`/PriceTrack `:603`(实测在 `:675`/`:642`)一起,本笔一律改成**认方法名不认行号**——这正是 3C 那笔给 CollectData 立过的规矩,当时只改了 CollectData 一支的行,剩下三支的行号照旧漂着。
对 3D 的直接结论:publish 接底座时这一格既不能套 IDEMPOTENT 也不能套 ERROR,只能留本地写法、或先给枚举加第三档;加档属公共形状变更,要单独授权。这一格与 `:1104` 那处的「锁外预检」合起来,是 publish 与 collectdata 虽同属 chunk+scope 族、却不能照抄迁移的两处硬差。
门禁:`mvn -o test-compile` rc=0;ratchet/护栏七类合跑 `Tests run: 77, Failures: 0`(含 `CatchSilenceRatchetTest` 9、`SourceScanTest` 40、`LockSkipSilentExitGuardrailTest` 4);ops readability ratchet 9 passed——本件现 551 行(ruler 口径),距 800 报警线尚有 249 行,注释变厚不构成新 offender。全量 4537 已在上枚 commit 前跑过,本笔只动注释、不重复消耗。
|
2026-10-19 17:56:34 +08:00 |
|
huangzd1997
|
f5c64b3b23
|
test(phase-3): 3D 前置——publish 回传段 golden 落地,27 段流水钉住本支独有的三处形状
只加测试与 golden,`PublishTaskService` 一字未动(现网行为无变更,故不需要行为回归之外的验证)。
钉住的 publish 独有形状(逐段对 golden 复核过,不是推测):
- 取锁在取任务**之前**:`lockBusyRejectedBeforeAnyLoad` 只有 `lock.acquire` 一行、没有任何 `task.load`。这与 collectdata 的回传段方向相反,是「同族不同形」的第一处实证。
- SUCCESS 静默短路不抛:`taskSuccessShortCircuitsWithoutThrowing` = 两次 `task.load`(锁外一次、事务内一次)+ `tx.begin/commit`、零写入、`result=void`。底座 `TerminalRejection` 那三种档位里没有这一种。
- 未完成回传时 `job.enqueue resultId=2001 scopeKey=task:1001:owner:node-A`(键形状带 owner,不是纯 `task:<id>`)。
- 同请求重复文件被拒时,**未提交的 chunk 会被清掉**:`duplicateFileInOneRequestRejected` 走出 `chunk.countReferenced -> 0 → payload.delete pointer=rustfs:chunk-1`,`payloadDelete=1` 而 `files` 仍全 PENDING。
口径与坑(都是老坑的新一次踩法):
- golden 27 段由 3 支执行用例渲染,第 4 支 `@Test` 是写档器、无 `SHUFU_SNAPSHOT_WRITE` 时 skip ⇒ 执行读数 `Tests run: 4, Skipped: 1`。「段数 ≠ 用例数」第七处坑在此复现,登记以免下一个人拿 27 去对 `@Test` 计数。
- 写档过程中有一记**假 golden**:MyBatis-Plus `AbstractWrapper.getParamNameValuePairs()` 是懒填充,不先调 `getSqlSegment()` 就拿到空 Map ⇒ 分片查询替身对任何条件都返回同一行,`lastChunkCompletesMerge` 那格真跑成了「同一 chunk_index 已回传不同内容」的错路。现以 `boundValues(...)` 统一先取 `getSqlSegment()` 再读绑定值。这类坑不会判红,只会把流水记成假的。
- 清理件在 afterCommit 抛异常被吞、调用方仍见成功:`cleanupFailureAfterCommitIsSwallowedAndCallerStillSeesSuccess` 另证 `chunk` 删失败后**不再**删 scope(现网两删除同在一个 try 里)。
验证:全量 `mvn -o test` → `Tests run: 4537, Failures: 0, Errors: 0, Skipped: 15` + BUILD SUCCESS(rc 取自重定向而非管道);非写档模式复跑本类 4/0/skip 1;ops `ruff check .` = All checks passed、readability ratchet 9 passed(该尺只扫 `src/main`,792 行的测试件不构成新 offender)。
|
2026-10-19 17:51:04 +08:00 |
|
huangzd1997
|
311bbadc97
|
test(phase-3): 3C 续笔——把「三格未涨」那句收回成两格,empty 那格的常量与实测差 1
a54f80c6 的 message 与常量注释都写了「不重抛/只 log/空体三格上限等于上一次记录的
实测值,绿即证未涨」。逐格核对后:notRethrow 562、logOnly 173 两句常量确实等于上一次
记录的实测值;STRICT_EMPTY 是 56、而上一次记录(3B 那笔的注释)是 55 ⇒ 那一格绿只证
「≤56」,不证未涨。判据与代码一字未动,只是别让下一读的人把「门禁绿」读成三格都被
重新证明过。复跑 9 例/0 红。
|
2026-10-19 16:57:41 +08:00 |
|
huangzd1997
|
a54f80c650
|
refactor(phase-3): 3C 第三处 writeJson 并档——persistStats 的捕获面收回序列化,RETHROW 下限按实测钉到 380
用户拍板「按顺序」第①项。CollectDataService.persistStats 那段 try 包 15 行 payload.put
加一次 writeValueAsString 并进底座 writeJson(ObjectMapper, Object, String),文案
「保存采集统计失败」、异常类型与不带 cause 三条线协议事实逐字带到调用点——回传 golden
那 15 段每段都过这一格,非写模式逐字节复现就是等值证明。
并档顺带把捕获面从「建 map+序列化」收回到「序列化」:LinkedHashMap.put 对这些值不可能
抛,所以没有一处出口被改回吞掉。RETHROW_FLOOR 381→380,出处点名续在同一处注释里。
读数按上一笔定下的复现办法当场取(上限压 0、下限抬 99999 各单跑一次本类,探完五个
常量逐格还原):整树 total=997、rethrow=380,与上一笔读到的 998/381 各差 1,正好等于
本笔摘掉的那一处。不重抛/只 log/空体三格是上限且常量等于上一次记录的实测值,绿即证
未涨过那一数。
行数:本支棘轮 2111→2107,对在册基线 2209 累计净减 102。基线一格未改、--write 未跑。
门禁:定向 349 例/0 红/2 skipped(含 ratchet、wiring、SourceScan、两套 golden);
后端全量 4533 例/0 红/14 skipped/BUILD SUCCESS(真实 rc=0);ops ruff All checks
passed、readability 棘轮 8 passed/1 failed——那一记红仍是另一路 80f92c38 落地的
AppearancePatentLlmClient 1419→1465(基线未同步),本笔不代收、不回写。
|
2026-10-19 16:54:37 +08:00 |
|
huangzd1997
|
852282b645
|
test(phase-3): 3C 就地补正——整树 catch 的实测数与「上限静默吸收删除」的复现办法写进常量上方
5229584a 的 message 里那句「total 随两处离开树而 1004→1002」是推算不是读数。当场复现
(把 STRICT_TOTAL 与三格上限压到 0、RETHROW 下限抬到 99999,单跑本类一次,断言文案即实测):
整树 total=998、rethrow=381。与历史数 1004 差的 6 格里本笔只占 2,另 4 处是更早几笔摘掉
catch 时静默吸收的——total 是上限,只在新增加时红,删掉从不回头核对,所以常量上方那些
「实测 1003/1004」会与现实脱钩。
判据一格未动:四格上限原样、下限按实测 381 钉住(要收紧上限得逐处记名另笔请示)。
纯注释改动,复跑 9 例/0 红。
|
2026-10-19 16:26:48 +08:00 |
|
huangzd1997
|
80f92c387b
|
fix(外观专利): 整批商标查询无一返回时表上改说「上游整体不可用」
2026-10-19 现网取证:品牌库代理套餐过期(供应商回 {"code":-1,"message":"套餐不存在"})
→ 16890 代理池恒为 0、一次代理都没挂上 → 全部直连打 WIPO branddb 被整片 Forbidden
→ 交付表 11 行全写「商标查询失败」。逐行失败可能是那个词本身查不了,整批全失败只可能
是上游挂了,两者在表上必须长得不一样;否则运维故障被伪装成数据问题,用户看不出该做什么。
新文案保留「商标查询失败」前缀,让三处既有语义逐字不变:
- isBrandQueryFailed() 继续成立
- buildConclusion 该支从返回常量改为返回 titleRisk(旧输入输出相同,新输入自动带原因)
- resolveResultStatus:新文案不含「侵权」二字,照旧判「失败」(已单独钉桩)
判据刻意保守:任一行拿到过侵权命中、或任一行查成功过即不升级;没发过查询的行
(LLM 已判「无」、标题为空)不参与判定,否则一批"无需查"的行会被误判成上游故障。
表上仍不会出现「欠费」二字——那个信息只存在于 16890 内部,Java 侧看不见。要把
message 一路带到表格,需先给 /root/BrandTesting 建版本控制再改它的响应契约。
AppearancePatentLlmClientTest 14 例 / SheetBuilder 15 例 / BrandBatch 3 例 /
BrandCheckClient* 12 例全绿;整个 test 源集 546 类编译通过,证明 applyResult
签名改动无漏改调用方。
|
2026-10-19 16:23:00 +08:00 |
|
huangzd1997
|
5229584a29
|
refactor(phase-3): 3C 第三件公共件入底——writeJson 两处并档,RETHROW 下限按逐处记名调到 381
用户授权项①。CollectDataService 的两处序列化 catch 并进底座
AbstractFileTaskPipeline.writeJson(ObjectMapper, Object, String):
① 私有 writeJson(Object, String)(唯一调用点文案「采集结果序列化失败」逐字带到调用点);
② 建单 persistParsedTask 那段 try 包两次 writeValueAsString(文案「序列化任务信息失败」)。
两支的异常类型、文案、不带 cause 这三条线协议事实一字未动——建单 4 段与回传 15 段
golden 在非写模式下逐字节复现,就是这条等值的证明。
门禁判据动了一格且是被授权动的:RETHROW_FLOOR 383→381,两处出处逐一点名写在常量上方
(沿用 3B 的 386→385、3A 的 385→383 同一格式)。total 是上限、随两处离开树而 1004→1002,
不重抛/只 log/空体三格同批复跑一个未涨——判据一条没放宽。
第三处同形状(persistStats 的 try 包 15 行 put 加一次序列化)这笔没并:授权范围是两处,
再降一格要另行逐处记名。已在常量注释里点名留下这一格,别让下一个人以为本支已经并干净。
行数:本支棘轮 2123→2111(净减 12),对在册基线 2209 累计净减 98;基线未改、--write 未跑。
门禁:定向 328 例/0 红/2 skipped;后端全量 4533 例/0 红/14 skipped/BUILD SUCCESS
(真实 rc=0)——4533 比上一读数 +5 全是另一路未提交的 AppearancePatentLlmClientTest
(9→14 枚 @Test),本笔未新增任何用例方法。ops readability 棘轮 8 passed/1 failed,
唯一 offender 仍是它家未提交的 AppearancePatentLlmClient.java 1419→1465,本笔一字未碰、
不代收、不回写基线;ruff All checks passed。真机启动验收本格仍欠。
|
2026-10-19 16:12:41 +08:00 |
|