Commit Graph

24 Commits

Author SHA1 Message Date
huangzd1997 b231a67dd7 fix(b82-01): 任务行部分字段落库改 update(null, wrapper),13 处部分实体 updateById 不再抹 failure_category
B82-01:failureCategory 标 FieldStrategy.ALWAYS(V186 让清错误分支的 null 真落库)的代价是任何 new 出来的部分实体走 updateById 都把该列无条件抹回 NULL。现网只读探针(2026-11-05,SSH 主机B)实证列全表零非空:近 7 天 194 条 FAILED 全空,9 条文案命中 CREDENTIAL/DELIVERY markers 的行列也是空。本笔只动调用点一边;注解半边由 TaskFailureCategoryMigrationV186Test 的 ALWAYS 钉守住。

写点转换(13 处 updateById,12 个条目,DedupeRunService 收尾一处两调用):convert/split/productrisk/queryasin/withdraw/similarasin/appearance-patent/pricetrack 显式两到四列;shopdatacrawl 快照+归属三列;deletebrand 终态分支 error_message 与分类同笔配对 TaskFailureLedger.categoryOf(护栏格1连线语义);dedupe FAILED 收尾同笔配对;similarasin 归属绑定(rustfs 回退)。Explore 初判 12 处漏了 withdraw/pricetrack 族——逐支验明全是 loadTaskForExecution 全实体(selectById/缓存血统),非抹列点,留痕不扩 scope;DELIVERY/CREDENTIAL 两族终态写点接 ledger 属后续批,不在本笔。

护栏 TaskFailureCategoryGuardrailTest 5→7:① ledger 对六组 markers 各出一条值非空断言(配对写恒 NULL 也绿那半堵上);② .updateById( 总量棘轮 173→160(本仓 ALWAYS 字段还有 PriceTrackLoopRun/ShopKey/SkipPriceAsin 四实体,棘轮按全量钉,新增写法必须登记复审)。测试适配:共享探针 UpdateWrapperProbe(getSqlSet 列序+MPGENVAL 精确取值+列名 snake 归一——单测 JVM 的 Lambda 列缓存可能被自动初始化成驼峰,不归一则快照取决于测试类执行顺序);4 份 golden 重钉 11 行(窄写面 status 不在写面渲染成 -);ShopDataCrawlOwnerColumnTest 假 DB 从只会 CAS 升级为按 SQL 语义应用 SET 段(whereEq 校验 id/status eq);SimilarAsinTaskServiceSubmitTest 归属断言改为录 SET 段断言零 owner_instance_id(touchJavaSideTaskActivity 本就合法走 update(null,wrapper),verify(never) 会误杀)。

门禁:受影响七支定向 50/0 失败/0 错误/3 skipped(既有 skip,零新增);mvn -o test 整量 5321/0 失败/0 错误/19 skipped BUILD SUCCESS(5:01,skip 数与在册基线逐字相同);后端无 lint/格式器如实跳过;未动 application.yml/路由/Flyway/env,门禁5不适用。
2026-11-05 01:34:00 +08:00
huangzd1997 00f45cc20f feat(phase-B75): 计次上报加 source 维度(V188)——「谁在烧」一列读数,归因不再扫设备日志
- V188:biz_user_secret_usage_daily 加 source varchar(24) NOT NULL DEFAULT 'legacy'(存量行诚实落 legacy 不回填),唯一键 uk_user_module_date 扩成四元组(user/module/date/source),加列与建索引均 information_schema 判存可重跑(列按 V157 款、索引按 V184 款),八段式含验证 SQL 与人工回滚
2026-11-04 02:56:50 +08:00
huangzd1997 7469c710d7 feat(collect-channel): 采集执行方按单判定并随 /parse 落库
「这一单交本机还是线上」原先是全局 yml aiimage.collect-routing.local-enabled,
一台服务器一个值,把同机所有账号捆成同一个执行方:本机开着的用户被迫走线上,
跑 Linux 兜底的用户也没法把某一单留在本机。现改为建单时逐单登记
biz_file_task.collect_channel(V183,可空=按模块默认),全局开关只留兜底窗口。

- 列可空且不回填:空值按模块默认解释,APPEARANCE_PATENT/SIMILAR_ASIN 读作 LOCAL、
  其余读作 ONLINE,与撤掉的 AIIMAGE_COLLECT_LOCAL_* 出厂值逐字节等价,
  历史单与未升级前端行为不变。
- TaskRetryCloneSupport.buildChild 必须继承通道:原单选了线上,重试掉回模块默认
  等于悄悄换执行方。
- CollectChannel 用逐值比对而非 valueOf+catch 判「不可识别」:后者会把静默 catch
  总数顶过 CatchSilenceRatchetTest 上限 1057。
- 两支建单快照 golden 随 collect_channel 键重建(只多出 collectChannel=null)。
2026-10-31 12:33:09 +08:00
huangzd1997 217f5eec62 feat(phase-5): AC-19/AC-21 读路径时间窗与 keyset、心跳瘦读、菜单缓存、去 RAND、MDC 与补检限流
AC-19(P1-B1/B2/B3/B4)
- 任务中心(P1-B1):TaskCenterQueryService.tasks() 不带 startTime 时补 90 天默认窗口
  (startOfDefaultWindow),不再把 null 透传给 12 模块 UNION 扫全历史;selectTaskPage 的
  `LIMIT ? OFFSET ?` 改成 (createdAt,id) 游标,深翻页的 skip 挪进新语句
  selectTaskPageAnchor——它只投影 (id,createdAt) 两列。宽/窄两份 UNION 共用同一对筛选片段
  (taskFilterT/taskFilterB),锚点与页查询筛的行集在结构上不可能漂;页码语义、total、
  响应结构与前端全部不变。
- 关键词抽词(P1-B2):selectRandomUnused 不再 ORDER BY RAND()(全表 filesort)。
  服务层先 countHit 数命中集、再把窗口起点掷在 [0, total-limit],按 k.id 有序取一段后
  在内存洗牌。分布口径变了(连续 id 的一段 vs 逐行独立随机),已如实登记。
- 心跳(P1-B3):selectFileTask 只捞 id/moduleType/status/userId/updatedAt 五列;
  需要整实体的模块由新 SPI 默认方法 heartbeatNeedsFullTaskEntity()(默认 true=保守)
  声明后补一次主键读,collect-data/similar-asin/appearance-patent 三个只用
  task.getId() 的显式豁免。半行进 saveTaskCache 会写出坏缓存,比多读一次列难查得多。
  markInterrupted 改走整实体读(要 errorMessage 并同步模块缓存/快照)。
- 权限菜单(P1-B4):loadMenus 加 (companyId,menuType) 短 TTL(30s) 快照缓存,
  五处目录写路径 create/update/delete/reorder/copyTreeFromTemplate 全部写时失效;
  只缓存目录本体、不缓存用户授权行——撤权必须下一请求就生效。

AC-21(审计 §5/PERF §6)
- RequestTraceFilter 把已解析却只进日志参数的 requestId 写入 MDC(缺失写 "-"),
  finally 里 MDC.clear()(tomcat 线程复用,不清就把上一条的 id 带给下一条日志);
  logback-spring.xml 的两条 pattern 默认值 + application.yml 显式设的 file/console
  两条同批改带 [%X{requestId}]——本文件那两条会盖掉默认值,漏一处线上照样看不见。
- AppearancePatentDeliverySupport.requestRecheckForMissingRows 的补检轮 WARN 按任务限流:
  5 分钟窗口内首条 WARN(带 suppressedInLastWindow 汇总),其余降 DEBUG。刻意不吃
  recheckRounds/countRecheckRound 那对轮次计数——那是 scheduleFallbackRecheck 的补检预算,
  从日志路径再计一次会让"限流"吃掉业务预算、任务更早被判补检耗尽。
  "补检排不上队"那条不受限流(要人处置的信号不许压)。

契约激活与判据变更
- PendingPhase5ReadPathTest 5 例、PendingPhase5LogVolumeAndMdcTest 3 例全部去 @Disabled 转绿;
  后者预置的 logback 路径层级写错(mainSourcesRoot() 已是 src/main/java),激活时修正,
  并补一条 application.yml 的 pattern 判据(只增不减)。
- 新增 AppearancePatentRecheckWarnThrottleTest 3 例:钉实跑读数(6 轮只留 1 条 WARN + 5 条
  DEBUG、按任务隔离、排不上队仍出声),形状尺子之外的行为证据。
- TaskCenterQueryMapperSqlTest +2 例(锚点窄投影、游标收窄两分支)、
  TaskCenterQueryServiceTest +3 例(默认窗口、第一页不付锚点钱、页码越界返回空页)。
- 三处既有判据按新契约反转,一支没注释掉:selectTaskPage 的 `LIMIT ? OFFSET ?`→游标、
  分页参数绑定数 2→1/16→18/8→7;tasks() 三处 isNull()→notNull()(默认窗口生效本身成为断言)。
- 棘轮登记:SQL 分层语句总数 143→144(新语句点名),MigratedSqlEquivalenceTest
  XML_SELECT_TOTAL 99→100、LEDGER_ROWS 85→84、LEDGER_SELECTS 60→59——
  selectTaskPage 那一行整条摘出基准账本并点名进 NOT_MIGRATED,因为基准是"搬迁前的注解原文",
  改写它等于让等价性测试替新 SQL 背书。
- application.yml 走 hash-object+update-index 只提交本轮 pattern 那一格(4/2),
  另一路会话在飞的 client-task-pull 注释格原样留在工作树未提交。

读数:后端 mvn -o test 5,021 例/0 Failures/0 Errors/19 skipped(6:21 min,
较 Phase 4 的 5,013 净增 8 例=激活 8 例预置后新增 8 例判据);fat jar 实起,落盘行带出
`[main] INFO  [] c.nanri.aiimage.AiImageApplication - Starting...` 证明 MDC 位真在渲染;
本机无 MySQL ⇒ Hikari 反复 Starting、Tomcat 未监听,请求级 requestId 关联与现网四样本顺延 Phase 6。
2026-10-29 16:32:46 +08:00
huangzd1997 62a1b50067 feat(phase-3): AC-9~12 后端任务引擎稳定性(队列隔离/心跳降级/清理瘦投影/终态与超时)
- AC-9(S1-B2/B3):视频/图像任务改走独立 videoQueueExecutor(aiimage.task-queue.video-max-concurrent,
  默认 6),不再与结果文件组装共用 12 格 taskQueueExecutor;TaskQueueGate 增 queue 标签区分指标;
  scheduled worker 本地派发被拒改回队(requeue),不再压回 16 线程调度池内联组装。
- AC-10(S1-B4):CollectDataService.updateProgress 去掉任务锁,改无条件短事务 + updated_at 乐观 CAS,
  只写 result_json/updated_at 两列;TaskHeartbeatService 对 SPI 进度写异常降级,
  TaskHeartbeatVo 新增 progressDegraded/warning,alive 仍为 true。
- AC-11(S1-B5/B6):ModuleHistoryCleanupService 批查与四路指针查询全部瘦投影;
  application.yml 增 server.shutdown=graceful 与 spring.lifecycle.timeout-per-shutdown-phase=30s;
  虚拟线程池 destroy 改为 await 在途任务(上限 aiimage.task-queue.shutdown-await-seconds)。
- AC-12(S1-B1/B7/B8/B9):PENDING 僵尸重试计数可到 MAX 并就地翻 FAILED 进 exhaustedJobs;
  修正 selectAdminTaskDetail 的双转义(>= -> >=)并按真实 SQL 修正迁移基准账本;
  MyBatis default-statement-timeout=60s(AIIMAGE_DB_DEFAULT_STATEMENT_TIMEOUT_SECONDS);
  店铺数据两处删除收进 @Transactional,对象回收沿用 afterCommit 注册。
- 契约激活:PendingPhase3*Test 14 例全部去 @Disabled;同步改写被新契约反转的既有判据
  (CollectDataProgressThrottleTest 锁/updateById 口径、OwnerRouting 的内联分支改显式关闭派发形态、
  FaultInjection 指标按新 queue 标签查找)与三处棘轮(catch total 1031->1034、
  notRethrow 582->585、超管调用点 17->18,均逐条记名)。
2026-10-28 21:05:33 +08:00
huangzd1997 c4fc9784e8 feat(collect-data): 结果 Excel 追加「被过滤明细」sheet,品牌检测失败原因可见
task 32573 回传 600 行只留 1 行,被砍掉的 599 行在系统里只剩四个计数,
谁都答不出「是哪些 ASIN、死在哪一道」。四类被过滤行现在于提交时当场
逐行落库(V179 biz_collectdata_filtered_row),结果 Excel 追加第 3 个
sheet 供逐行对账。不在装配期回读 chunk 重判——去重库与无效品牌库读的
都是当前态,任务窗口期的写入会让判定漂移(错标/漏标/分类串台),
依据逐条写在 V179 头注释里。

同批:brandQueryFailedCount 与原因进历史 VO 和任务卡片;损耗通知不再对
「未配置代理」的用户承诺稍后重跑——补测队列两轮 21/21、28/28 全败、净增
0 行,那句是谎。

台账:XML_STATEMENT_TOTAL 141→143(新 mapper 两条写侧语句);静默 catch
棘轮 total 1028→1031、不重抛 579→582、只 log 181→182(三枚审计件容错,
逐处记名于 CatchSilenceRatchetTest 上方注释)。
2026-10-28 19:31:50 +08:00
huangzd1997 8f6913fb4a test(phase-4): similarasin 建单入口黄金快照——补上 Phase 3 点名的「抄管线」缺口
现有 SimilarAsinSnapshotTest 自建 parser、再抄一份归一/分组,parseAndCreateTask
一次没进、一行库没碰,对 Phase 4 要动的类似 ASIN 与 common 归位零保护。

本笔打真入口:单文件/双文件聚合两条 case,钉住建单校验、scope key、
解析载荷与指针落盘、头行+结果行+scope 三处落库形状与返回 VO 预览。
时钟、雪花 id 不进快照(id 桩固定,taskNo 只渲染前缀)。
2026-10-23 00:35:02 +08:00
huangzd1997 479114cf95 test(phase-3): 3D 收口——publish 建单段 golden 落地,七支「先补再动」最后一格缺口闭合
PublishTaskService 一字未改。新落 PublishCreateTaskSnapshotTest(吃真入口
parseAndCreateTask)+ publish/golden/create-task-snapshot.txt:7 段场景由
7 支执行用例渲染,第 8 支是写档器(无 SHUFU_SNAPSHOT_WRITE 即 skip)。

补这支的理由:3D 迁移本体当时把 newTaskHeader/insertTask/newScopeRow 换成底座件,
等值证据只有「旧块/现块/底座件体做 setter 差集」——推理级证据,不是可复跑的防线。
本支在册两条快照都碰不到建单:PublishBatchLoadingSnapshotEquivTest 吃读侧
(history/dashboard/getTaskDetail/getTaskProgress),PublishSubmitResultSnapshotTest
吃 submitResult。

钉住的现网形状(逐段读 golden 得来,非推测):
1. 解析在事务外、落库在事务内:tx.begin→task.insert→file.insert→item.insertBatch
   →result.insert→tx.commit,一次 execute();
2. 建单时刻一枚复用给头行/文件行/结果行(同一枚引用),而 insertRows 自己再取一次
   now ⇒ 行项目 createdAt 与之不同——这条不对称由 itemCreatedAtEqualsTaskNow=false 钉住;
3. 文件解析失败不抛只标 FAILED,有一个可用任务仍 PENDING;全失败才 FAILED
   +「全部文件解析或店铺匹配失败」+ finishedAt,且结果行照插(rowCount=0);
4. 计数与落库不同径:totalRows/rowCount 取 rows.size() 含 null,insertRows 跳 null;
   0 行不调 insertBatch 但文件仍 PENDING、任务照样建起来;
5. 结果行 success 写 0(AP 留 NULL、ShopDataCrawl 写 -1,三种形状);
6. 行内品牌在落库那格过 BrandLabel.strip:"品牌: 耐克"→"耐克"、
   "Brand: NIKE: X"→"NIKE: X"(只剥行首一枚标签)、全角冒号同样剥。

两处夹具自踩(都是「不判红就看不见的假证据」那一族):① 兜底 stub 若用 when(any())
注册在调用方 when("shop-a") 之后,Mockito 后注册者优先会把具体桩顶掉 ⇒ 匹配分流
收敛成一枚 thenAnswer;② tx.begin 整条不含空格,照 AP 那版 substring(0, indexOf(' '))
取事件名当场越界 ⇒ 补 eventKind 容错。

门禁:mvn -o test-compile rc=0;整类 9 例/0 红/1 skip;定向(Publish* 全面+
SourceScan/TaskModuleCoverage/CatchSilence/ArchitectureBoundary/LockSkip/
TaskStatusVocabulary/TaskLifecycleDebt/ForbiddenLogAudit/SqlLayering/
TaskServiceWiringSlice)205 例/0 红/2 skip;后端整量单跑 4616 例/0 红/0 错/
17 skipped,BUILD SUCCESS,真实 rc=0;golden 非写模式逐字节复现,
git status 仅本笔两件、其余快照一字未动。ops 面 ruff All checks passed。
真机启动验收本格仍欠(本机无 MySQL/Redis 监听,本笔零生产码改动)。
2026-10-21 00:07:10 +08:00
huangzd1997 cdef922251 fix(brand-label): 品牌标签清洗抽公共件,六模块读写两端统一过出口
PublishBrandLabel 从 publish 私有件搬入 common/util/BrandLabel(三条守卫尺子随迁:
唯一副本、实体写出不许绕过、解析端不许重复实现),品牌列的读入与出件两端都走这一处。

读入端接上:asincache 缓存落库、invalidasin 人工黑名单(先洗再判空——键对不上是静默失效,
比脏值出件更难发现)、appearancepatent resolveBrand(两条取值分支同一个串)、collectdata
入库、shopdatacrawl copyRow/sameRow/rowDedupKey(键与值分家会让同一行跨分片重复出件)、
撞款解析与 re-baseline、dedupe 按表头名只洗品牌列。
写出端接上:publish/similarasin×2/appearancepatent/collectdata/撞款 csv+xlsx/shopdatacrawl。

rows-snapshot golden 里品牌格去掉首尾空格:正本 strip 自 2026-10-08 就含 trim,
Java/Python/MySQL 三处同形,不是这次新加的行为。

门禁:后端 mvn -o test 4594 例 0 红。BrandTaskService(含四张 sheet 出件与解析端匹配)
因同仓另一路在飞改动未动,见 docs/audit/BACKLOG.md B5。
2026-10-20 22:35:25 +08:00
huangzd1997 773c41254f test(phase-3): 3A 欠账第一笔——appearancepatent 回传段 golden 落地,七支的「先补再动」至此齐平
只加测试与 golden,`AppearancePatentTaskService` 一字未动。AP 是七支里唯一没按「先补 golden 再动迁移」推进的一支(在册只有 create-task 与 parse 两条,parse 锁的是解析输出、不是回传副作用),所以本文件记的是**现状**而非理想形状,它给的是已经迁移过的那份代码补外层防线。

规模口径(第七处读数坑那条尺别):golden **11 段**,由 **2 支执行用例**渲染(第 3 支 `@Test` 是写档器,无 `SHUFU_SNAPSHOT_WRITE` 时 skip ⇒ 非写模式读数 `Tests run: 3, Skipped: 1`)。全量 4542→4545 的 +3 就是本笔这三支,其中 1 skip 也是它。

射程(本笔只钉「准入七形+首片未收尾+两条例外」):`finalizeTask` 比其余各支深,里面还有「同步组装 vs 排队组装」的分叉与工作簿组装,硬塞只会产出一枚看着绿其实假的 golden——双事务边界、终态失败 job 恢复、finalize 分叉留第二笔。

流水里读出来的三件事(都非推测,且两处推翻了我自己的预设):
- **AP 回传段没有 `requireTaskId` 那一格**:非法 taskId 先打一次 `selectById(0)`,再按「任务不存在」拒。publish/ShopDataCrawl 是在取锁或加载之前就拒 ⇒ 「非法 id 该不该碰 DB」七支不同形。我最初把这段命名成 `…RejectedBeforeAnyLoad`,那是假名,已改 `illegalTaskIdStillHitsOneLoadThenRejectedAsNotFound`。
- **终态拒绝发生在载荷已存进对象存储之后,且这支没有清理调用**:三段准入拒绝的流水都留着 `payload.storeChunk` 而无任何 delete(publish 有 `deleteUncommittedPayloads`)。只登记现状当防线,不动它——改就是改对外行为,得另立一笔并先量孤儿载荷代价。
- **准入是第四种形状**:`TaskResultAdmission.rejectNotRunning` 判「不是 RUNNING」而非「是终态」,PENDING 也拒但不带 code(保持可重试),SUCCESS/FAILED 带 40901。底座那格只拒终态、会放行 PENDING ⇒ 这一格接不上不是漏接,`admissionRejectedForPendingTaskIsNotTerminal` 是物证。

另有两处夹具自身的坑当场修掉:`payload.resolve pointer=` 我原先取的是第二个实参(现网那句失败文案)而不是指针;分片夹具把 `chunkIndex` 设成 1 与本段实际回传的 0 不一致,会让流水里的 `idx=[1]` 误导读者。这类不会判红,只有逐段读 golden 才露馅(第十三处读数坑同一族)。

门禁:本类写档模式 3/0、非写模式 3/0/1 skip;AP 簇复跑 `TxBoundaryTest` 8、`ChunkMergeConflictTest` 5、`TerminalFailedRecoveryTest` 8、`SnapshotTest` 9 全绿;后端全量 **4545/0 红/16 skipped/BUILD SUCCESS,真实 rc=0**。ops `ruff check .` All checks passed;readability 棘轮 **8 passed/1 failed**,唯一 offender 是 app_client `approve.py` 三枚长函数(142→145/95→110/102→119,另一路在飞件)⇒ 不动基线、不 `--write`、不代收。产品风险那三处超长文件已由另一路 `850f935` 自行代收,本笔不替它记账。
2026-10-19 22:06:31 +08:00
huangzd1997 f5c64b3b23 test(phase-3): 3D 前置——publish 回传段 golden 落地,27 段流水钉住本支独有的三处形状
只加测试与 golden,`PublishTaskService` 一字未动(现网行为无变更,故不需要行为回归之外的验证)。

钉住的 publish 独有形状(逐段对 golden 复核过,不是推测):
- 取锁在取任务**之前**:`lockBusyRejectedBeforeAnyLoad` 只有 `lock.acquire` 一行、没有任何 `task.load`。这与 collectdata 的回传段方向相反,是「同族不同形」的第一处实证。
- SUCCESS 静默短路不抛:`taskSuccessShortCircuitsWithoutThrowing` = 两次 `task.load`(锁外一次、事务内一次)+ `tx.begin/commit`、零写入、`result=void`。底座 `TerminalRejection` 那三种档位里没有这一种。
- 未完成回传时 `job.enqueue resultId=2001 scopeKey=task:1001:owner:node-A`(键形状带 owner,不是纯 `task:<id>`)。
- 同请求重复文件被拒时,**未提交的 chunk 会被清掉**:`duplicateFileInOneRequestRejected` 走出 `chunk.countReferenced -> 0 → payload.delete pointer=rustfs:chunk-1`,`payloadDelete=1` 而 `files` 仍全 PENDING。

口径与坑(都是老坑的新一次踩法):
- golden 27 段由 3 支执行用例渲染,第 4 支 `@Test` 是写档器、无 `SHUFU_SNAPSHOT_WRITE` 时 skip ⇒ 执行读数 `Tests run: 4, Skipped: 1`。「段数 ≠ 用例数」第七处坑在此复现,登记以免下一个人拿 27 去对 `@Test` 计数。
- 写档过程中有一记**假 golden**:MyBatis-Plus `AbstractWrapper.getParamNameValuePairs()` 是懒填充,不先调 `getSqlSegment()` 就拿到空 Map ⇒ 分片查询替身对任何条件都返回同一行,`lastChunkCompletesMerge` 那格真跑成了「同一 chunk_index 已回传不同内容」的错路。现以 `boundValues(...)` 统一先取 `getSqlSegment()` 再读绑定值。这类坑不会判红,只会把流水记成假的。
- 清理件在 afterCommit 抛异常被吞、调用方仍见成功:`cleanupFailureAfterCommitIsSwallowedAndCallerStillSeesSuccess` 另证 `chunk` 删失败后**不再**删 scope(现网两删除同在一个 try 里)。

验证:全量 `mvn -o test` → `Tests run: 4537, Failures: 0, Errors: 0, Skipped: 15` + BUILD SUCCESS(rc 取自重定向而非管道);非写档模式复跑本类 4/0/skip 1;ops `ruff check .` = All checks passed、readability ratchet 9 passed(该尺只扫 `src/main`,792 行的测试件不构成新 offender)。
2026-10-19 17:51:04 +08:00
huangzd1997 465ee06b7c test(phase-3): 3C 快照自我更正——selectById 改成按主键取,别再拿替身的形状当现网语义
上一笔 c4cf7bab 的 invalidTaskIdFallsThroughToNotFound 那格没有证到它在 message 里
声称的东西:替身写的是「selectById(any()) 一律返回那只内存任务」,于是 taskId=0 一路
跑完了整条 happy path,golden 里那 20 行证的是**测试替身的形状**,不是现网语义。
而 commit message 与用例名都写着「非法 id 一路走到『任务不存在』」——那句当时并不成立。

改法:selectById 按主键取行(Objects.equals(id, TASK_ID) ? task : null),非法 id 在
锁外预检就得到「任务不存在」;用例改名 invalidTaskIdRejectedAsNotFound。
现在那一格读出来是 task.load id=0 status=- / thrown code=- message=任务不存在 /
lockAcquire=0 outsideLock=0 —— 这支没有 requireTaskId 那一格这件事,第一次被真证住。

其余 14 段 case 逐字节未动(diff 只有这一格),说明替身收紧没有波及其他形状。
门禁:CollectDataSubmitResultSnapshotTest 5 例(写模式)+非写模式复跑 4 passed/1 skipped,
golden 跨两个 JVM 逐字节相同。
2026-10-19 14:20:54 +08:00
huangzd1997 c4cf7bab7f test(phase-3): 3C 前置——补 collectdata 回传段 golden,钉住「两段准入」的现网步序
CollectDataSnapshotTest 只锁到建单+解析+载荷,submitResult 那一段按 §5「先补再动」
必须先在非源上落一笔。本笔吃真实入口 service.submitResult,golden 270 行/15 段 case,
渲染的是调用顺序流水而非分组清单。

这支与另五支最不一样的是**准入发生两次**:锁外预检(快速失败,不为终态任务白跑
去重与品牌检测)+锁内重读复核。于是流水把四个锁外副作用(filter/brandFilter/
asinCache.write/recheck.enqueue)也记下来,terminalRejectedBeforeLock 与
taskNotFoundBeforeLock 两格读出来是 lockAcquire=0 outsideLock=0 ——
「预检在取锁与全部预处理之前」这条形状从此改不动了。

钉住的其他现网形状:
- 重复分片:锁外预处理照跑、锁内 dup 命中后一条库都不写,vo.currentChunkRows=0
- 结果行按需新建(sourceFilename 空串那一形),scopeKey 用 submissionId 回落 "task:{id}"
- done=true 才挂最终组装;带 error 且已收到分片 ⇒ 标失败也照常组装(28599 那起的账)
- 空 ASIN 的行不进过滤链但仍进 chunk payload(结果文件 sheet 要全量)
- requireRustfsPayload 的形状:指针不是 rustfs: 前缀 ⇒ 先 deletePayloadIfPresent 再抛,
  顺序反了就是留垃圾对象(chunkPointerNotRustfs 那格钉住)
- 锁竞争抛的是 code=40902 +「任务正在处理,请稍后再试」——与底座件的
  「任务正在处理中,请稍后再试」差一个字,本笔只登记不统一
- 这支没有「taskId 不合法」那格:非法 id 一路走到「任务不存在」(invalidTaskId... 那格)

长内容只进长度与 sha256 前 12 位(resultJson/chunk payload),时钟与雪花 id 不进快照;
同一夹具跑两次+跨两个 JVM 复跑逐字节相同(golden 由写模式生成后,非写模式复跑一字未动)。
门禁:collectdata 全面+棘轮/边界/面数见证 定向 320 例/0 红,BUILD SUCCESS。
2026-10-19 14:16:37 +08:00
huangzd1997 8c771b277e test(phase-3): 3E 前置——补 deletebrand 回传段 golden,先立是非源再动代码
蓝图 §5 的「先补再动」对这支仍然生效:1B 那枚 run-snapshot 只锁到建单+解析+载荷,
submitResult 出结果段一直空着。本笔落 DeleteBrandSubmitResultSnapshotTest(真入口
service.submitResult,不在测试里照抄管线)+ golden 256 行 25 例:

- 事件流水而非分组清单:取锁→加载→模块校验→终态拒→复位 RUNNING→逐片存→恢复重排→
  早挂组装 job→收尾尝试,顺序换了就红(这支的准入步序与底座默认序相反,正是最怕改的一格)
- 补传恢复那格单独一例钉住:terminalFailed=true 且分片齐 ⇒ resetForRecovery+再 enqueue
- 十二格准入/校验拒绝逐格点名,写库计数全零;非法 taskId 连锁都不碰
- 实测抓到第九处读数坑:收尾 progress 走 Map.of(...),JDK 不可变 Map 的迭代顺序每次起
  JVM 重排——同一棵树两次生成 keys 顺序不同。渲染改为按 key 排序,锁内容不锁桶序
  (Redis hash 本就不保序,这条不损耗契约)
- 现网一条事实顺手打进流水:loadTaskForExecution 命中 DB 后会回写缓存,故「一次库都不碰」
  的准确读法是 taskUpdate=0,而 taskCacheSave 可以为 1

门禁:定向 114 例全绿(四支 deletebrand 测试+六套棘轮/边界/接线),golden 跨 JVM 逐字节复现,
非写模式复跑一字未动。
2026-10-19 13:12:32 +08:00
huangzd1997 7b7d22cbb4 test(phase-3): 3A 迁移前补建单段 golden——吃真服务入口,不再抄一遍管线
AppearancePatentCreateTaskSnapshotTest(8 例)+ appearancepatent/golden/create-task-snapshot.txt。
渲染的是建单的落库事件流水:task.insert → payload.store → task.update → result.insert → scope.insert。

为什么已有 parse-snapshot.txt 还要再补一支:那支锁的是解析本身,而且是在测试里
重跑管线(自建 ExcelParser + 自己抄一份 baseId/hydratePromptFields),一行库没碰、
真入口一次没进。3A 要换掉的恰恰是 parseAndCreateTask 里那几行落库,那份 golden
对这件事零保护——蓝图 §5 的规矩写得很直白:「照抄那种对迁移零保护(旧代码消灭了测试还绿)」。

钉住的三段本支特有形状:
- 建单全程无事务:载荷存储失败时任务头行已经 insert(最后一节只剩 task.insert 一行),
  这是副作用边界,不是 bug 登记——底座不提供任何事务语义,迁移时必须原样保住。
- 结果行 success 留 NULL(不是 0 也不是 ShopDataCrawl 的 -1)、rowCount 写的是接受行数,
  所以底座 newScopeRow 的这两列只能由本支显式交进去。
- resultJson 是索引不是数据(六个顶层键+一枚载荷指针),真载荷只留 ptr://。

顺手钉出一条反直觉读数:maxParseRows 是「截断」口径不是「拒绝」口径——单文件读到上限
行数时 aggregate 那格的上限判定根本不触发,整单照建(golden 末行 events=5 就是这条)。
不顺手改,只登记。

时钟与雪花 id 不进快照;长内容取 sha256 前 12 位当摘要。两次独立 JVM 复跑逐字节相同
(generator 那格在未设环境变量时如实 skip)。AppearancePatent*Test 264 例全绿。
2026-10-19 09:24:59 +08:00
huangzd1997 b11bc599cd test(phase-3): 3B 迁移前把 shopdatacrawl 的建单与回传两段钉成 golden
蓝图 §4 Phase 3 首迁实录写的开工前置第①条——「那五支的 submitResult 同样没有 golden,
各自补完才能动」。本笔只补件、不动生产码一支。

回传段 20 例、建单段 14 例,渲染的是副作用**先后**流水而不是分组清单,三格专门钉住
Phase 2/3 已登记的「不许顺手统一」:
- ownershipCheckedBeforeTerminal:本支先查归属再判终态(底座 admitSubmission 默认序相反),
  套错就 40903 → 「任务已结束」;
- terminalTaskRejectedWithoutCode:终态重复提交本支不带 40901,线协议与孪生两支不同;
- completedRowFlushesWorkbookColumns:收尾刷结果列走 LambdaUpdateWrapper 批量条件更新
  (只刷 success=1 的行、不写 success/errorMessage、objectKey 传 null),publishResultFile 不适用。

建单段另钉一格快照本来看不见的性质:建单时刻一枚复用给头行与每一行结果行,故只断
createdAtEqualsTaskCreatedAt=true 而不打印时钟——底座五参 newTaskHeader 是「逐行各取一次」那一派,
照搬就把这格改成 false。
2026-10-19 02:31:42 +08:00
huangzd1997 121ae9b064 test(phase-3): 首迁前把 shopmatch/pricetrack 的回传段落库钉成 golden
蓝图 §5 Phase 0 收口那句「submitResult 出结果段本轮未打快照,Phase 3 要动那一段须先补再动」
是这一笔的全部理由:首迁要替换的正是这一段(取锁→准入→按店名建索引→逐行合并→changed 闸门
→重算状态换成 AbstractShopPayloadTaskPipeline 的模板),没有迁移前的流水,「对外行为未变」就只能嘴上说。

快照渲染的是**调用顺序流水**而不是分组清单——回传段的风险恰恰在副作用先后:先标失败还是先挂文件、
mergedRemove 在不在 enqueue 之后、changed=false 时任务表一次都不许写、taskId 非法时锁一次都不该被碰。
结果行是一份内存表(重读看得见前一次写入),店铺合并载荷是一份 HashMap 接住 get/save/remove,
于是分片回传的合并语义是真的,不是把合并跳过。时钟、雪花 id、OSS 直链一律不进快照。

两支各自 15 例,差异逐条钉住(这些正是迁移时最容易被「顺手统一」掉的):ShopMatch 闸门是
「行数>0 且有 done」,所以 :689 那句「未收到可用于组装的结果数据」在 submitResult 路径上不可达
(只有 tryFinalizeTask 的判序到得了);PriceTrack 闸门只看 success==TRUE,那条可达,
且它多一段排队前的服务端改价次数(基线读不到一律从 0 起算)、终态多一件循环轮次同步、
错误分隔符是半角 "; " 而 ShopMatch 是全角「;」。

golden 生成器用 @EnabledIfEnvironmentVariable 而非 -D:pom 的 <argLine> 是显式配置,
命令行 -DargLine 覆盖不动它,系统属性传不进 forked JVM——第一次跑就是这么发现「写了却没落盘」的。
2026-10-18 19:09:48 +08:00
huangzd1997 660a1b7084 test(phase-0): 1B 四支巨石现网行为快照补齐——建单/解析/载荷三段打进真服务
重构蓝图 Phase 0 · 1B:§1B 那句「铺到缺的四支」今天补齐——deletebrand/shopmatch/
pricetrack/collectdata 各一支 *SnapshotTest + golden .txt,沿用仓内已在用的约定
(modules/<域>/service/support/*SnapshotTest 读 src/test/resources/<域>/golden/*.txt 整串对撞,
带 output/reproducible/golden_committed/diff_detected 四件套)。

与旧四支的**关键差别**:快照打的是真服务入口(run/createTask/parseAndCreateTask 一路走到各支
私有内联上下文 DeleteBrandSheetContext 等),不是在测试里照抄一遍管线——照抄的那支对 Phase 3
迁移毫无保护(旧代码消灭了,测试还绿)。落库侧用 Mockito doAnswer 捕获 mapper 的 insert/update
入参、主键顺序发固定值,回传载荷侧捕获 saveParsedPayload/saveLatest;时钟、雪花 id、临时目录
绝对路径一律不进快照(后者擦成 <root>/<outside>),所以 golden 跨 JVM 逐字节可比。

钉到的真实形状(举其要):
- deletebrand:解析成功但店铺未匹配 ⇒ 整任务 FAILED+「全部文件解析或匹配失败」;表头行被
  dataStartRowIndex=1 那条分支当数据行吃进去(ASIN="ASIN");BOM/全角归一化、按归一化键去重、
  状态有值而 ASIN 空 ⇒ 丢行;非 Excel 魔数拒绝。
- shopmatch:国家代码只认 ProductRiskCountryCode 五个(**US 不在内**,报「非法国家代码: US」);
  心跳只在 RUNNING 打,SCHEDULED 一支不打;建单校验全在 insert 之前 ⇒ 拒绝时一行库都没碰。
- pricetrack:模式二选一、ASIN 文件三种路径形态与「必须落在上传临时目录内」的穿越校验、
  表头别名(商品ASIN/最低价→asin/minimumPrice)、按 sheet 名认国家、单国家时 sheet 名兜底。
- collectdata:无关键词列则一条不丢、关键词为空丢行计数、尾部空列不生成占位列(2026-09-26
  生产事故那条同源修复)、extraJson 形状、PENDING 建单。

两处当场抓到并改掉的量具缺陷(不改就等于假绿):
1. 替身里写 `String.valueOf(invocation.getArgument(0))` 会因泛型推断挑中 valueOf(char[]) 重载,
   运行时 String 强转 [C 抛 ClassCastException,把五格全打成解析失败——已改成显式 String 变量。
2. Spring 注入的 ObjectMapper 不等于 `new ObjectMapper()`:Boot 会注册 classpath 上的
   jackson-datatype-jsr310。裸 mapper 下 shopmatch 的 scheduleTimes(List<LocalDateTime>)
   序列化失败、被建单段 catch(Exception) 吞成「task 不存在」⇒ 快照会锁在生产不存在的假形状上。

门禁:`mvn -o test` 全量 4417 passed/0 failures/7 skipped(12:42,BUILD SUCCESS);
四支新用例 17 passed;ops `pytest scripts/tests` 500 passed、`pt_worker/tests` 15 passed、
`ruff check .` All checks passed;格式步本项目未纳管 ⇒ 跳过并如实登记。
2026-10-18 11:52:54 +08:00
huangzd1997 5ccf3c896f 收口(去重库): 五处比对与写入口按 company_id 认公司,不再跨公司去重
读侧(列表/导出)早已按公司收窄,但"去重"这个动作本身一直查全平台:
selectExistingDataValues 是 `WHERE data_value IN (...)`,一个租户条件都没有。
库里唯一键自 V145 起就是 uk_company_data_value(company_id, data_value)——
同值本来就允许归两家,是代码没跟上库的口径。

五处一起收口(第 5 处由编译器抓出,正是 V145 头注释 §1.2 点名的采集侧):
去重执行 ASIN 过滤 / 导入预检"已存在就跳过" / 手工新增与编辑的重名校验
(文案改「本公司已存在该数据」)/ 删除导入(超管不选分组时原先一次删掉全平台
同名行)/ 采集结果过滤(CollectDataBatchQuery 直连 mapper,改为经 dedupe 侧推导)。

超管代导入的归属分裂一并修掉:前端两个导入接口把公司 tab 发下去——原先
group_id 落别家的组、company_id 落超管自己那一家。公司身份一律在请求线程上由
DataReadScope.readCompanyIdOrOwn 解析后传入(导入与去重跑在虚拟线程,那时已无
请求上下文),service 侧 requireScopedCompanyId 只判空不兜底。

删两条零调用者的跨公司通道(selectAllDataValues/listComparableValues 全表读、
deleteFromExcel 两个同步重载)。反转一条反向钉:comparableValueLookupRemainsGlobal
原显式断言"比对不参与公司收窄"(多公司一期的半套遗留),现为 IsScopedToOneCompany。

三把尺子随之改动,均带出处:tsv 基准行搬家(三个标量双双不动)、前端发送口分母
17→18 组/21→22 处、CatchSilenceRatchet 重抛下限 387→386(随死代码离开树那处)。

验证:后端全量 4198 例 0 失败/0 错误/7 跳过;前端 1778 例全绿;变异自证
6/6 全部 KILLED,注入文件按 sha256 还原并复跑绿。
现网只读探针:misfiled=0、同值跨家=0 ⇒ 存量比对结果不变,行为改变只在将来
A 家导入 B 家已有 ASIN 那一刻;两口径差额 1,452 行(0.26%)全属公司 1、
全源于 10-05 账号硬删。
2026-10-09 17:57:37 +08:00
huangzd1997 419ab3be64 refactor(SQL分层): 剩余 85 条注解 SQL 全量迁进 mapper XML,等价性改由 MyBatis 自己判
96 条语句现在全在 src/main/resources/mapper/<模块>/ 下,注解侧 SQL 归零;判据从"基线清单"
改成完成态(逐接口必须为 0 + XML 语句总数 96 + 反向钉:XML 有则注解必须无)。

搬法上踩实了一个坑:注解参数是 Java 表达式("…" + CLIENT_MODULE_TYPES + "…"),
用只认字面量的抽取器搬家会把常量整段吞掉——上一轮生成的 26 份 XML 里因此出现
IN ()、AS status 前面没有表达式(MySQL 语法错),<script> 形态还被多转义一次变成 &amp;lt;。
更糟的是当时"搬迁前快照"与 XML 由同一个抽取器产出,两边一起错所以逐字比对全绿,
抓到现场的是既有的语义用例(TaskCenter 15 条 + 店铺查重那条断 <> 的)。

所以 MigratedSqlEquivalenceTest 改成:账本存注解原文,Java 侧现场用
getDefaultScriptingLanguageInstance().createSqlSource 编译原文,与 XML 解析出的
MappedStatement 各渲染一遍 BoundSql 对撞(空参数 + foreach 喂满 2 元素各一次),
转义对不对由 MyBatis 判定而不是由生成器判定;账本自己再钉 <script>/<if> 成对、不许出现 IN ()。
resultType 那一支不变:期望值由接口签名反射反推,66 条分母钉住。

取数入口跟着换:6 支原本读 @Select 注解的守卫(TaskCenter/Dedupe/店铺查重/通知保留/
鉴权形状/后台扩权)改走 MapperXmlSupport,断言内容一字未动;后台扩权那条"不许有 wrapper
投影"从全文 doesNotContain(".select(") 改成只扫可执行行——接口里现在只剩签名,
而 javadoc 正写着"别用 selectList(.select(...))",全文判会被自己的注释喂饱。

隔离树全量 4059 例 0 红(基线 4054,+5 为新增等价性与 XML 用例)。这批要生效得随下一版 jar 发版。
2026-10-08 12:00:43 +08:00
huangzd1997 b9ed336510 fix(解析器): 表头行整行格式污染时列范围按「非空表头」收缩
用户 Excel 表头行被整行格式化(整行实例化成 16384 个空单元格)时,货源/外观专利/集采
三处解析器按最大单元格列号展开列范围,每行数据被填充 1.6 万个占位空值,142KB 的 xlsx
生成 2.3GB 载荷,建任务 500(2026-09-26 生产事故:货源没跑出来.xlsx)。

- SimilarAsinExcelParser / AppearancePatentExcelParser / CollectDataService:列范围改为
  只统计非空表头的最大列号,尾部空列不再生成占位列(中间空列占位行为保持不变)
- 新增三处回归测试 + 事故样本(原样 + 集采关键词变体)
2026-09-26 20:45:07 +08:00
huangzd1997 c219675c56 fix(module_type): 对齐 module_type 规范大写并加防回归守卫(防 similarasin/SIMILAR_ASIN 之类漂移)
- heartbeat 夹具 moduleType 改规范大写 SIMILAR_ASIN 并加断言锁定
- ModuleTypeAlignmentTest:扫描 src/main——MODULE_TYPE 常量须大写下划线、setModuleType("小写") 禁止(仅允许 legacy collectdata)——守卫写入/常量/夹具三者一致
- 全量扫描结果:生产代码写入均用常量大写,无存量漂移
2026-09-05 08:54:06 +08:00
huangzd1997 993af16b50 task-202: Python-contract 夹具准备(heartbeat/items/result/parsed_payload schema-fixture,字段取自真实 DTO、全脱敏、README 说明)+ 9 条测试 2026-09-05 02:10:16 +08:00
huangzd1997 b148dc57eb task-116: 后台管理新增/导入表单弹窗化 + 分组管理独立菜单与UI优化 + 轻量进度端点
- 后台管理页(admin)所有面板的新增/导入表单改为弹窗操作,原有字段 ID 全部保留、提交逻辑不变;导入删除入口不再触发二次确认拦截
- 分组管理升级为独立菜单(V102 + schema initializer),移除 5 个面板内的管理分组按钮;分组列表改为蓝白主题、增加权限分组横幅
- Python 侧 group-manage 权限守卫(_ensure_backend_menu_access 补充 group-manage)
- 引入 V101(biz_task_file_job 复合索引)+ 新增 TaskProgressLight/TaskFileJob 轻量端点与进度聚合作
- 前端 progress-light / page-separated-loads / dispatch-guard 共享模块及单元测试
2026-09-01 12:54:13 +08:00