Commit Graph

37 Commits

Author SHA1 Message Date
huangzd1997 88d737a7f0 fix(tasks): 批量入库与 folder 去重逐条容错,发布文案不说谎
B49/B50 收尾三处当时被标"非 ★"跳过的同类缺陷。判据同一条:一颗坏项不许让
其余项一起不干活,也不许把"根本没拿到数据"说成"数据正常"。

1) shopkey/service/QueryAsinService.java(B49 #6,flushInsert:843-844)
   复验为真:整张表共用一条读行循环,某一批 insertBatch 抛出即冒到
   runImportTask 的 catch,后面的批次一个都跑不到、内存里的余行一起丢。
   审计里"报数虚高"那条已被复验否掉(原状下坏批计数确实不外发),本笔不按
   那个理由改;但逐批容错之后坏批计数会随后续进度外发,所以必须按"没落库"
   回退:insertedCount 扣回、skippedCount 记上、坏批点名进日志与 errorMessage。
   收尾新增 failIfBatchesLost():有坏批就让导入落"失败"态并报出缺口行数——
   admin 侧只在 failed 分支显示 errorMessage(QueryAsinPage.vue:260-271),
   留在 success 上等于把没入库的行说成导入完成。重传整表是安全的:已入库行
   会被 rowSignature 认成重复跳过。
   processImportFile 由 private 收到包级作测试接缝(形状同 tryAcquireFileSlot)。
   该 importer 此前零夹具,新建 3 例(真 xlsx + 真 ExcelStreamReader)。

2) dedupe/service/DedupeRunService.java(B49 #4 的 folder 分支)
   只在 folder 模式成立:逐文件清洗结果只落本地临时目录,唯一交付物是那个
   ZIP。两颗坏项会带走整批——① 收尾的 aborted 判定排在打包之前,一个 worker
   线程级异常就让打包整步跳过;② 打包循环里一个条目读不到/条目名相撞就整包
   作废。现改为 folder 分支先打包再判 aborted,打包逐条目容错并点名跳过;
   一个都没写进去时拒绝交空包(那才是"根本没拿到数据")。aborted 仍照旧把
   终态落 FAILED,不拿部分交付冒充全量成功;缺口写在交付条目与日志上,
   不写 file_task.error_message。非 folder 分支一个字节没动。
   DedupeArchiveEntry 与打包方法收到包级作测试接缝。新建 3 例,含一支用
   同线程执行器让第 2 个 worker 当场线程级异常的真链路用例。

3) publish/service/PublishTaskService.java(B49 #7/B50 #4,607-609)
   按上一轮复验结论只改文案,不动状态语义:逐文件 status/VO 本来就交付了。
   会说谎的地方是 publishResultFile(..., preserveFailure=false) 把结果行
   error_message 洗成 null,"N 个文件没进这张表"在文案层等于全部成功。
   缺口写在 biz_file_result.error_message(本仓既有"部分交付"载体:
   ShopMatch:825/PriceTrack:905/ProductRisk:827 都按它判 partialFailure;
   publish 侧只有 toResultVo:1216 读它,纯展示,fileReady 由 success+url 推导
   不受影响)。SUCCESS 的 file_task.error_message 继续留空并就地写明理由:
   TaskRetryEligibility.forceMajeureCategory 与 SimilarAsinStaleReopenSupport
   .isStaleFailure 都按那段文字做字面量分类,写进去会喂错 stale/重开/续跑判据。
   文案两个方向都不说谎:说清"只含成功处理的 X 个、另有 N 个未纳入(点名)",
   并明写"不是表格格式问题、可只重新提交这些文件",不把可恢复失败推给表格。
   新建 2 例(含反向钉:全成功时不得凭空造缺口文案)。

实测:mvn -o test-compile rc=0;新增 8 例改前 6 红(QueryAsin 2 红=原始
RuntimeException 直接冒出、批次被提前收走;Dedupe 3 红="Wanted but not
invoked: fileResultMapper.insert"+整包作废;Publish 1 红=errorMessage 恒
null),改后 8/8 绿;相邻既有 9 支类 97 例全绿(PublishTaskServiceTest 33、
DedupeRunProgressResumeTest 14、PublishFileLevelStatusTest 8、
PublishResultFileJobHandlerTest 8、DedupeRunServiceCleanRulesTest 9、
DedupeRunServiceFileSlotTest 2、QueryAsinResolveServiceTest 13 等)。

CatchSilenceRatchetTest 按预期判红(本笔新增 2 处 catch,均在被禁改的共享台账
里,合并时由主线程统一重钉):实测 total=1028(基线 1026)、
notRethrow(incl logOnly)=579(基线 577)、logOnly=181(不变)、
rethrow=393(不变)、empty=56(不变)。
2026-10-27 16:03:37 +08:00
huangzd1997 dbe35dfcb5 refactor(phase-4): 解散万能 util——similarasin/util 与 common/util 按域归位
similarasin/util 7 支:
- 域内件(SimilarAsinImageEmbedder/PuzzleImageMerger/SimilarAsinLogSupport/
  BoundedImageCache)并入既有 service/support 先例;
- 通用 Excel 件(ExcelCellImageWriter/WpsCellImageWriter)归 common/excel;
- 仅测试用的 SimilarAsinPerfFixture 移出生产源到 src/test。

common/util 13 支解散为四个关注点包:excel(读/写/单元格图片)、
text(BrandLabel/SecretMasking/UserMessages)、task(行过滤/分组传播/判死文案/
删除台账/锁跳过留痕)、support(LRU/下载头/线程池)。老 util 目录不再存在。

纯粹的包搬迁与 import 重写(diff 219 增 / 217 删),零行为改动:
搬迁前后由 SimilarAsinCreateTaskSnapshotTest 的建单入口 golden 对撞相等;
新增 MovedComponentScanTest 钉住三枚 @Component 仍被根包扫描发现、老包零残留。
2026-10-23 00:59:53 +08:00
huangzd1997 cac901df34 refactor(phase-3): Publish 那枚私有 writeJson 并进底座,七支序列化出口收成一枚
Phase 3 收口清单里最后一项可选项。PublishTaskService 的私有
writeJson(Object, String) 与底座 AbstractFileTaskPipeline
writeJson(ObjectMapper, Object, String) 逐字同形(宽捕获 Exception、
抛 BusinessException(文案) 且不带 cause),四个调用点改成显式传 mapper,
本地同名件退场。文案四条一字未动,包括那句现网会说谎的「序列化上架任务失败」
系列与一条英文文案——文案是对外语义,改它=改线协议,不归本笔。

判据一格没花:用户授权的 RETHROW_FLOOR 380→379 实测不需要动。用该尺自述的
复现办法(上限压 0、下限抬 99999 各单跑本类一次)量到并档后整树
rethrow=383/total=1000,两格都在界内——380 这一格至今原样,未改基线、
未逐处记名。前例同 3D 第三笔:腾出的额度让「须授权」这项动作变成不必要。

底座 javadoc 两处指针同步更新(原来都写着 Publish「未并档」),并把
「归并 task 那三份会跌破下限」那句的前提数如实更正为 383/1000——
下一支若只归并其中一部分,先复现再判,别照抄旧结论。

门禁读数:mvn -o test-compile rc=0;定向 354 例/0 红/0 错/2 skipped
(Publish 全面+两支 golden+装配切片+CatchSilence/SourceScan/
SqlLayering/TaskStatusVocabulary/ArchitectureBoundary/TaskLifecycleDebt/
ResultFileJobHandler 家族/TaskResultFileJobWorker 家族;2 skip 是
SHUFU_SNAPSHOT_WRITE 未设时的写档器);publish 建单 35 段+回传 27 段
golden 在非写模式逐字节复现(git status -- src/test/resources 一字未动);
PublishTaskService 2132→2124(在册基线 2250,只许降这格满足)。
2026-10-22 10:53:45 +08:00
huangzd1997 cdef922251 fix(brand-label): 品牌标签清洗抽公共件,六模块读写两端统一过出口
PublishBrandLabel 从 publish 私有件搬入 common/util/BrandLabel(三条守卫尺子随迁:
唯一副本、实体写出不许绕过、解析端不许重复实现),品牌列的读入与出件两端都走这一处。

读入端接上:asincache 缓存落库、invalidasin 人工黑名单(先洗再判空——键对不上是静默失效,
比脏值出件更难发现)、appearancepatent resolveBrand(两条取值分支同一个串)、collectdata
入库、shopdatacrawl copyRow/sameRow/rowDedupKey(键与值分家会让同一行跨分片重复出件)、
撞款解析与 re-baseline、dedupe 按表头名只洗品牌列。
写出端接上:publish/similarasin×2/appearancepatent/collectdata/撞款 csv+xlsx/shopdatacrawl。

rows-snapshot golden 里品牌格去掉首尾空格:正本 strip 自 2026-10-08 就含 trim,
Java/Python/MySQL 三处同形,不是这次新加的行为。

门禁:后端 mvn -o test 4594 例 0 红。BrandTaskService(含四张 sheet 出件与解析端匹配)
因同仓另一路在飞改动未动,见 docs/audit/BACKLOG.md B5。
2026-10-20 22:35:25 +08:00
huangzd1997 a125e8f8a5 refactor(phase-3): 3D 迁移本体——publish 接上底座,七支至此全部有生产调用方在底线上
`PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>`。上一笔腾出的额度足够,本笔未动任何门禁判据(`writeJson` 并档因此不再是必需,仍然未做、仍待逐处记名授权)。

接上六格(比 3D 前置测绘预估的四格多两格,两处都是实测新确认):
- `requireTaskId`:原 `requireTaskRecord` 内联的「taskId 不合法」三行。
- `requireSubmissionTask` ← 新确认:底座那格做的正是「加载+模块校验+『任务不存在』」。把本支原来的一次三条件判拆成两次顺序判(异常类型/文案/检查之间无副作用三者同源,判据不变),于是 `loadTaskForSubmission` 这枚钩子**不是死件**——它被建单外的全部 `requireTask*` 路径真调用着。
- `requireUserId`:删本支 `validateUserId`,四处调用点转名(文案逐字相同,实测过)。
- `newTaskHeader`+`insertTask`:注意建单入口 `validateParseRequest` 已先 `requireUserId` ⇒ 底座那格在这条路上是空转,不新增拒绝点。
- `newScopeRow`:结果行。
- `publishResultFile` ← 新确认:底座注释本就列 publish 为出处,这次逐列核过是真接得上(上传入参、6 列、`success=1`、清 `errorMessage`、`updateById`),不是「同形但接不上」。

原样留本地三格(都是形状差、不是没做):两参 `acquire` +不带 code 的「任务正被占用,请稍后重试」;SUCCESS 静默短路/FAILED 抛「任务已失败」那第三种终态形状(见 `TerminalRejection#ERROR` 的 3D 补正);本支私有 `writeJson`。

等值证据(这三格没有既有 golden 覆盖——publish 只有 batch-loading 与 submit-result 两条快照,建单段没快照,所以没停在「读两段代码觉得一样」):把 `git show HEAD` 的旧块、现块、底座件体各抽 setter 集合做差集 ⇒ 头行 **16 列 = 现留 6 + 底座 10,未接住为空、底座多写为空**;写列 **7 = 7 完全一致**;结果行只多两列,是新建实体上本就为 null 的 `rowCount`/`sourceFileUrl`(等价,不是补默认值)。底座件自身的逐列行为由既有 `AbstractFileTaskPipelineTest` 钉着(含「两列同一个显式时刻」「不给模块自决列编默认值」「userId 非法在建行前就拒」)。

构造子 19 枚参数**逐枚沿用原字段声明序**,只把交给底座的五枚转给 `super`:`PublishTaskServiceTest`/`PublishDashboardAggregateTest`/`PublishBatchLoadingSnapshotEquivTest`/`PublishSubmitResultSnapshotTest` 四处 `new PublishTaskService(…)` 一个字都不用改——改顺序就是把回传段 golden 的夹具重排。

行数账(`--numstat` 实测):本笔净 **+23**(2109→2132);含上一笔抽件累计 **2250→2132,净减 118**,基线一格未改、`--write` 未跑。

门禁:定向 **191 例/0 红/1 skip**(publish 全部 10 支测试类+七把棘轮/护栏+`SqlLayeringConventionTest`);后端全量 **4542/0 红/15 skipped/BUILD SUCCESS,真实 rc=0**。两次全量之间出过一记红,定性如下——
- `ShopDataCrawlTemplateLargeWorkbookTest.test_task_026_…boundary_limit_and_overflow`:「5000 行模板写入须在预算内完成,实际=87322ms」。那是**墙上时钟预算断言**、且不在本笔射程(本笔只动 publish)。复现而非宣称:单跑该类 8/0(整类 171.3s→99.3s),第二次全量该类 42.29s 且整树 0 红。这条尺的读数强依赖本机有无并发在飞。
- 用例数 4540→4542 的 +2 归另一路的在飞件(`productrisk` 那三笔在他们仓里落地),**本笔零新增 `@Test`**。
- ops `ruff check .` All checks passed;readability 棘轮 2 failed/7 passed,offender 三处全不归本笔(`ProductRiskTaskService` 1485→1495、`BrandProductRiskTab.vue` 1722→1724 已随另一路 `ab42adad`/`a97dbf7f` 进入 HEAD 而基线未同步;`app_client/amazon/approve_v2.py` 1279→1284 与 `approve.py` 三枚长函数属 app_client 面)⇒ 不动基线、不 `--write`、不代收。格式步未纳管 ⇒ 如实跳过。真机启动验收本格仍欠(七支全部欠,属 Phase 8 收口项)。
2026-10-19 19:56:45 +08:00
huangzd1997 de38c3ec58 refactor(phase-3): 3D 前置拆薄——publish 陈旧扫描聚类抽出 PublishStaleTaskScanner,服务 2250→2109
用户拍板的路线:接底座净亏 +8~15 行、必须先靠一笔 ③ 前置抽件把账做平。本笔就是那件抽件,为下一笔(publish extends 底座,实测成本 ≈+35 行)腾出 141 行额度。

搬的是「扫描+判定」,不是「收尾」:
- 进 `publish/service/support/PublishStaleTaskScanner.java`(293 行):作业锁 `publish:stale-check` 与其 fail-open 日志、两条候选 SQL(心跳线 `updated_at` 陈旧/二次线 `last_chunk_at` 停摆)、每任务分布式锁、未完成组装 Job 闸门、「从未上报」三分证据判定、两条线各自的复查谓词与对外文案。
- 留在服务:`failStaleTaskLockedInternal` 收尾本体**零改动**(部分回传行抢救、结果行终态、组装 Job 入队都在 machinery 侧),`failStaleTasks` 与 `failNoUploadStaleTasks` 各留一枚 delegator。
- 两枚 delegator 不是风格选择:`failStaleTasks` 被 `PublishTaskServiceTest` 三处公有调用;`failNoUploadStaleTasks` 被 `PublishNoUploadStaleTest:123` 用 `ReflectionTestUtils.invokeMethod` **按名字**反射。删名字等于把回归网拆掉。
- 扫描器**每次入口新建、不注入**:两枚阈值是服务侧 `@Value` 非 final 字段,测试靠 `setField` 改它们;烤进构造更早的缓存里,那三支既有用例当场读旧数。

等值证明不靠眼看:把搬走的两段与 `git show HEAD` 的原文做符号归一后逐行对照,A 线与 B 线的差异**只剩** `MODULE_TYPE`→`moduleType`、`STATUS_RUNNING`→`TaskStatuses.FileTask.RUNNING`、`currentInstanceId()`→`Supplier<String>.get()`、收尾改走 `StaleFinalizer` 回调、`"limit 100"`/`0L`/`Math.max(5,…)` 提常量——没有第六种。当前实例 id 交 Supplier 而非定值是为了不改「查询那一刻才取值」的现网语义。

顺手的一处真减:两条候选查询的 owner 三条件块逐字相同,收成一枚 `ownerScoped` ⇒ 全树 wrapper 内裸 SQL **15→12**。

⚠ 一处如实登记的既有缺口:二次线「有过上报但停摆」那一支没有测试覆盖(三支用例全在「从未上报」三分上)。它不是本笔造成的,但意味着那一支只有逐行对照当证据、没有测试当证据。

门禁与两处读数账:
- 后端全量 **`Tests run: 4540, Failures: 0, Errors: 0, Skipped: 15` + BUILD SUCCESS,真实 rc=0**(取自重定向)。⚠ 4537→4540 这 +3 是另一路 `ProductRiskTaskServiceTest`/`ProductRiskExcelAssemblyServiceTest` 的在飞改动带来的,**本笔零新增 `@Test`**——第十一处读数坑的同族,引用例数变化先查归属。
- **抓到一枚本笔自己的红**:`SqlLayeringConventionTest.rawSqlInsideWrappersDoesNotGrow` 按文件名精确记 wrapper 内函数级 SQL,在册 `PublishTaskService=6`,抽件后实测 `PublishStaleTaskScanner=3`。按测文规定「迁走 ⇒ 同步减基线」改登记键,方向是减、不是放宽(不是阈值动作,无需请示)。教训入册:定向清单是按「上一笔红过什么」攒的那七类,**不含这一类**,新建 `src/main` 文件会唤醒按文件记账的尺——定向全绿给不出门禁全绿,这条只有全量能兜住。
- ops `ruff check .` All checks passed;readability 棘轮 2 failed/7 passed,三处增长全不归本笔(`ProductRiskTaskService` 1485→1495、`BrandProductRiskTab.vue` 1722→1724 属另一路 crawler-plugin 在飞件;`app_client/amazon/approve_v2.py` 1279→1284 与 `approve.py` 三枚长函数属 app_client 面在飞件)⇒ 不动基线、不 `--write`、不代收。本笔 `PublishTaskService` 2250→2109 是减,天然合法、不回写基线。格式步未纳管 ⇒ 如实跳过。真机启动验收本格仍欠。
2026-10-19 18:56:22 +08:00
huangzd1997 c4d2349cda 清无用 import(卖源码): 后端 248 处跨 128 支文件全部摘掉,javac+全量实跑双重判定
判据是逐支把 import 行的简单名拿去文件其余部分(含注释与 javadoc)做词边界匹配,
名字只在注释里出现的当作「在用」保留,所以这把尺子是往保守侧偏的。
验收不靠静态回声:`mvn -o -q test-compile` rc=0,再 `mvn -o clean package`
= Tests run 4264, Failures 0, Errors 0, Skipped 7,与清之前逐项一致(4,313→4,264 那 49 例是上午清设计文档摘掉的读 docs 用例,不是这一笔)。
diff 形状只认 `+0 / -248`,行尾没被整片改写。
2026-10-11 17:04:28 +08:00
huangzd1997 15094309cf 后端(四面9分批次): 锁跳过留痕、状态词表收成单点、版本硬地板进 yml 并记账
- 14 处「拿不到锁就 continue」过去零日志,现统一带可聚合锚点并有留痕判据
  (LockSkipWitnessTest 7 例 + LockSkipSilentExitGuardrailTest 4 例)。
- 任务状态词表:散落内联集合改由单一定义点判方向(TaskStatusVocabularyRatchetTest 7 例),
  CANCELED/CANCELLED 只做归一映射,没改库值也没改对外契约。
- 版本硬地板三键(min-supported / enforce / rejectUnreported)此前在任何 yml 里 0 处=出厂即惰性;
  现在入册且 enforce=false 走记账模式(ClientVersionFloorConfigTest 9 例),真挡谁留给用户拍。
- 业务码→HTTP 状态只做映射单点 + 开关(默认关,开启前逐字节等价,BusinessErrorHttpStatusTest 8 例);
  直接翻面会让三个前端把业务失败读成网络挂了。
- 验收:mvn -o test 这 5 个类 35 例 0 红(用 python subprocess 起 mvn——bash 里 cmd 包一层
  开的是交互式 cmd,rc 是 cmd 的,会给出假的 rc=0)。
2026-10-09 23:09:37 +08:00
huangzd1997 2a4d15b801 fix(文案出口): 用户可见提示语一律走 UserMessages 把关,并补结果作业租约围栏
两件事同源:2026-10-09 任务 30456 的卡片上同时出现中文进度和一句英文异常原文。

围栏:派发链在执行前重读 job 行,让 activateRunningClaim 的 CAS 恒真,撞锁方
deferRunning 把在跑的行翻回 PENDING,markSuccess 静默写 0 行——成功被判成失败。
claim 快照现在贯穿到 runClaimed 不再回读,markSuccess 返回布尔并补 stage=SUCCESS_LOST
日志,让这次丢失可观测。

文案:普查数出 61 处把 ex.getMessage() 拼进用户可见字段(异常响应、任务 error_message、
结果作业 error_msg、看板 message),逐条翻译追不上新增速度,改为出口把关——
UserMessages.with(中文主干, 异常) 只拼接中文详情、orFallback(原文, 兜底句) 只放行含中文的串,
被换掉的原文进日志;GlobalExceptionHandler 按码分档兜底(401/4011/40902 各说各的话)。
另把 chunk-read-failed[N] 摘要写成"第 N 分片读取失败"、TASK_LOCK_BUSY 换成中文(40902 码不动,
客户端按码分支)。数字人两处与结果作业 worker 故意仍存原文:孤儿判定与三条 preserves raw
用例按 error_message 读它,界面侧由前端 userNotice 兜住,已在新尺子里点名豁免并反查豁免是否还被用到。

尺子:RawExceptionMessageSinkGuardTest(出口行数下限硬钉 1500+内存造违例自证)、UserMessagesTest、
UserFacingMessageChineseGuardTest 豁免表收到只剩 JSON 键 msg 一条。mvn -o test 4205 例 0 失败。
2026-10-09 19:34:25 +08:00
huangzd1997 6aa4f821a8 chore(瘦身): 摘 13 处零引用私有方法(160 行)与 mapstruct 死依赖
判死的尺子比「生产没调用」更严:private + 无注解 + 非 get/set/is 形态 + 名字在本文件只出现
1 次 + 在全仓 2,074 个跟踪文件(含 tests、mapper XML、两个前端 src)里也只出现 1 次。
tests 里有 57 处 getDeclaredMethod,反射是按名字取方法的,只看调用图会误杀。
同族审计给的是 40 支/450 行,差额那些名字会出现在别处的字符串或日志里,按这个口径不可证死,
所以只搬能证死的 13 处:AppearancePatentTaskService 37、DeleteBrandRunService 31、
QueryAsinTaskService 27、ZiniaoClientImpl 21、PublishWorkbookService 16、
ShopDataCrawlTaskService 9、PatrolDeleteTaskService 9、DedupeTotalDataService 6、
ShopMatchTaskService 4。

mapstruct 判死锚的是包名而不是注解名:本仓的 @Mapper 是 MyBatis-Plus 的
org.apache.ibatis.annotations.Mapper,按注解名判会误杀。依据是 import org.mapstruct 在
main+test 双口径 0,且 target 里没有 *MapperImpl*、generated-sources 0 文件。

验证走独立工作树(与主树同 HEAD d1a3e8a2):改前 mvn -o -q -DskipTests test-compile 出
MVN_RC=0,改后同命令再 0,才按字节搬回;搬回后 git diff --numstat 全是 0 加 / N 删。
主树这些路径在搬之前 0 脏、HEAD 与校验树同点,两条都设了断言。
2026-10-09 11:24:30 +08:00
huangzd1997 233182b0c5 fix(上架品牌): 清洗挪到 biz_publish_item 唯一写库出口,回传重插不再灌回脏值
上一笔 15e04511 只堵了服务端解析 Excel 那一个入口。现网取证(10-09 01:3x,主机A 业务库)显示
脏值有两个来源:7 个脏值任务里 5 个的行创建时间等于任务完成时刻,即任务完成时
PublishTaskService.replaceRows 用客户端回传的分片整表删后重插写回的路径。也就是说每完成一个
上架任务,"Brand:" 就会从回传值里再落库一次,存量清洗会被自己顶回去。

改为:新增 PublishBrandLabel 作为标签正则的唯一持有者,insertRows 写实体前清洗(replaceRows
与解析路径都汇到这里),PublishWorkbookService 删掉本地那份正则改为委派。

配套 PublishBrandLabelTest 5 例:标签形状与反例("Brands: NIKE"、"Super Brand: Nike"、
"Brand: NIKE: X")、publish 模块内 entity.setBrand 出口必须走清洗、全模块只允许一份标签正则。
四条变异实跑全杀(去锚 / strip 原值返回 / 出口不清洗 / 解析层另抄正则);publish 相关
11 个测试类 101 例在独立 worktree 跑绿。
2026-10-09 02:04:16 +08:00
huangzd1997 15e0451191 fix(上架): Excel 品牌列剥掉 Brand: 标签前缀,止住脏值进 biz_publish_item
biz_publish_item.brand 实测 3,001/34,697 行以 "Brand: " 开头,是这批值流入
品牌检测后成批失败的源头(同一 payload 从工作站直连复现:value="NIKE" 回正常
密文,value="Brand: NIKE" 回 undefined field Brand)。上架 Excel 解析入口
toRow() 此前把第 4 列原样收下,normalize() 只处理空白,标签前缀就此入库;
用户再把这些行导出去做品牌检测,整单被 WIPO 按 Solr 字段限定符拒掉。

只剥开头一次:值中间的冒号属品牌自身内容,"Brands:" 也不是标签——测试里这两条
是排他断言,打死「无条件砍掉开头若干字符」的写法。存量 3,001 行的清洗属生产写,
未包含在本提交内。
2026-10-08 22:57:55 +08:00
huangzd1997 419ab3be64 refactor(SQL分层): 剩余 85 条注解 SQL 全量迁进 mapper XML,等价性改由 MyBatis 自己判
96 条语句现在全在 src/main/resources/mapper/<模块>/ 下,注解侧 SQL 归零;判据从"基线清单"
改成完成态(逐接口必须为 0 + XML 语句总数 96 + 反向钉:XML 有则注解必须无)。

搬法上踩实了一个坑:注解参数是 Java 表达式("…" + CLIENT_MODULE_TYPES + "…"),
用只认字面量的抽取器搬家会把常量整段吞掉——上一轮生成的 26 份 XML 里因此出现
IN ()、AS status 前面没有表达式(MySQL 语法错),<script> 形态还被多转义一次变成 &amp;lt;。
更糟的是当时"搬迁前快照"与 XML 由同一个抽取器产出,两边一起错所以逐字比对全绿,
抓到现场的是既有的语义用例(TaskCenter 15 条 + 店铺查重那条断 <> 的)。

所以 MigratedSqlEquivalenceTest 改成:账本存注解原文,Java 侧现场用
getDefaultScriptingLanguageInstance().createSqlSource 编译原文,与 XML 解析出的
MappedStatement 各渲染一遍 BoundSql 对撞(空参数 + foreach 喂满 2 元素各一次),
转义对不对由 MyBatis 判定而不是由生成器判定;账本自己再钉 <script>/<if> 成对、不许出现 IN ()。
resultType 那一支不变:期望值由接口签名反射反推,66 条分母钉住。

取数入口跟着换:6 支原本读 @Select 注解的守卫(TaskCenter/Dedupe/店铺查重/通知保留/
鉴权形状/后台扩权)改走 MapperXmlSupport,断言内容一字未动;后台扩权那条"不许有 wrapper
投影"从全文 doesNotContain(".select(") 改成只扫可执行行——接口里现在只剩签名,
而 javadoc 正写着"别用 selectList(.select(...))",全文判会被自己的注释喂饱。

隔离树全量 4059 例 0 红(基线 4054,+5 为新增等价性与 XML 用例)。这批要生效得随下一版 jar 发版。
2026-10-08 12:00:43 +08:00
huangzd1997 5b310986bb docs(鉴权): 同类注释三处一起订正——执行器的身份来自 Session.request 钩子,不是调用点
PublishTaskService:1360 与 PublishOwnershipGuardrailTest 的立项理由都写成"执行器带
X-Internal-Token 不带 operatorId",AdminAuthSupport 的 resolve 注释写成"桌面客户端不带凭据"。
三处同源同错:add_product.py 那两条调用点 headers 只有 Content-Type,身份是
app_client/crawler_core/user_token.py 包 requests.Session.request 补的 Authorization: Bearer
(main.py:2115 装钩子、窗口桥 set_user_token 交令牌、执行器与页面同进程且未登录即跳过本轮),
4.0.14(96cf19b) 起随包出厂。留在匿名分支里的只是 4.0.14 之前的存量装机,
翻 require 的时机因此由升级通道决定,不是"桌面端整体不能翻"。
守卫扫的那句 "GET /tasks/{id}/items 与 POST /tasks/{id}/result" 原样保留(计数回读=1)。
2026-10-07 23:47:57 +08:00
huangzd1997 7c7a7f2665 fix(鉴权): 任务归属身份从会话推导,user_id 与不符即 403
客户端任务接口原先把"这单是谁的"交给调用方自报:请求体/查询串带 user_id,服务端拿它当范围
条件。身份应只信会话(JWT),桌面执行器与内部代理通道也不例外:

- AdminAuthSupport 增加 mayActForOtherUsers / resolveOwnershipUserId /
  requireOwnershipUserId / bindOwnershipUserId:会话身份与请求 user_id 不一致直接 403,
  只有平台超管与被授权管理员能代他人;
- 上架(PublishController/PublishTaskService)先接:user_id 缺失即 401,
  仅两个桌面执行器端点允许留空;外观专利/相似 ASIN 的归属谓词补上
  Objects.equals(userId, task.getUserId()),不再只比 moduleType;
- AdminApiGuardFilter 把入口口径与新helper 对齐,护栏测试 AdminAuthSupportOwnershipTest +
  PublishOwnershipGuardrailTest 双向钉(放行面与拒绝面都有样本)。

同族的进度类模块(原先仍以请求体 user_id 为范围)在 cp-item7 一次接完;这一支只管会改状态/花钱的出口。
另外 resolveOwnershipUserId 的 [ownership-anonymous] 日志按 URI 限流也在这支——桌面执行器 4.0.44
不带凭据,只有分得清是哪个端点在打匿名请求,才敢逐支把它们从 resolve 换成 require。
2026-10-07 20:01:10 +08:00
huangzd1997 3359b14e6e fix(判死线): 「从未上报结果分片」不再静默跳过,按处理位置三分扩到 5 个模块
品牌任务 2626 挂 9 小时那条出口(无结果回传的候选一律 continue、零日志)此前只在
deletebrand 一处改了三分管法;本笔把同一判据接到外观专利、采集、上架、店铺采集、
货源五个模块,并把"待组装→任务锁→尽力收尾→CAS 翻转"的共同尾部抽成一条,
上报过与从未上报两条路共用,避免各模块再各写一份漏掉日志的版本。

合批代价(必须记着):这 28 支文件是并行会话的在制品,提交时它仍在按模块跑变异自证
(ShopDataCrawl 那一支此刻正处于被注入态,注入发生在它自己的副本树里,主树是 pristine),
"全量绿"由本次发版前的独立 worktree 构建代为证明,不是它自己报过的数。
新增 3 支 *NoUploadStaleTest;推送前按登记表 50 个值与高熵串扫过 920 行新增,0 命中。
2026-10-07 02:45:41 +08:00
huangzd1997 fa4bd57016 refactor: 第二批收敛——公共 Excel 写出器 + 任务收尾零件下沉 + 前端上传区/任务面板抽取 2026-10-01 15:00:52 +08:00
huangzd1997 fa59de52fb feat(taskcenter): 13 个客户端任务创建入口记录 JWT 设备号
设备号只认 JWT 签名 claim(不接受客户端可控请求头),controller 读取、service
归一化落库;续跑任务由服务端发起,继承原任务设备号。品牌检测走独立
brand_crawl_tasks 表,同一口径。
2026-09-28 22:33:53 +08:00
huangzd1997 f4b5100f96 fix(上架/去重): 结果工作表名净化 + 总数据表用户导入列放宽
1) 上架结果 Excel 的工作表名取自接口参数 publishCountry:用户填长文本/特殊
   字符(Excel 工作表名上限 31 字符且禁 []:*?/\)时 createSheet 直接抛异常,
   整体表现为「生成上架结果 Excel 失败」。改用项目既有的 uniqueSheetName
   (内部即 WorkbookUtil.createSafeSheetName,与 dedupe 同款);单元格里的
   国家值仍按原口径写入,不改变数据语义。
2) V135:去重「总数据导入」importFromExcel 是用户上传 Excel 逐行写
   biz_dedupe_total_data.data_value(varchar(128)),超长值同样 Data too long
   致导入整体失败。data_value 带唯一索引 uk_data_value(去重判重核心),
   不能改前缀索引(会把前 N 字符相同的不同值误判为重复),故扩到
   varchar(512);country 同口径放宽。线上已于 2026-09-25 手工执行(0.01s,
   主从已生效并实测 210 字符写入)。
2026-09-25 14:46:09 +08:00
huangzd1997 40b86d2a6e feat(上架): 店铺互斥改为按(设备,店铺),同店可在不同客户端并行跑不同国家
背景:紫鸟浏览器会话是每台客户端一份,同一家店可以在两台机器上并行;
国家是会话内的可切换状态(SwitchingCountries,断线重连还会再切),
所以真正必须串行的只有"同一台设备上的同一家店"。原来的全局按店铺互斥
把跨机器的合法并行也挡了(2026-09-18 任务 28624 被 28616 误挡)。

- V130:biz_publish_file 增加 device_id 列
- AdminAuthSupport.currentDeviceId():只读 JWT 签名的 deviceId claim,
  不信任客户端可控的 X-Device-Id 请求头
- activateFile 互斥键改为 (device_id, shop_name);device 为空(旧客户端
  token 无该 claim / 内部令牌调用)时退回全局店铺互斥,保守不放宽;
  存量 RUNNING 行的 NULL device 视为"来源不明",同样保守拦到跑完为止
- 前端与客户端无需改动:页面 axios 对 /newApi 已带 Authorization Bearer
2026-09-18 16:08:08 +08:00
huangzd1997 f744aa7ec2 feat(上架): 激活时按店铺互斥,同一店铺不允许两个任务同时跑
2026-09-17 事故(28519/28520/28521 相继提交同一店铺「林洪武」):同一店铺被多个
任务并发打开,客户端 startBrowser 全部返回 -10000,三个任务一起失败。

- PublishTaskService.activateFile:激活前查是否已有其他任务在同一店铺 RUNNING,
  有则拒绝并带出占用中的任务号(激活是任务真正开跑的唯一入口,能最早拦住);
  校验与更新之间仍有极小竞态窗口,真正串行由客户端店铺锁保证,这层负责尽早提示;
- 前端 BrandPublishTab:文件派发失败的原因回显给用户。原来错误只写进日志、提示
  固定为"已记录并继续",用户会误以为是文件问题而反复重传,看不到真正原因;
- 新增 3 个后端单测:同店铺被占用则拒绝、无占用则放行、店铺名为空跳过校验。
2026-09-17 15:48:51 +08:00
huangzd1997 eca0ea0c18 feat(保留期清理): 补齐 7 处只增不删的数据;修结果对象孤儿
审核发现一批表/元数据只增不删,且对象存储存在活跃泄漏:

- module-cleanup 漏收 task_result_item / task_result_payload 的 payload 指针,
  每晚删完行就在 json-server 桶留下孤儿对象;指针收集触顶从"截断后照样删整组"
  改为任务组二分拆分,拆到单任务仍触顶则整组不删并记 error(截断会让指针随行消失)
- 结果文件对象此前从不回收(只删 DB 行、对象留在桶里),现改为事务提交后
  按 file_result / task_file_job 的 result_file_url 逐个回收
- 新增 7 个保留期清理:device_log_file 元数据、price_track_loop_run、撞款扫描行、
  密钥用量日统计、紫鸟记忆过期行、PUBLISH 任务、BRAND 任务。后两者刻意不复用
  module-cleanup(BRAND 不写 biz_file_task;PUBLISH 单任务可达数万行),
  改为调各自既有的业务删除入口,保证结果对象与子表一起回收
- 未读通知补保留期(180 天,已读仍 90 天);ZiniaoMemoryStoreService.deleteExpired
  此前全库无调用方(实现了没接线),现已挂定时任务

全部沿用既有范式:@Scheduled + 分布式锁单实例 + 分批 + 单轮批次数上限 + 失败只记日志。
2026-09-16 01:59:28 +08:00
huangzd1997 06b3fc3502 perf(全链路): 连接池/事务边界/轮询与 IO 效率收口
Java:
- LLM 180s 读超时不再被全局 call-timeout 静默截断成 90s(长思考请求被掐断→重试→付费网关二次计费)
- 代理 HttpClient 缓存改有界 LRU(jikip 每次提取新 IP,无界缓存持续泄漏 selector 线程与连接池)
- 12 个 service 的 Redis 任务锁移出 @Transactional(自旋最坏 10s 白占 DB 连接,池仅 30),远端对象删/传改 afterCommit
- 结果文件 Job 闸门拒绝时不再回退内联执行(改重新入队,避免把背压转嫁给 MQ 消费线程)
- imagevideo 每秒扫描加列投影、过期清理加 LIMIT;权限页整表查询改列投影(不再拉回密码哈希)
- 哈希改 HexFormat;补 5 处"不能改"的技术依据注释(批量插入会丢回填主键、流式丢模板与图片等)

前端:4 个工具页轮询改轻量端点(带 fallback);PriceTrack 快照节流写盘;候选店铺表分页;页面隐藏时停表

客户端:HTTP 连接池按出口复用(Session 仍每请求新建,保持无跨请求状态);品牌检测 WIPO 逐请求握手;
代理配置按 mtime 缓存;串行任务改专属池;异常降级为标签页重连;紫鸟启动改端口轮询;模板编译缓存;
日志上报连接与落盘收口;Flask 版本 API 改按请求复用连接
2026-09-15 23:01:59 +08:00
huangzd1997 792b5f8bce feat(任务判死): 心跳正常但 180 分钟无结果上报的二次判死线(13 模块)+ 同期待发改动
判死线(治 28131 型「主线程卡死、心跳线程照发」):
- 判据改看 biz_task_scope_state.last_chunk_at(HTTP 心跳不刷新它);从未上报跳过不判
- 中央线覆盖 DELETE_BRAND/PRODUCT_RISK_RESOLVE/PRICE_TRACK/SHOP_MATCH/PATROL_DELETE/QUERY_ASIN/WITHDRAW
- 自带线接入 COLLECT_DATA/SIMILAR_ASIN/APPEARANCE_PATENT/SHOP_DATA_CRAWL/PUBLISH/BRAND
- 客户端心跳带处理位置 progressText,判死文案含最后位置;no-result-upload-timeout-minutes 默认 180(0 关闭)

同期带上另一工作流的待发改动:跟价换 IP 重试、品牌检测重试上限与 LLM 并发下调、
教程包后台管理页与 V126 迁移、admin-vue 教程记录页。
2026-09-14 17:56:20 +08:00
huangzd1997 9cac49cf58 perf(F5+): 行数据按需拉取(结果行版本信号)+ 修复 progress/light 恒判 missing
行数据按需拉取(审查 F5 后续):
- V125 给 biz_file_result 补 updated_at(DEFAULT/ON UPDATE 由数据库维护,
  实体标注 insertStrategy/updateStrategy=NEVER —— 否则 selectById→updateById 的
  写回会把旧值写回去、ON UPDATE 不触发,版本信号静默冻结)
- 装配器回传 rowsVersion=「最后变更时间毫秒#行数」,5 个品牌工具页版本未变即跳过
  带行明细的重型 batch;前端变更信号为 rowsVersion + status/fileStatus/fileReady 复合
  (任务收尾常见「行早写完、之后才置成功」,只看行版本会把界面卡在旧状态)

修复线上缺陷(同一功能验证时暴露):
- TaskProgressLightAssembler 列裁剪漏选 module_type 却用它做模块过滤 →
  getModuleType() 恒为 null → light 恒把任务判成 missing;第七批把 light 接进
  跟价/定时匹配/商品风险的轮询后,消费方会把运行中任务判为 FAILED
- 补选中列 + 守卫用例 taskQueryMustSelectModuleType(已反向验证:去掉修复即红)
- 前端 lightClaimsAllTasksMissing:整体性 missing 结论用重型端点复核后再采信

契约与文档:light 白名单补 rowsVersion(Java 契约测试 / spec 06 §2 / 12 个端点描述)
测试:mvn test 2901 全绿;前端 npm test 765 全绿
2026-09-14 12:08:25 +08:00
huangzd1997 f4ee7e16f0 refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
  业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
  CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)

性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
  BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
  行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
  TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引

安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)

容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
  (该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
2026-09-14 06:46:27 +08:00
huangzd1997 90cf32787d fix: 第四批修复(结果读取并发化/分页钳制/JWT 密钥强校验/凭据按 id)
性能
- listResultSnapshots 对指针化载荷改并发读取(有界池 + 保序汇总):此前逐行同步对象存储读,
  500 行结果文件生成要多花数十秒。仅在确有指针行时才走池——内联 JSON 直接串行读,
  避免为本地读取引入调度抖动(性能基准测试容差会被影响)

安全/正确性
- 管理端 GET /{id}/credential 改为按路径 id 查询(此前忽略 id、改用 shop_name,
  会出现「路径声明的店铺」与「实际读取凭据的店铺」不一致);凭据 VO 构造抽公共方法
- server profile 下 JWT 密钥缺失即拒绝启动:此前静默回退到公开默认值(等同无防护,
  任何人可伪造 token),只留 warn 日志拦不住发布事故;本地/测试 profile 保持宽松

边界
- 分页/条数参数补齐上限钳制(文档早已声明"最大 N"但无校验):
  PriceTrack/ShopMatch 的 page_size → 2000;TaskFileJob 的 limit → 1000;
  AppearancePatent/Publish 的 limit → 100
2026-09-14 05:02:33 +08:00
huangzd1997 c2fcf4fb1c fix(调度): 双节点下 collect-data/publish/image-video 定时调度加 Redis 分布式锁互斥——双活原来各自扫描执行同一批任务,重复派发/重复终态判定 2026-09-11 16:09:46 +08:00
huangzd1997 70c57b04c7 fix(task-212): Handler 迁入业务模块后补 task.service 类型 import(随迁移内容一并落库) 2026-09-05 10:12:01 +08:00
huangzd1997 1a45b64771 task-212(部分): 04 Handler SPI 实现迁回各业务模块(依赖反转大头)——13 个 *ResultFileJobHandler 从 modules/task/service 迁到各自模块 service
- TaskFileJobConfig 与相关测试 import 同步到新模块包;MappingSnapshot 源码路径按模块映射
- task 模块对业务 import 由 16+ 文件降到 3(TaskHeartbeatService/TaskResultFileJobWorker/ModuleHistoryCleanupService 尚需心跳/worker/清理 SPI 化)
- 全量回归 2308 测试 0 失败
2026-09-05 10:11:53 +08:00
huangzd1997 b148dc57eb task-116: 后台管理新增/导入表单弹窗化 + 分组管理独立菜单与UI优化 + 轻量进度端点
- 后台管理页(admin)所有面板的新增/导入表单改为弹窗操作,原有字段 ID 全部保留、提交逻辑不变;导入删除入口不再触发二次确认拦截
- 分组管理升级为独立菜单(V102 + schema initializer),移除 5 个面板内的管理分组按钮;分组列表改为蓝白主题、增加权限分组横幅
- Python 侧 group-manage 权限守卫(_ensure_backend_menu_access 补充 group-manage)
- 引入 V101(biz_task_file_job 复合索引)+ 新增 TaskProgressLight/TaskFileJob 轻量端点与进度聚合作
- 前端 progress-light / page-separated-loads / dispatch-guard 共享模块及单元测试
2026-09-01 12:54:13 +08:00
huangzd1997 d08280f3e8 性能优化:N+1查询改批量、串行远程调用并发化、紫鸟索引巡检批量回写 2026-08-25 19:42:43 +08:00
supernijia cf59e23f15 完善任务存储、权限及货源查询流程 2026-08-14 22:49:15 +08:00
supernijia 40f4fae272 新需求更新 同步更新 2026-08-06 01:11:54 +08:00
supernijia e453e822c0 菜单修改优化 2026-07-28 13:40:19 +08:00
supernijia 567aeaba5d 完成上架相关优化、oss迁移 2026-07-25 17:57:34 +08:00
supernijia a9bfb8ac6d 上架需求增加 2026-07-25 09:58:29 +08:00