Files
crawler-plugin/backend-java
huangzd1997 4d008608b1 fix(appearance-patent): 重试不再整单重采——派活前裁掉已采到的行+跨代切分片 scope(B96-07)
33898/33883/33885 这类单重试一次就是 4000 组从头再抓一遍(1.3-1.5 小时+按次买出口 IP),根因两条:① 重排派给客户端的仍是解析载荷的全量 groups;② ap_worker 的 chunkIndex 是相对本载荷的序号且每片都带 submissionId=str(task_id),裁剪后从 1 重新编号会与上一代同号分片撞 (task_id, module_type, scope_hash, chunk_index),落进 duplicate chunk ignored 却照旧回 ok —— 客户端以为传成功、服务端一行没收。

A:AppearancePatentResumeTrimSupport(纯裁剪)/AppearancePatentDispatchTrimSupport(下发口编排)。两条下发口(兜底拉取、页面推本机)都过 trim;已收判据不是「行存在」而是「行上有标题或图片」(失败行也会落库,按行存在裁会把 404 行整批裁掉、坏行永不重采);载荷对象已不在的分片不算已收。跨代 scope=<caller submissionId>:gen:<resumeAttempt>(首代原样,幂等),新一代开跑前清上一代输入面 completed,否则本代第一个分片就被当成「已交完」拿半批行去组装(33924 同形)。

B:裁到一组不剩时不再派活——先标完成再收口出表;已出过表(result_file_url 有值)或状态非 PENDING/RUNNING 不动,避免直链被清空再重排。SPI 对「解析期无分组」与「已收全被裁光」分两侧:后者返回空 groups 载荷而不是 null,否则认领侧会把刚收口的任务改判「任务数据不完整」FAILED。

门禁:mvn -o test 整量 5,430 例/0 失败/19 skipped BUILD SUCCESS;新增用例 14 支(裁剪 9、scope 5);TaskLifecycleDebtRatchetTest 130 遍/15 文件不变(归属谓词改走 TaskFinalizeSupport.belongsToModule);SourceScanTest 台账 57→59、support 22→24;_push_gate.py --fast overall=pass(9.5/8.8/10.0/9.6)。
2026-11-12 13:55:15 +08:00
..