super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
590 Commits 1 Branch 0 Tags
f15d2e1c22cea7bd50b737a79e54b973b61648aa
Commit Graph

590 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
huangzd1997 f15d2e1c22 progress 66 2026-08-30 18:57:31 +08:00
huangzd1997 e2d6875ef9 task-66: 限制 RustFS 并发读写与重试的总资源预算 
- 新增 aiimage.transient-storage.max-total-concurrent-operations 配置
  （默认 0 不启用）：跨 upload/read/delete 的总并发预算
- executeWithRetry 入口获取一个总许可，整次操作（含全部重试）全程占用，
  重试不额外消耗，超预算立即拒绝并计入 operation=total rejected 指标
- 失败/完成后 finally 释放总许可，无残留锁；负值/0 视为未启用保持原行为
 2026-08-30 18:57:26 +08:00
huangzd1997 e377814c48 progress 65 2026-08-30 18:49:59 +08:00
huangzd1997 9b1978aec8 task-65: transient payload 读取流式解压 + 解压后字节上限 
- 新增 aiimage.transient-storage.max-decompressed-payload-bytes 配置
  （默认 100MB，即 2x 存储上限），覆盖 gzip 二进制与 gzip64 兼容两条路径
- decodeGzipStream 按 8KB 缓冲流式解压，累计输出超过上限立即中止并报错，
  防止压缩炸弹（zip bomb）在读取时无界膨胀内存
- 超限错误保留可识别消息（exceeds configured limit），由 resolvePayload 统一包装
 2026-08-30 18:49:55 +08:00
huangzd1997 4e9c5d242e progress 64 2026-08-30 18:42:25 +08:00
huangzd1997 ca32cde4fe task-64: transient payload 压缩改为直接 gzip 二进制流上传 
- RustfsObjectStorageService 新增 uploadBytes/readObjectBytes 二进制流 API
  （application/gzip），uploadText/readObjectAsString 改为其薄包装
- TransientPayloadStorageService 的 encodeStoredPayload 直接输出 gzip 字节，
  不再经过 gzip64 + Base64 文本编码（消除 33% 体积膨胀与中间字符串副本）
- 读取端按 gzip magic 识别二进制流解压；兼容旧 gzip64: 文本与历史裸文本
- 本地回落文件同步改为写二进制（Files.write），超限判定基于 gzip 后字节数
 2026-08-30 18:42:19 +08:00
huangzd1997 f8e4360482 progress 63 2026-08-30 18:28:19 +08:00
huangzd1997 9c9b8a6078 task-63: 进度快照写入最小更新间隔节流（终态豁免+删除清理跟踪） 2026-08-30 18:28:15 +08:00
huangzd1997 a9cee8e9a1 progress 62 2026-08-30 18:17:55 +08:00
huangzd1997 8d91e599ab task-62: 本地任务实体缓存共享组件（容量 LRU/TTL 即时回收/定时清理）接入 8 模块 2026-08-30 18:17:52 +08:00
huangzd1997 dff38a04c7 progress 61 2026-08-30 18:00:38 +08:00
huangzd1997 8e9c79fc0e task-61: Rustfs 对象存储指标基线验收测试（计数/计时/分布/熔断/拒绝） 2026-08-30 18:00:33 +08:00
huangzd1997 7b3feb4b1a progress 60 2026-08-30 17:43:20 +08:00
huangzd1997 305b897f2a task-60: 采集模块 10k 行压测验收（结果完整性、内存与吞吐） 
10k 行批量 upsert 压测验收：100 批 × 100 行恰好写入 10k 行不丢失不重复（引用 JSON 唯一）；
10 chunk 分批提交总批量 SQL 调用次数恒定 100；hash 相等重复提交全跳过零写入（幂等）；
batchSize=1 时 10k 次调用每批 1 行（内存受 batchSize 约束不无界累积）；null/空白 ASIN
行安全跳过；前 50 批失败跳过后重试收敛到真实行数。collectdata 模块完成。
 2026-08-30 17:43:13 +08:00
huangzd1997 9ec43e8922 progress 59 2026-08-30 17:38:26 +08:00
huangzd1997 7147fc464c task-59: 采集模块对象存储与批量 SQL 调用次数验证 
deleteHistory 删除历史结果的对象存储调用次数验证：批量 SQL（selectList/delete）调用次数
恒定不随行数增长；RustFS 物理删除按 chunk 引用指针去重后每对象一次（旧格式逐行一次）；
空历史零调用、单历史单对象、300 行 100 chunk 恰好 100 次、非法越权拒绝、依赖失败传播后
重试成功无残留。锁定 task-57 引入的去重删除语义在 deleteHistory 路径上的调用次数契约。
 2026-08-30 17:38:22 +08:00
huangzd1997 8ea1577924 progress 58 2026-08-30 17:31:27 +08:00
huangzd1997 567cb1ab67 task-58: collectdata 结果明细读取失败降级（RustFS 超时跳过该 chunk，不中断其它 chunk） 
chunk 级引用读取失败（RustFS 超时/不可用）时降级为跳过该 chunk 的引用行并记录 warn，
结果文件继续生成，缺失行由任务状态可观测；chunk 明细 JSON 损坏仍抛异常（数据问题不降级），
旧格式单行读取失败保持抛异常。失败 chunk 在单次调用内缓存为空哨兵，避免重复 resolve。
task-052 依赖失败测试同步更新为降级语义。
 2026-08-30 17:31:21 +08:00
huangzd1997 44abcdd4ef progress 57 2026-08-30 17:20:05 +08:00
huangzd1997 5bbf601480 task-57: 删除任务/历史时先删 DB 行再物理删对象，引用计数反查基于删除后状态，共享对象跳过删除、独占对象真正释放 2026-08-30 17:20:00 +08:00
huangzd1997 c0447c908e progress 56 2026-08-30 17:06:06 +08:00
huangzd1997 adcfa28af3 task-56: 采集结果 Excel 改为临时文件+原子落位，流式写入或落位失败时清理临时文件，目标路径不残留半成品 2026-08-30 17:05:56 +08:00
huangzd1997 15269c6ed9 progress 55 2026-08-30 16:56:20 +08:00
huangzd1997 e7828dc926 task-55: 采集进度心跳改为节流/合并写，窗口内心跳只更新内存态不落库，窗口到期或任务结束路径强制持久化，避免高频 task UPDATE 2026-08-30 16:55:37 +08:00
huangzd1997 5776217c2c progress 54 2026-08-30 16:41:09 +08:00
huangzd1997 91f760f789 task-54: finalRowCount 改为任务内增量计数（upsert newlyInserted 累计），移除每 chunk 全表 COUNT(*) 2026-08-30 16:41:02 +08:00
huangzd1997 e8cedbcb50 progress 53 2026-08-30 16:30:39 +08:00
huangzd1997 97ae8a7c51 店铺数据抓取累计文件改为店铺级共享，按国家覆盖更新 
同店同日在不同账号下产生多份互不相干的累计文件（唯一键含 user_id），
后台管理页每店只显示最新一份，其他账号抓的国家看起来丢失。

- V95 迁移：加 shop_key/country_codes_json/compensation_done 列，按店铺
  合并存量 daily_file 与成员行，唯一键改为 (shop_key, business_date)
- DailyFileService：findForUpdate/findOlder/acquireLock 去 user 维度，
  店铺级锁跨账号串行
- TaskService：聚合按店铺定位；applyCountryCoverage 按国家覆盖（本次
  回传的国家替换旧行，未更新的国家保留）；启动补偿组件按成员快照重建
  合并文件并回填国家列表
- 管理页：country_codes 改从 daily_file.country_codes_json 取，行数用
  累计文件实际值
 2026-08-30 16:30:09 +08:00
huangzd1997 ae95b294ec task-53: 采集结果 Excel 生成按 rawRows/finalRows 分段生命周期，rawRows 惰性加载避免同时驻留内存 2026-08-30 16:29:48 +08:00
huangzd1997 9ebb1a4012 progress 52 2026-08-30 16:00:37 +08:00
huangzd1997 48284be214 task-52: 生成结果文件按 chunk 一次读取 
CollectDataResultDetailReader 从 biz_task_result_item 解析行：引用格式
按 pointer 缓存整 chunk 明细（同一 chunk 对象只 resolve 一次），再按
offset 取行；旧格式逐行兜底。CollectDataService.loadFinalRows 接入
reader，移除内联逐行读取循环与 detailCache。
 2026-08-30 16:00:32 +08:00
huangzd1997 7f46b9f768 progress 51 2026-08-30 15:39:42 +08:00
huangzd1997 a29d6e6ce4 task-51: accepted 行序列化与 hash 批量生成 
CollectDataResultDetailCodec.encodeRefsWithHash 一次迭代为整 chunk 生成
全部行引用 JSON 及其 SHA-256（offset 从 startOffset 递增），带
MAX_REFS_PER_BATCH 上限与参数校验；CollectDataResultItemBatchWriter
接入批量生成，删除逐行 encodeRef+hash 循环，同 chunk 重提结果逐字节一致。
 2026-08-30 15:39:38 +08:00
huangzd1997 687bc18510 progress 50 2026-08-30 15:33:01 +08:00
huangzd1997 1127e9c8bb task-50: 结果明细批量 upsert 写入器与唯一键幂等 
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item：一次批量查询现有行（payload_hash 相等即跳过），
分批发 INSERT ... ON DUPLICATE KEY UPDATE，替代逐行 select/insert/update；
旧格式逐行 payload 升级为引用时物理删除（引用计数兜底）。CollectDataService
submitResult 接入批量写入，移除逐行 upsertResultItem。
 2026-08-30 15:32:55 +08:00
huangzd1997 68ebd387be progress 49 2026-08-30 14:31:08 +08:00
huangzd1997 5919ae12e9 task-49: 结果明细从逐行 RustFS 对象改为 chunk 级 payload 存储，引用 JSON 兼容旧格式 2026-08-30 14:31:04 +08:00
huangzd1997 ed2900361c progress 48 2026-08-30 14:15:37 +08:00
huangzd1997 d4ebe1926d fix: 品牌检查过滤器多构造器显式 @Autowired，供 Spring bean 解析 2026-08-30 14:12:19 +08:00
huangzd1997 98c45486fa task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert，唯一键扩为 (data_value, brand) 2026-08-30 14:11:59 +08:00
huangzd1997 c609ffb279 progress 47 2026-08-30 13:54:03 +08:00
huangzd1997 b92d3e688d task-47: 品牌检查结果任务内短期缓存，避免同品牌重复远程调用 2026-08-30 13:53:38 +08:00
huangzd1997 751f4b89fd progress 46 2026-08-30 13:40:09 +08:00
huangzd1997 0d99baea04 task-46: 跳过空品牌批次的无效远程品牌检查请求 
新增 CollectDataBrandBatchFilter 接管品牌检查批次切分与分类：空品牌
批次不发起 checkAll 远程调用（行直接归 rejected），远程抛错整组降级
queryFailed 可恢复。service 委托查询器只做计数与无效 ASIN 落库，语义
与旧 filterByBrandCheck 完全等价。8 个测试覆盖默认/批量/幂等/空输入/
单元素/超限/非法参数/依赖失败，全量回归 720 通过。
 2026-08-30 13:40:03 +08:00
huangzd1997 61f8c86b02 progress 45 2026-08-30 13:31:58 +08:00
huangzd1997 7110d1086b task-45: ASIN 去重与无效品牌查询统一为批量集合查询 
新增 CollectDataBatchQuery 把 dedupe 表查询与 invalid_asin 表查询
合并为两次批量集合查询，输出与旧两段式语义等价，并返回两类过滤计数
由 service 维护 stats。8 个测试覆盖默认/批量/幂等/空输入/单元素/
超限/非法参数/依赖失败，全量回归 712 通过。
 2026-08-30 13:31:52 +08:00
huangzd1997 d23485029d progress 44 2026-08-30 13:20:04 +08:00
huangzd1997 639e8b989e task-44: collectdata extra JSON 批量预序列化与内容去重 
persistParsedTask 逐行调用 ObjectMapper 序列化 extra 是热点；新增
CollectDataExtraJsonCodec 批量预序列化，相同 extra 只序列化一次，
输出与逐行语义完全一致，失败行降级 {}。8 个测试覆盖去重/幂等/
空输入/单元素/容量淘汰/非法输入/序列化失败，全量回归 704 通过。
 2026-08-30 13:19:15 +08:00
huangzd1997 a0a232f504 progress 43 2026-08-30 13:08:18 +08:00
huangzd1997 173287e3d6 task-43: 采集源文件查找改为确定路径/索引查询 
LocalFileStorageService 新增 fileKey→文件名 有界索引（LinkedHashMap LRU，
上限 1024 淘汰最旧）：saveTempFile 登记，findLocalSourceFile 优先按索引
直接构造确定路径，索引过期/进程重启时兜底枚举根层目录，结果与索引一致；
key 与索引名均校验单段字符集，防止路径穿越与索引污染。8 个用例覆盖
正常/批量/幂等/空/单元素/索引容量超限/非法输入/清理与重启降级，
mvn 全量测试通过。
 2026-08-30 13:08:13 +08:00