huangzd1997 7eccbc016a task-24: 店铺图片预取增加任务级数量、字节和超时上限 ...

ShopDataCrawlPrefetchBudget 对预取 URL 施加三重预算：数量截断（去重后按序取前 N）、
字节估算门（urlCount×avgBytes 超预算拒绝）、超时钳制（200ms/URL 估算钳到任务上限）；
Excel 组装在 prefetch 前应用预算，未预取 URL 由 embed 兜底直接下载。
全量测试 540 通过。

2026-08-29 18:38:37 +08:00

..

docs

后台更新 服务优化

2026-08-11 14:50:21 +08:00

src

task-24: 店铺图片预取增加任务级数量、字节和超时上限

2026-08-29 18:38:37 +08:00

pom.xml

task-9: chunk 查询改为批量 keyset 分页，保持低内存读取

2026-08-29 15:52:46 +08:00