crawler-plugin

T

huangzd1997 99c0b7dd75 task-9: chunk 查询改为批量 keyset 分页，保持低内存读取

loadChunksKeyset 按 id 递增分批拉取（每批 pageSize），最后按
chunkIndex 升序合并，避免超大任务一次 selectList 全量载入 chunk
元数据。surefire fork 堆显式限制 1536m 防止与主 JVM 叠加挤爆内存。

2026-08-29 15:52:46 +08:00

2026-08-03 02:46:56 +08:00

2026-08-27 05:09:40 -04:00

2026-08-29 15:52:46 +08:00

2026-08-28 11:43:51 +08:00

.gitignore

2026-05-24 21:59:21 +08:00

check_progress.py

2026-08-29 14:22:07 +08:00

progress.json

2026-08-29 14:43:08 +08:00

Languages

Java 70.5%

TypeScript 16.8%

Vue 11.9%

Python 0.5%

JavaScript 0.2%

Other 0.1%