Commit Graph

Select branches

Hide Pull Requests

master

Mono Color

• 62bf1fb206 progress 85 huangzd1997 2026-08-30 22:49:49 +08:00
• 25d5a5a5e3 task-85: 优化 Similar ASIN 轮询与文件生成等待，避免重复 force 请求 huangzd1997 2026-08-30 22:49:45 +08:00
• b3f16433fc progress 84 huangzd1997 2026-08-30 22:47:45 +08:00
• 5caca86ad1 task-84: 优化店铺抓取队列状态合并，消除 historyItems 的线性重复查找 huangzd1997 2026-08-30 22:47:41 +08:00
• 5f062df3cc progress 83 huangzd1997 2026-08-30 22:44:16 +08:00
• e60bd8567a task-83: 统一不同页面的轮询去重、in-flight 合并和终态清理 huangzd1997 2026-08-30 22:44:12 +08:00
• a52e39ad80 progress 82 huangzd1997 2026-08-30 22:42:12 +08:00
• 83b93eb39b task-82: 为进度响应 Map 增加 TTL 清理与最大条目数 huangzd1997 2026-08-30 22:42:08 +08:00
• c19f59bb9e progress 81 huangzd1997 2026-08-30 22:39:01 +08:00
• 9bf25765dd task-81: 建立前端任务轮询请求量、响应体大小和页面内存基线 huangzd1997 2026-08-30 22:38:51 +08:00
• 0ce664d2b9 progress 80 huangzd1997 2026-08-30 22:31:10 +08:00
• c517711169 task-80: 补充 JVM 堆、直接内存、临时磁盘和连接池容量配置说明 huangzd1997 2026-08-30 22:30:56 +08:00
• 143ad3f6da progress 79 huangzd1997 2026-08-30 22:23:46 +08:00
• ba17e34b84 task-79: 为对象存储、数据库和队列增加故障注入测试 huangzd1997 2026-08-30 22:23:33 +08:00
• 42bbf4904e feat-admin-ui-interaction huangzd1997 2026-08-30 22:09:22 +08:00
• 2b613a8e5a progress 78 huangzd1997 2026-08-30 22:01:15 +08:00
• 4c70ca4101 task-78: 为所有外部调用增加耗时、重试、失败率和 payload 字节指标 huangzd1997 2026-08-30 22:01:02 +08:00
• f1d1fe5c78 progress 77 huangzd1997 2026-08-30 21:08:32 +08:00
• 39e52858d1 task-77: 统一 Coze、品牌检查和紫鸟 HTTP 客户端的连接复用策略 huangzd1997 2026-08-30 21:08:28 +08:00
• 678ba57347 progress 76 huangzd1997 2026-08-30 20:51:14 +08:00
• 04f45bebec task-76: JSON owner 查询迁移到显式列并补充任务/状态复合索引 huangzd1997 2026-08-30 20:51:07 +08:00
• e9ba3689ba progress 75 huangzd1997 2026-08-30 20:39:35 +08:00
• 6a4a115260 task-75: 虚拟线程任务等待队列上限与拒绝/延迟指标 huangzd1997 2026-08-30 20:39:31 +08:00
• ba163aa4bd progress 74 huangzd1997 2026-08-30 20:31:43 +08:00
• 5105ca95c5 task-74: 隔离调度线程池、文件作业线程池和外部 Coze/图片执行池 huangzd1997 2026-08-30 20:31:39 +08:00
• adf0a5ff73 progress 73 huangzd1997 2026-08-30 20:23:09 +08:00
• ec9811c8a5 task-73: 本地文件作业队列 in-flight 去重和队列背压 huangzd1997 2026-08-30 20:22:58 +08:00
• f190896ea7 progress 72 huangzd1997 2026-08-30 20:01:22 +08:00
• baa43d80ba task-72: 文件作业数据库原子 claim，避免重复派发同一 job huangzd1997 2026-08-30 20:01:18 +08:00
• c07e26a400 progress 71 huangzd1997 2026-08-30 19:53:50 +08:00
• 6f32ed86e4 task-71: 清理日志改为数量与 sample ID，禁止输出超长任务 ID 列表 huangzd1997 2026-08-30 19:53:49 +08:00
• f48407ec7e progress 70 huangzd1997 2026-08-30 19:49:03 +08:00
• 9de4603484 task-70: 历史清理改为 keyset 分页、小批量和短事务 huangzd1997 2026-08-30 19:48:59 +08:00
• fb090bf80d progress 69 huangzd1997 2026-08-30 19:30:01 +08:00
• 5749a421cb task-69: 历史清理任务收集 transient payload 指针并提交删除队列 huangzd1997 2026-08-30 19:29:32 +08:00
• 54260551ee progress 68 huangzd1997 2026-08-30 19:13:47 +08:00
• 2de58b7afc task-68: payload 引用删除改为批量引用检查与异步物理删除 huangzd1997 2026-08-30 19:13:43 +08:00
• 45b23b559c progress 67 huangzd1997 2026-08-30 19:04:37 +08:00
• 2819fb3c6c task-67: 复用 RustFS/MinIO 客户端与 HTTP 连接池 huangzd1997 2026-08-30 19:04:32 +08:00
• f15d2e1c22 progress 66 huangzd1997 2026-08-30 18:57:31 +08:00
• e2d6875ef9 task-66: 限制 RustFS 并发读写与重试的总资源预算 huangzd1997 2026-08-30 18:57:26 +08:00
• e377814c48 progress 65 huangzd1997 2026-08-30 18:49:59 +08:00
• 9b1978aec8 task-65: transient payload 读取流式解压 + 解压后字节上限 huangzd1997 2026-08-30 18:49:55 +08:00
• 4e9c5d242e progress 64 huangzd1997 2026-08-30 18:42:25 +08:00
• ca32cde4fe task-64: transient payload 压缩改为直接 gzip 二进制流上传 huangzd1997 2026-08-30 18:42:19 +08:00
• f8e4360482 progress 63 huangzd1997 2026-08-30 18:28:19 +08:00
• 9c9b8a6078 task-63: 进度快照写入最小更新间隔节流（终态豁免+删除清理跟踪） huangzd1997 2026-08-30 18:28:15 +08:00
• a9cee8e9a1 progress 62 huangzd1997 2026-08-30 18:17:55 +08:00
• 8d91e599ab task-62: 本地任务实体缓存共享组件（容量 LRU/TTL 即时回收/定时清理）接入 8 模块 huangzd1997 2026-08-30 18:17:52 +08:00
• dff38a04c7 progress 61 huangzd1997 2026-08-30 18:00:38 +08:00
• 8e9c79fc0e task-61: Rustfs 对象存储指标基线验收测试（计数/计时/分布/熔断/拒绝） huangzd1997 2026-08-30 18:00:33 +08:00
• 7b3feb4b1a progress 60 huangzd1997 2026-08-30 17:43:20 +08:00
• 305b897f2a task-60: 采集模块 10k 行压测验收（结果完整性、内存与吞吐） huangzd1997 2026-08-30 17:43:13 +08:00
• 9ec43e8922 progress 59 huangzd1997 2026-08-30 17:38:26 +08:00
• 7147fc464c task-59: 采集模块对象存储与批量 SQL 调用次数验证 huangzd1997 2026-08-30 17:38:22 +08:00
• 8ea1577924 progress 58 huangzd1997 2026-08-30 17:31:27 +08:00
• 567cb1ab67 task-58: collectdata 结果明细读取失败降级（RustFS 超时跳过该 chunk，不中断其它 chunk） huangzd1997 2026-08-30 17:31:21 +08:00
• 44abcdd4ef progress 57 huangzd1997 2026-08-30 17:20:05 +08:00
• 5bbf601480 task-57: 删除任务/历史时先删 DB 行再物理删对象，引用计数反查基于删除后状态，共享对象跳过删除、独占对象真正释放 huangzd1997 2026-08-30 17:20:00 +08:00
• c0447c908e progress 56 huangzd1997 2026-08-30 17:06:06 +08:00
• adcfa28af3 task-56: 采集结果 Excel 改为临时文件+原子落位，流式写入或落位失败时清理临时文件，目标路径不残留半成品 huangzd1997 2026-08-30 17:05:56 +08:00
• 15269c6ed9 progress 55 huangzd1997 2026-08-30 16:56:20 +08:00
• e7828dc926 task-55: 采集进度心跳改为节流/合并写，窗口内心跳只更新内存态不落库，窗口到期或任务结束路径强制持久化，避免高频 task UPDATE huangzd1997 2026-08-30 16:55:37 +08:00
• 5776217c2c progress 54 huangzd1997 2026-08-30 16:41:09 +08:00
• 91f760f789 task-54: finalRowCount 改为任务内增量计数（upsert newlyInserted 累计），移除每 chunk 全表 COUNT(*) huangzd1997 2026-08-30 16:41:02 +08:00
• e8cedbcb50 progress 53 huangzd1997 2026-08-30 16:30:39 +08:00
• 97ae8a7c51 店铺数据抓取累计文件改为店铺级共享，按国家覆盖更新 huangzd1997 2026-08-30 16:30:09 +08:00
• ae95b294ec task-53: 采集结果 Excel 生成按 rawRows/finalRows 分段生命周期，rawRows 惰性加载避免同时驻留内存 huangzd1997 2026-08-30 16:29:48 +08:00
• 9ebb1a4012 progress 52 huangzd1997 2026-08-30 16:00:37 +08:00
• 48284be214 task-52: 生成结果文件按 chunk 一次读取 huangzd1997 2026-08-30 16:00:32 +08:00
• 7f46b9f768 progress 51 huangzd1997 2026-08-30 15:39:42 +08:00
• a29d6e6ce4 task-51: accepted 行序列化与 hash 批量生成 huangzd1997 2026-08-30 15:39:38 +08:00
• 687bc18510 progress 50 huangzd1997 2026-08-30 15:33:01 +08:00
• 1127e9c8bb task-50: 结果明细批量 upsert 写入器与唯一键幂等 huangzd1997 2026-08-30 15:32:55 +08:00
• 68ebd387be progress 49 huangzd1997 2026-08-30 14:31:08 +08:00
• 5919ae12e9 task-49: 结果明细从逐行 RustFS 对象改为 chunk 级 payload 存储，引用 JSON 兼容旧格式 huangzd1997 2026-08-30 14:31:04 +08:00
• ed2900361c progress 48 huangzd1997 2026-08-30 14:15:37 +08:00
• d4ebe1926d fix: 品牌检查过滤器多构造器显式 @Autowired，供 Spring bean 解析 huangzd1997 2026-08-30 14:12:19 +08:00
• 98c45486fa task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert，唯一键扩为 (data_value, brand) huangzd1997 2026-08-30 14:11:59 +08:00
• c609ffb279 progress 47 huangzd1997 2026-08-30 13:54:03 +08:00
• b92d3e688d task-47: 品牌检查结果任务内短期缓存，避免同品牌重复远程调用 huangzd1997 2026-08-30 13:53:38 +08:00
• 751f4b89fd progress 46 huangzd1997 2026-08-30 13:40:09 +08:00
• 0d99baea04 task-46: 跳过空品牌批次的无效远程品牌检查请求 huangzd1997 2026-08-30 13:40:03 +08:00
• 61f8c86b02 progress 45 huangzd1997 2026-08-30 13:31:58 +08:00
• 7110d1086b task-45: ASIN 去重与无效品牌查询统一为批量集合查询 huangzd1997 2026-08-30 13:31:52 +08:00
• d23485029d progress 44 huangzd1997 2026-08-30 13:20:04 +08:00
• 639e8b989e task-44: collectdata extra JSON 批量预序列化与内容去重 huangzd1997 2026-08-30 13:19:15 +08:00
• a0a232f504 progress 43 huangzd1997 2026-08-30 13:08:18 +08:00
• 173287e3d6 task-43: 采集源文件查找改为确定路径/索引查询 huangzd1997 2026-08-30 13:08:13 +08:00
• f168e23dde progress 42 huangzd1997 2026-08-30 13:04:08 +08:00
• fec89b6b7b task-42: 限制采集解析的文件大小、最大行数和单 chunk 行数 huangzd1997 2026-08-30 13:04:02 +08:00
• 3f8326afc4 progress 41 huangzd1997 2026-08-30 12:58:31 +08:00
• 33d0f02c55 task-41: 建立 Collect Data 性能基线夹具（1k/10k 行、多 chunk、品牌检测） huangzd1997 2026-08-30 12:58:26 +08:00
• 2ce37f0a1a progress 40 huangzd1997 2026-08-30 12:53:41 +08:00
• 7f44ca6383 task-40: 完成店铺抓取压测探针与资源比较 huangzd1997 2026-08-30 12:53:36 +08:00
• 6875abaa1a progress 39 huangzd1997 2026-08-30 12:40:15 +08:00
• b806ab9384 task-39: 补充删除/超时/重复回传/累计文件失败的资源清理测试 huangzd1997 2026-08-30 12:16:39 +08:00
• 6b76333159 task-39: 店铺 Excel 按国家增量更新，未提交国家保留旧数据 huangzd1997 2026-08-29 23:46:22 +08:00
• 9a8fab2ce4 progress 38 huangzd1997 2026-08-29 23:12:06 +08:00
• 36bed2bdc6 task-38 huangzd1997 2026-08-29 23:11:59 +08:00