Commit Graph

560 Commits

Author SHA1 Message Date
huangzd1997 fed4886aec progress 52 2026-08-30 16:00:37 +08:00
huangzd1997 9324811891 task-52: 生成结果文件按 chunk 一次读取
CollectDataResultDetailReader 从 biz_task_result_item 解析行:引用格式
按 pointer 缓存整 chunk 明细(同一 chunk 对象只 resolve 一次),再按
offset 取行;旧格式逐行兜底。CollectDataService.loadFinalRows 接入
reader,移除内联逐行读取循环与 detailCache。
2026-08-30 16:00:32 +08:00
huangzd1997 4597549917 progress 51 2026-08-30 15:39:42 +08:00
huangzd1997 0ed78220d7 task-51: accepted 行序列化与 hash 批量生成
CollectDataResultDetailCodec.encodeRefsWithHash 一次迭代为整 chunk 生成
全部行引用 JSON 及其 SHA-256(offset 从 startOffset 递增),带
MAX_REFS_PER_BATCH 上限与参数校验;CollectDataResultItemBatchWriter
接入批量生成,删除逐行 encodeRef+hash 循环,同 chunk 重提结果逐字节一致。
2026-08-30 15:39:38 +08:00
huangzd1997 2600af123d progress 50 2026-08-30 15:33:01 +08:00
huangzd1997 9f23d1d011 task-50: 结果明细批量 upsert 写入器与唯一键幂等
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item:一次批量查询现有行(payload_hash 相等即跳过),
分批发 INSERT ... ON DUPLICATE KEY UPDATE,替代逐行 select/insert/update;
旧格式逐行 payload 升级为引用时物理删除(引用计数兜底)。CollectDataService
submitResult 接入批量写入,移除逐行 upsertResultItem。
2026-08-30 15:32:55 +08:00
huangzd1997 7058c7da5b progress 49 2026-08-30 14:31:08 +08:00
huangzd1997 8491918d17 task-49: 结果明细从逐行 RustFS 对象改为 chunk 级 payload 存储,引用 JSON 兼容旧格式 2026-08-30 14:31:04 +08:00
huangzd1997 3b5b25468a progress 48 2026-08-30 14:15:37 +08:00
huangzd1997 342c3792af fix: 品牌检查过滤器多构造器显式 @Autowired,供 Spring bean 解析 2026-08-30 14:12:19 +08:00
huangzd1997 6c3bab6c4b task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert,唯一键扩为 (data_value, brand) 2026-08-30 14:11:59 +08:00
huangzd1997 2ee9532f13 progress 47 2026-08-30 13:54:03 +08:00
huangzd1997 0fb25f9be2 task-47: 品牌检查结果任务内短期缓存,避免同品牌重复远程调用 2026-08-30 13:53:38 +08:00
huangzd1997 e9a8d71690 progress 46 2026-08-30 13:40:09 +08:00
huangzd1997 e4ace04562 task-46: 跳过空品牌批次的无效远程品牌检查请求
新增 CollectDataBrandBatchFilter 接管品牌检查批次切分与分类:空品牌
批次不发起 checkAll 远程调用(行直接归 rejected),远程抛错整组降级
queryFailed 可恢复。service 委托查询器只做计数与无效 ASIN 落库,语义
与旧 filterByBrandCheck 完全等价。8 个测试覆盖默认/批量/幂等/空输入/
单元素/超限/非法参数/依赖失败,全量回归 720 通过。
2026-08-30 13:40:03 +08:00
huangzd1997 1e43f973e8 progress 45 2026-08-30 13:31:58 +08:00
huangzd1997 618e43df93 task-45: ASIN 去重与无效品牌查询统一为批量集合查询
新增 CollectDataBatchQuery 把 dedupe 表查询与 invalid_asin 表查询
合并为两次批量集合查询,输出与旧两段式语义等价,并返回两类过滤计数
由 service 维护 stats。8 个测试覆盖默认/批量/幂等/空输入/单元素/
超限/非法参数/依赖失败,全量回归 712 通过。
2026-08-30 13:31:52 +08:00
huangzd1997 407e3524e5 progress 44 2026-08-30 13:20:04 +08:00
huangzd1997 57e4c83dcc task-44: collectdata extra JSON 批量预序列化与内容去重
persistParsedTask 逐行调用 ObjectMapper 序列化 extra 是热点;新增
CollectDataExtraJsonCodec 批量预序列化,相同 extra 只序列化一次,
输出与逐行语义完全一致,失败行降级 {}。8 个测试覆盖去重/幂等/
空输入/单元素/容量淘汰/非法输入/序列化失败,全量回归 704 通过。
2026-08-30 13:19:15 +08:00
huangzd1997 6c475f8b3b progress 43 2026-08-30 13:08:18 +08:00
huangzd1997 27b2ae99fe task-43: 采集源文件查找改为确定路径/索引查询
LocalFileStorageService 新增 fileKey→文件名 有界索引(LinkedHashMap LRU,
上限 1024 淘汰最旧):saveTempFile 登记,findLocalSourceFile 优先按索引
直接构造确定路径,索引过期/进程重启时兜底枚举根层目录,结果与索引一致;
key 与索引名均校验单段字符集,防止路径穿越与索引污染。8 个用例覆盖
正常/批量/幂等/空/单元素/索引容量超限/非法输入/清理与重启降级,
mvn 全量测试通过。
2026-08-30 13:08:13 +08:00
huangzd1997 d5a0f7d8ef progress 42 2026-08-30 13:04:08 +08:00
huangzd1997 77dbd01d84 task-42: 限制采集解析的文件大小、最大行数和单 chunk 行数
新增 CollectDataParseLimits 组件并在 CollectDataService 解析/回传路径
接入:源文件大小(默认 50MB)、累计解析行数(默认 50000)、单 chunk
回传行数(默认 5000)超限即拒绝,配置经 aiimage.collect-data.* 环境变量
可调、0/负值回退默认。8 个用例覆盖正常/批量/幂等/空/单元素/边界超限/
非法配置/失败后可恢复路径,mvn 全量测试通过。
2026-08-30 13:04:02 +08:00
huangzd1997 e992bd4f98 progress 41 2026-08-30 12:58:31 +08:00
huangzd1997 9681e2c58e task-41: 建立 Collect Data 性能基线夹具(1k/10k 行、多 chunk、品牌检测)
新增 CollectDataPerfFixture:确定性生成 1k/10k 行、多关键词多 chunk 与
品牌检测场景(成功/失败/查询失败/空 ASIN)行集合并采样 payload 字节与
chunk 划分;同一输入重复生成结果一致(幂等),行数/计数/关键词均有上限
校验。8 个用例覆盖正常/批量/幂等/空/单元素/超限/非法输入/序列化失败
降级路径,mvn 全量 681 测试通过。
2026-08-30 12:58:26 +08:00
huangzd1997 b29a8d7289 progress 40 2026-08-30 12:53:41 +08:00
huangzd1997 891d0669e1 task-40: 完成店铺抓取压测探针与资源比较
新增 ShopDataCrawlLoadTestProbe:并发多轮执行"生成-采样-回传-上传-锁"
流水线,产出内存峰值、耗时、DB QPS、对象存储流量与锁等待五类可比较
指标;行数/线程/轮数均有上限,注入 OSS 上传与锁获取失败验证依赖降级
可恢复且计数不残留。8 个用例覆盖正常/批量/幂等/空/单元素/超限/非法
输入/依赖失败路径,mvn 全量 672 测试通过。
2026-08-30 12:53:36 +08:00
huangzd1997 e728cfa2fa progress 39 2026-08-30 12:40:15 +08:00
huangzd1997 3a52db34bc task-39: 补充删除/超时/重复回传/累计文件失败的资源清理测试
新增 ShopDataCrawlCleanupTest 11 个用例覆盖:单条/批量/空输入删除路径的
临时文件与累计对象回收、陈旧 RUNNING 任务超时终态化、分片重复回传的
payload 释放与终态拒绝、累计文件 CAS 冲突重试时上传对象回滚。

同时撤销上一提交误引入的按国家覆盖语义:rowsByCountry 恢复同国累积
(addAll),移除与之矛盾的 writeWorkbookLatestMemberWinsPerCountryOthersPreserved
测试,修复 task-22~26 批量合并回归(行数被覆盖削减)。
2026-08-30 12:16:39 +08:00
huangzd1997 8cb89d78b8 task-39: 店铺 Excel 按国家增量更新,未提交国家保留旧数据
rowsByCountry 由同国行累加改为覆盖语义:按成员顺序累积,
后面的结果覆盖前面同名国家的行(最新任务胜出),本次未提交的
国家从旧累计对象/成员累积中保留,不再被清空。

新增回归测试:两个成员快照(英德法 + 仅德国新行)写入 workbook 后,
英国/法国保留旧行、德国被新任务覆盖、未提交国家保持空表。
2026-08-29 23:46:22 +08:00
huangzd1997 4144eedbad progress 38 2026-08-29 23:12:06 +08:00
huangzd1997 e10c56300f task-38 2026-08-29 23:11:59 +08:00
huangzd1997 2ba057a61b progress 37 2026-08-29 22:36:15 +08:00
huangzd1997 0b7adc84bd task-37 2026-08-29 22:36:11 +08:00
huangzd1997 e3d08dcb23 progress 36 2026-08-29 22:05:36 +08:00
huangzd1997 4c8ac08b08 task-36 2026-08-29 22:05:30 +08:00
huangzd1997 a4c4373ef2 progress 35 2026-08-29 21:28:32 +08:00
huangzd1997 de19a621aa task-35 2026-08-29 21:28:28 +08:00
huangzd1997 0c6a3af171 progress 34 2026-08-29 20:44:25 +08:00
huangzd1997 1c58a182de task-34: 将 ownerInstanceId 从 JSON 查询迁移到显式列并补充索引 2026-08-29 20:44:21 +08:00
huangzd1997 2a12bd5ea2 progress 33 2026-08-29 20:19:17 +08:00
huangzd1997 b9f2d6fbfc task-33: 将店铺源文件 key 映射改为确定路径,取消临时目录递归扫描 2026-08-29 20:18:57 +08:00
huangzd1997 5ed64a5974 progress 32 2026-08-29 20:11:20 +08:00
huangzd1997 b82e3d0ee9 task-32: 将 task entity 本地缓存替换为有容量和过期回收的实现 2026-08-29 20:11:16 +08:00
huangzd1997 67cf309345 progress 31 2026-08-29 20:04:26 +08:00
huangzd1997 6454c013fb task-31: 将任务快照改为轻量进度字段,避免每次写入完整结果 JSON 2026-08-29 20:04:22 +08:00
huangzd1997 62701fc567 progress 30 2026-08-29 19:52:14 +08:00
huangzd1997 63a0f9310d task-30: 为国家结果行建立稳定去重键,替换线性重复扫描 2026-08-29 19:52:08 +08:00
huangzd1997 9ed685ca0b progress 29 2026-08-29 19:36:34 +08:00
huangzd1997 ca8ddf1b56 task-29: 合并 scope 状态查询与更新,减少单 chunk 数据库往返
persistResultScope 复用接收前已加载的 scope,不再重复 selectOne ——
每个分片接收的 scope 查询从 2 次降为 1 次;空分片校验前移至任何
scope 查询之前,非法分片零数据库往返。任务级分布式锁保证预读 scope
在锁内不过期。
2026-08-29 19:36:30 +08:00