huangzd1997
|
b7bac17a35
|
progress 57
|
2026-08-30 17:20:05 +08:00 |
|
huangzd1997
|
38319a33a2
|
task-57: 删除任务/历史时先删 DB 行再物理删对象,引用计数反查基于删除后状态,共享对象跳过删除、独占对象真正释放
|
2026-08-30 17:20:00 +08:00 |
|
huangzd1997
|
132586afc1
|
progress 56
|
2026-08-30 17:06:06 +08:00 |
|
huangzd1997
|
ce34ff9556
|
task-56: 采集结果 Excel 改为临时文件+原子落位,流式写入或落位失败时清理临时文件,目标路径不残留半成品
|
2026-08-30 17:05:56 +08:00 |
|
huangzd1997
|
90e9a29ed5
|
progress 55
|
2026-08-30 16:56:20 +08:00 |
|
huangzd1997
|
4700d999dc
|
task-55: 采集进度心跳改为节流/合并写,窗口内心跳只更新内存态不落库,窗口到期或任务结束路径强制持久化,避免高频 task UPDATE
|
2026-08-30 16:55:37 +08:00 |
|
huangzd1997
|
4bee76883f
|
progress 54
|
2026-08-30 16:41:09 +08:00 |
|
huangzd1997
|
8506cf9f7e
|
task-54: finalRowCount 改为任务内增量计数(upsert newlyInserted 累计),移除每 chunk 全表 COUNT(*)
|
2026-08-30 16:41:02 +08:00 |
|
huangzd1997
|
d71dab0dbf
|
progress 53
|
2026-08-30 16:30:39 +08:00 |
|
huangzd1997
|
01738f776a
|
店铺数据抓取累计文件改为店铺级共享,按国家覆盖更新
同店同日在不同账号下产生多份互不相干的累计文件(唯一键含 user_id),
后台管理页每店只显示最新一份,其他账号抓的国家看起来丢失。
- V95 迁移:加 shop_key/country_codes_json/compensation_done 列,按店铺
合并存量 daily_file 与成员行,唯一键改为 (shop_key, business_date)
- DailyFileService:findForUpdate/findOlder/acquireLock 去 user 维度,
店铺级锁跨账号串行
- TaskService:聚合按店铺定位;applyCountryCoverage 按国家覆盖(本次
回传的国家替换旧行,未更新的国家保留);启动补偿组件按成员快照重建
合并文件并回填国家列表
- 管理页:country_codes 改从 daily_file.country_codes_json 取,行数用
累计文件实际值
|
2026-08-30 16:30:09 +08:00 |
|
huangzd1997
|
101c72d0c5
|
task-53: 采集结果 Excel 生成按 rawRows/finalRows 分段生命周期,rawRows 惰性加载避免同时驻留内存
|
2026-08-30 16:29:48 +08:00 |
|
huangzd1997
|
fed4886aec
|
progress 52
|
2026-08-30 16:00:37 +08:00 |
|
huangzd1997
|
9324811891
|
task-52: 生成结果文件按 chunk 一次读取
CollectDataResultDetailReader 从 biz_task_result_item 解析行:引用格式
按 pointer 缓存整 chunk 明细(同一 chunk 对象只 resolve 一次),再按
offset 取行;旧格式逐行兜底。CollectDataService.loadFinalRows 接入
reader,移除内联逐行读取循环与 detailCache。
|
2026-08-30 16:00:32 +08:00 |
|
huangzd1997
|
4597549917
|
progress 51
|
2026-08-30 15:39:42 +08:00 |
|
huangzd1997
|
0ed78220d7
|
task-51: accepted 行序列化与 hash 批量生成
CollectDataResultDetailCodec.encodeRefsWithHash 一次迭代为整 chunk 生成
全部行引用 JSON 及其 SHA-256(offset 从 startOffset 递增),带
MAX_REFS_PER_BATCH 上限与参数校验;CollectDataResultItemBatchWriter
接入批量生成,删除逐行 encodeRef+hash 循环,同 chunk 重提结果逐字节一致。
|
2026-08-30 15:39:38 +08:00 |
|
huangzd1997
|
2600af123d
|
progress 50
|
2026-08-30 15:33:01 +08:00 |
|
huangzd1997
|
9f23d1d011
|
task-50: 结果明细批量 upsert 写入器与唯一键幂等
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item:一次批量查询现有行(payload_hash 相等即跳过),
分批发 INSERT ... ON DUPLICATE KEY UPDATE,替代逐行 select/insert/update;
旧格式逐行 payload 升级为引用时物理删除(引用计数兜底)。CollectDataService
submitResult 接入批量写入,移除逐行 upsertResultItem。
|
2026-08-30 15:32:55 +08:00 |
|
huangzd1997
|
7058c7da5b
|
progress 49
|
2026-08-30 14:31:08 +08:00 |
|
huangzd1997
|
8491918d17
|
task-49: 结果明细从逐行 RustFS 对象改为 chunk 级 payload 存储,引用 JSON 兼容旧格式
|
2026-08-30 14:31:04 +08:00 |
|
huangzd1997
|
3b5b25468a
|
progress 48
|
2026-08-30 14:15:37 +08:00 |
|
huangzd1997
|
342c3792af
|
fix: 品牌检查过滤器多构造器显式 @Autowired,供 Spring bean 解析
|
2026-08-30 14:12:19 +08:00 |
|
huangzd1997
|
6c3bab6c4b
|
task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert,唯一键扩为 (data_value, brand)
|
2026-08-30 14:11:59 +08:00 |
|
huangzd1997
|
2ee9532f13
|
progress 47
|
2026-08-30 13:54:03 +08:00 |
|
huangzd1997
|
0fb25f9be2
|
task-47: 品牌检查结果任务内短期缓存,避免同品牌重复远程调用
|
2026-08-30 13:53:38 +08:00 |
|
huangzd1997
|
e9a8d71690
|
progress 46
|
2026-08-30 13:40:09 +08:00 |
|
huangzd1997
|
e4ace04562
|
task-46: 跳过空品牌批次的无效远程品牌检查请求
新增 CollectDataBrandBatchFilter 接管品牌检查批次切分与分类:空品牌
批次不发起 checkAll 远程调用(行直接归 rejected),远程抛错整组降级
queryFailed 可恢复。service 委托查询器只做计数与无效 ASIN 落库,语义
与旧 filterByBrandCheck 完全等价。8 个测试覆盖默认/批量/幂等/空输入/
单元素/超限/非法参数/依赖失败,全量回归 720 通过。
|
2026-08-30 13:40:03 +08:00 |
|
huangzd1997
|
1e43f973e8
|
progress 45
|
2026-08-30 13:31:58 +08:00 |
|
huangzd1997
|
618e43df93
|
task-45: ASIN 去重与无效品牌查询统一为批量集合查询
新增 CollectDataBatchQuery 把 dedupe 表查询与 invalid_asin 表查询
合并为两次批量集合查询,输出与旧两段式语义等价,并返回两类过滤计数
由 service 维护 stats。8 个测试覆盖默认/批量/幂等/空输入/单元素/
超限/非法参数/依赖失败,全量回归 712 通过。
|
2026-08-30 13:31:52 +08:00 |
|
huangzd1997
|
407e3524e5
|
progress 44
|
2026-08-30 13:20:04 +08:00 |
|
huangzd1997
|
57e4c83dcc
|
task-44: collectdata extra JSON 批量预序列化与内容去重
persistParsedTask 逐行调用 ObjectMapper 序列化 extra 是热点;新增
CollectDataExtraJsonCodec 批量预序列化,相同 extra 只序列化一次,
输出与逐行语义完全一致,失败行降级 {}。8 个测试覆盖去重/幂等/
空输入/单元素/容量淘汰/非法输入/序列化失败,全量回归 704 通过。
|
2026-08-30 13:19:15 +08:00 |
|
huangzd1997
|
6c475f8b3b
|
progress 43
|
2026-08-30 13:08:18 +08:00 |
|
huangzd1997
|
27b2ae99fe
|
task-43: 采集源文件查找改为确定路径/索引查询
LocalFileStorageService 新增 fileKey→文件名 有界索引(LinkedHashMap LRU,
上限 1024 淘汰最旧):saveTempFile 登记,findLocalSourceFile 优先按索引
直接构造确定路径,索引过期/进程重启时兜底枚举根层目录,结果与索引一致;
key 与索引名均校验单段字符集,防止路径穿越与索引污染。8 个用例覆盖
正常/批量/幂等/空/单元素/索引容量超限/非法输入/清理与重启降级,
mvn 全量测试通过。
|
2026-08-30 13:08:13 +08:00 |
|
huangzd1997
|
d5a0f7d8ef
|
progress 42
|
2026-08-30 13:04:08 +08:00 |
|
huangzd1997
|
77dbd01d84
|
task-42: 限制采集解析的文件大小、最大行数和单 chunk 行数
新增 CollectDataParseLimits 组件并在 CollectDataService 解析/回传路径
接入:源文件大小(默认 50MB)、累计解析行数(默认 50000)、单 chunk
回传行数(默认 5000)超限即拒绝,配置经 aiimage.collect-data.* 环境变量
可调、0/负值回退默认。8 个用例覆盖正常/批量/幂等/空/单元素/边界超限/
非法配置/失败后可恢复路径,mvn 全量测试通过。
|
2026-08-30 13:04:02 +08:00 |
|
huangzd1997
|
e992bd4f98
|
progress 41
|
2026-08-30 12:58:31 +08:00 |
|
huangzd1997
|
9681e2c58e
|
task-41: 建立 Collect Data 性能基线夹具(1k/10k 行、多 chunk、品牌检测)
新增 CollectDataPerfFixture:确定性生成 1k/10k 行、多关键词多 chunk 与
品牌检测场景(成功/失败/查询失败/空 ASIN)行集合并采样 payload 字节与
chunk 划分;同一输入重复生成结果一致(幂等),行数/计数/关键词均有上限
校验。8 个用例覆盖正常/批量/幂等/空/单元素/超限/非法输入/序列化失败
降级路径,mvn 全量 681 测试通过。
|
2026-08-30 12:58:26 +08:00 |
|
huangzd1997
|
b29a8d7289
|
progress 40
|
2026-08-30 12:53:41 +08:00 |
|
huangzd1997
|
891d0669e1
|
task-40: 完成店铺抓取压测探针与资源比较
新增 ShopDataCrawlLoadTestProbe:并发多轮执行"生成-采样-回传-上传-锁"
流水线,产出内存峰值、耗时、DB QPS、对象存储流量与锁等待五类可比较
指标;行数/线程/轮数均有上限,注入 OSS 上传与锁获取失败验证依赖降级
可恢复且计数不残留。8 个用例覆盖正常/批量/幂等/空/单元素/超限/非法
输入/依赖失败路径,mvn 全量 672 测试通过。
|
2026-08-30 12:53:36 +08:00 |
|
huangzd1997
|
e728cfa2fa
|
progress 39
|
2026-08-30 12:40:15 +08:00 |
|
huangzd1997
|
3a52db34bc
|
task-39: 补充删除/超时/重复回传/累计文件失败的资源清理测试
新增 ShopDataCrawlCleanupTest 11 个用例覆盖:单条/批量/空输入删除路径的
临时文件与累计对象回收、陈旧 RUNNING 任务超时终态化、分片重复回传的
payload 释放与终态拒绝、累计文件 CAS 冲突重试时上传对象回滚。
同时撤销上一提交误引入的按国家覆盖语义:rowsByCountry 恢复同国累积
(addAll),移除与之矛盾的 writeWorkbookLatestMemberWinsPerCountryOthersPreserved
测试,修复 task-22~26 批量合并回归(行数被覆盖削减)。
|
2026-08-30 12:16:39 +08:00 |
|
huangzd1997
|
8cb89d78b8
|
task-39: 店铺 Excel 按国家增量更新,未提交国家保留旧数据
rowsByCountry 由同国行累加改为覆盖语义:按成员顺序累积,
后面的结果覆盖前面同名国家的行(最新任务胜出),本次未提交的
国家从旧累计对象/成员累积中保留,不再被清空。
新增回归测试:两个成员快照(英德法 + 仅德国新行)写入 workbook 后,
英国/法国保留旧行、德国被新任务覆盖、未提交国家保持空表。
|
2026-08-29 23:46:22 +08:00 |
|
huangzd1997
|
4144eedbad
|
progress 38
|
2026-08-29 23:12:06 +08:00 |
|
huangzd1997
|
e10c56300f
|
task-38
|
2026-08-29 23:11:59 +08:00 |
|
huangzd1997
|
2ba057a61b
|
progress 37
|
2026-08-29 22:36:15 +08:00 |
|
huangzd1997
|
0b7adc84bd
|
task-37
|
2026-08-29 22:36:11 +08:00 |
|
huangzd1997
|
e3d08dcb23
|
progress 36
|
2026-08-29 22:05:36 +08:00 |
|
huangzd1997
|
4c8ac08b08
|
task-36
|
2026-08-29 22:05:30 +08:00 |
|
huangzd1997
|
a4c4373ef2
|
progress 35
|
2026-08-29 21:28:32 +08:00 |
|
huangzd1997
|
de19a621aa
|
task-35
|
2026-08-29 21:28:28 +08:00 |
|
huangzd1997
|
0c6a3af171
|
progress 34
|
2026-08-29 20:44:25 +08:00 |
|