huangzd1997
|
0d99baea04
|
task-46: 跳过空品牌批次的无效远程品牌检查请求
新增 CollectDataBrandBatchFilter 接管品牌检查批次切分与分类:空品牌
批次不发起 checkAll 远程调用(行直接归 rejected),远程抛错整组降级
queryFailed 可恢复。service 委托查询器只做计数与无效 ASIN 落库,语义
与旧 filterByBrandCheck 完全等价。8 个测试覆盖默认/批量/幂等/空输入/
单元素/超限/非法参数/依赖失败,全量回归 720 通过。
|
2026-08-30 13:40:03 +08:00 |
|
huangzd1997
|
7110d1086b
|
task-45: ASIN 去重与无效品牌查询统一为批量集合查询
新增 CollectDataBatchQuery 把 dedupe 表查询与 invalid_asin 表查询
合并为两次批量集合查询,输出与旧两段式语义等价,并返回两类过滤计数
由 service 维护 stats。8 个测试覆盖默认/批量/幂等/空输入/单元素/
超限/非法参数/依赖失败,全量回归 712 通过。
|
2026-08-30 13:31:52 +08:00 |
|
huangzd1997
|
639e8b989e
|
task-44: collectdata extra JSON 批量预序列化与内容去重
persistParsedTask 逐行调用 ObjectMapper 序列化 extra 是热点;新增
CollectDataExtraJsonCodec 批量预序列化,相同 extra 只序列化一次,
输出与逐行语义完全一致,失败行降级 {}。8 个测试覆盖去重/幂等/
空输入/单元素/容量淘汰/非法输入/序列化失败,全量回归 704 通过。
|
2026-08-30 13:19:15 +08:00 |
|
huangzd1997
|
fec89b6b7b
|
task-42: 限制采集解析的文件大小、最大行数和单 chunk 行数
新增 CollectDataParseLimits 组件并在 CollectDataService 解析/回传路径
接入:源文件大小(默认 50MB)、累计解析行数(默认 50000)、单 chunk
回传行数(默认 5000)超限即拒绝,配置经 aiimage.collect-data.* 环境变量
可调、0/负值回退默认。8 个用例覆盖正常/批量/幂等/空/单元素/边界超限/
非法配置/失败后可恢复路径,mvn 全量测试通过。
|
2026-08-30 13:04:02 +08:00 |
|
huangzd1997
|
33d0f02c55
|
task-41: 建立 Collect Data 性能基线夹具(1k/10k 行、多 chunk、品牌检测)
新增 CollectDataPerfFixture:确定性生成 1k/10k 行、多关键词多 chunk 与
品牌检测场景(成功/失败/查询失败/空 ASIN)行集合并采样 payload 字节与
chunk 划分;同一输入重复生成结果一致(幂等),行数/计数/关键词均有上限
校验。8 个用例覆盖正常/批量/幂等/空/单元素/超限/非法输入/序列化失败
降级路径,mvn 全量 681 测试通过。
|
2026-08-30 12:58:26 +08:00 |
|
huangzd1997
|
75f23d4568
|
统一结果文件下载 URL 生成:历史记录/上传回包等漏网点改用 generateFreshDownloadUrl,result/ 前缀对象走 download 域名
Build Backend JAR / build (push) Has been cancelled
|
2026-08-26 03:58:29 -04:00 |
|
supernijia
|
38216a1885
|
处理后台新需求
Build Backend JAR / build (push) Failing after 16m58s
|
2026-08-09 20:08:39 +08:00 |
|
supernijia
|
28e7fce11c
|
新需求更新 同步更新
|
2026-08-06 01:11:54 +08:00 |
|
super
|
cbde22ec79
|
视频任务管理更新
|
2026-07-19 22:23:26 +08:00 |
|
super
|
8672668c33
|
处理下载为公共模块
|
2026-06-12 13:40:29 +08:00 |
|
super
|
c9efdf8b0e
|
修复菜单消失
|
2026-06-10 17:52:58 +08:00 |
|
super
|
c3d43aa26a
|
更新新需求-采集
|
2026-06-09 21:07:50 +08:00 |
|
super
|
eeb27e21ed
|
删除本地APP项目
|
2026-06-08 11:49:46 +08:00 |
|
super
|
8ab647c419
|
提交更改
|
2026-06-05 21:25:03 +08:00 |
|
super
|
225d13fb6e
|
提交优化更新
|
2026-05-29 16:49:18 +08:00 |
|
super
|
2ed1250604
|
增加公共下载进度、增加接收SKU、密钥分别存放
|
2026-05-28 16:41:20 +08:00 |
|