Commit Graph

88 Commits

Author SHA1 Message Date
huangzd1997 1127e9c8bb task-50: 结果明细批量 upsert 写入器与唯一键幂等
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item:一次批量查询现有行(payload_hash 相等即跳过),
分批发 INSERT ... ON DUPLICATE KEY UPDATE,替代逐行 select/insert/update;
旧格式逐行 payload 升级为引用时物理删除(引用计数兜底)。CollectDataService
submitResult 接入批量写入,移除逐行 upsertResultItem。
2026-08-30 15:32:55 +08:00
huangzd1997 98c45486fa task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert,唯一键扩为 (data_value, brand) 2026-08-30 14:11:59 +08:00
huangzd1997 b92d3e688d task-47: 品牌检查结果任务内短期缓存,避免同品牌重复远程调用 2026-08-30 13:53:38 +08:00
huangzd1997 0d99baea04 task-46: 跳过空品牌批次的无效远程品牌检查请求
新增 CollectDataBrandBatchFilter 接管品牌检查批次切分与分类:空品牌
批次不发起 checkAll 远程调用(行直接归 rejected),远程抛错整组降级
queryFailed 可恢复。service 委托查询器只做计数与无效 ASIN 落库,语义
与旧 filterByBrandCheck 完全等价。8 个测试覆盖默认/批量/幂等/空输入/
单元素/超限/非法参数/依赖失败,全量回归 720 通过。
2026-08-30 13:40:03 +08:00
huangzd1997 fec89b6b7b task-42: 限制采集解析的文件大小、最大行数和单 chunk 行数
新增 CollectDataParseLimits 组件并在 CollectDataService 解析/回传路径
接入:源文件大小(默认 50MB)、累计解析行数(默认 50000)、单 chunk
回传行数(默认 5000)超限即拒绝,配置经 aiimage.collect-data.* 环境变量
可调、0/负值回退默认。8 个用例覆盖正常/批量/幂等/空/单元素/边界超限/
非法配置/失败后可恢复路径,mvn 全量测试通过。
2026-08-30 13:04:02 +08:00
huangzd1997 2f89f795f6 task-35 2026-08-29 21:28:28 +08:00
huangzd1997 11e19ef4f1 task-34: 将 ownerInstanceId 从 JSON 查询迁移到显式列并补充索引 2026-08-29 20:44:21 +08:00
huangzd1997 18db20099a OSS 结果文件下载分流:新增 aiimage.oss.download-endpoint 配置,result/ 前缀对象生成独立下载域名直链(默认未配置时回退原行为)
Build Backend JAR / build (push) Has been cancelled
2026-08-26 13:37:11 +08:00
huangzd1997 c8fb93ff29 Redis 改为哨兵模式,双节点接入 A/B 机哨兵集群(mymaster)
Build Backend JAR / build (push) Has been cancelled
2026-08-25 15:33:50 +08:00
huangzd1997 bc8870f957 移除
Build Backend JAR / build (push) Has been cancelled
2026-08-24 00:08:13 +08:00
huangzd1997 a659132469 去重总数据国家限定五国并优化筛选布局
- 国家仅保留德国/英国/法国/意大利/西班牙,移除美国及US映射
- 保留服务器已有 V90 迁移,新增 V91 添加 country 列及索引
- ASIN列表筛选区改为两行布局:查询条件+按钮在上,日期+导出在下
2026-08-24 00:03:28 +08:00
huangzd1997 8712df2645 后台去重数据新增国家 2026-08-23 22:50:58 +08:00
supernijia 159d52194c 更新任务存储、权限与货源查询流程
Build Backend JAR / build (push) Has been cancelled
2026-08-22 21:23:01 +08:00
supernijia 7a7f1dfa21 完善任务存储、权限及货源查询流程
Build Backend JAR / build (push) Has been cancelled
2026-08-14 22:49:15 +08:00
supernijia 5b1ccad40e 后台更新 服务优化
Build Backend JAR / build (push) Failing after 16m54s
2026-08-11 14:50:21 +08:00
supernijia 38216a1885 处理后台新需求
Build Backend JAR / build (push) Failing after 16m58s
2026-08-09 20:08:39 +08:00
supernijia 28e7fce11c 新需求更新 同步更新 2026-08-06 01:11:54 +08:00
supernijia 9048bbb7f8 处理数据量binlog问题 2026-07-28 15:49:41 +08:00
supernijia 7c3c9e53a0 菜单修改优化 2026-07-28 13:40:19 +08:00
supernijia 4ddb8b47b0 完成上架相关优化、oss迁移 2026-07-25 17:57:34 +08:00
supernijia 8ab36b1aaf 上架需求增加 2026-07-25 09:58:29 +08:00
super bca1335dc6 后端优化,增加新需求 2026-07-21 19:53:47 +08:00
super ba48bbc6af 更新ASIN库新需求 2026-07-20 20:12:38 +08:00
super cbde22ec79 视频任务管理更新 2026-07-19 22:23:26 +08:00
super 69784b8d32 添加新需求 2026-07-16 13:12:46 +08:00
super 8a9126e626 提交昨晚更新改动 2026-07-14 12:50:17 +08:00
super d8ca8de537 完成视频部分的前后端 2026-07-11 19:42:42 +08:00
super aab4ce942c 更新带货视频工作流接口和页面 2026-07-09 00:27:49 +08:00
super 0ecf5cd45a 后端优化修复问题 2026-06-18 18:53:16 +08:00
super 021b0c618b 修复图片下载问题 2026-06-16 22:19:55 +08:00
super f44110fae5 新增数字人版本管理 2026-06-14 19:00:55 +08:00
super ac19637ad6 处理修复BUG 2026-06-14 16:48:20 +08:00
super c3d43aa26a 更新新需求-采集 2026-06-09 21:07:50 +08:00
super c85e5b278f 新增内容,新增拉起软件层 2026-06-08 09:19:15 +08:00
super e98a1a1207 feat: update task routing and coze handling 2026-06-03 17:14:50 +08:00
super 9835831415 更新地址 更新后端 2026-05-29 22:53:44 +08:00
super 225d13fb6e 提交优化更新 2026-05-29 16:49:18 +08:00
super 2ed1250604 增加公共下载进度、增加接收SKU、密钥分别存放 2026-05-28 16:41:20 +08:00
super 73ac9187a6 提交货源流程优化 2026-05-25 22:16:50 +08:00
super 7503e3fa8b 提交货源图片和相似ASIN优化 2026-05-24 21:59:21 +08:00
super 532438faba 提交最新的优化结果 2026-05-24 12:42:53 +08:00
super 1e087c1aae 提交登录修改 2026-05-23 18:32:45 +08:00
super 70e902e7ea 更新这个货源 2026-05-22 09:41:31 +08:00
super 73d25fcbcb 提交一些更改 2026-05-20 09:05:28 +08:00
super 14db1e0cb1 修改完善这个专利部分 2026-05-15 16:06:12 +08:00
super 0d78d63437 后台管理接口修复 后端BUG修复 2026-05-12 21:03:42 +08:00
super 5c990e651e 提交货源采集更新 2026-05-10 01:00:08 +08:00
super a4e4745921 更新处理相关内容 2026-05-09 00:20:52 +08:00
super 8cd1a4e2b1 更新外观模块 2026-05-06 22:41:26 +08:00
super a00ff1804c 提交更新 2026-05-06 00:01:49 +08:00