Commit Graph

63 Commits

Author SHA1 Message Date
huangzd1997 56b4bd87eb task-80: 补充 JVM 堆、直接内存、临时磁盘和连接池容量配置说明 2026-08-30 22:30:56 +08:00
huangzd1997 9f23d1d011 task-50: 结果明细批量 upsert 写入器与唯一键幂等
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item:一次批量查询现有行(payload_hash 相等即跳过),
分批发 INSERT ... ON DUPLICATE KEY UPDATE,替代逐行 select/insert/update;
旧格式逐行 payload 升级为引用时物理删除(引用计数兜底)。CollectDataService
submitResult 接入批量写入,移除逐行 upsertResultItem。
2026-08-30 15:32:55 +08:00
huangzd1997 6c3bab6c4b task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert,唯一键扩为 (data_value, brand) 2026-08-30 14:11:59 +08:00
huangzd1997 0fb25f9be2 task-47: 品牌检查结果任务内短期缓存,避免同品牌重复远程调用 2026-08-30 13:53:38 +08:00
huangzd1997 e4ace04562 task-46: 跳过空品牌批次的无效远程品牌检查请求
新增 CollectDataBrandBatchFilter 接管品牌检查批次切分与分类:空品牌
批次不发起 checkAll 远程调用(行直接归 rejected),远程抛错整组降级
queryFailed 可恢复。service 委托查询器只做计数与无效 ASIN 落库,语义
与旧 filterByBrandCheck 完全等价。8 个测试覆盖默认/批量/幂等/空输入/
单元素/超限/非法参数/依赖失败,全量回归 720 通过。
2026-08-30 13:40:03 +08:00
huangzd1997 77dbd01d84 task-42: 限制采集解析的文件大小、最大行数和单 chunk 行数
新增 CollectDataParseLimits 组件并在 CollectDataService 解析/回传路径
接入:源文件大小(默认 50MB)、累计解析行数(默认 50000)、单 chunk
回传行数(默认 5000)超限即拒绝,配置经 aiimage.collect-data.* 环境变量
可调、0/负值回退默认。8 个用例覆盖正常/批量/幂等/空/单元素/边界超限/
非法配置/失败后可恢复路径,mvn 全量测试通过。
2026-08-30 13:04:02 +08:00
huangzd1997 c9301b9250 OSS 结果文件下载分流:新增 aiimage.oss.download-endpoint 配置,result/ 前缀对象生成独立下载域名直链(默认未配置时回退原行为) 2026-08-26 13:37:11 +08:00
supernijia 62a3c1c6ec 更新任务存储、权限与货源查询流程 2026-08-22 21:23:01 +08:00
supernijia cf59e23f15 完善任务存储、权限及货源查询流程 2026-08-14 22:49:15 +08:00
supernijia 91cd02eeb4 后台更新 服务优化 2026-08-11 14:50:21 +08:00
supernijia 40f4fae272 新需求更新 同步更新 2026-08-06 01:11:54 +08:00
supernijia 28423e015b 处理数据量binlog问题 2026-07-28 15:49:41 +08:00
supernijia e453e822c0 菜单修改优化 2026-07-28 13:40:19 +08:00
supernijia 567aeaba5d 完成上架相关优化、oss迁移 2026-07-25 17:57:34 +08:00
super f189a5b4eb 添加新需求 2026-07-16 13:12:46 +08:00
super 3b63679b48 提交昨晚更新改动 2026-07-14 12:50:17 +08:00
super 32606559b4 完成视频部分的前后端 2026-07-11 19:42:42 +08:00
super ced59b5787 更新带货视频工作流接口和页面 2026-07-09 00:27:49 +08:00
super f3a25b5b16 后端优化修复问题 2026-06-18 18:53:16 +08:00
super faf89e85e8 新增数字人版本管理 2026-06-14 19:00:55 +08:00
super a90730336f 处理修复BUG 2026-06-14 16:48:20 +08:00
super 687b193645 新增内容,新增拉起软件层 2026-06-08 09:19:15 +08:00
super e540d8e765 feat: update task routing and coze handling 2026-06-03 17:14:50 +08:00
super 685e3d2e45 更新地址 更新后端 2026-05-29 22:53:44 +08:00
super 705ccf70a5 提交货源流程优化 2026-05-25 22:16:50 +08:00
super cbee1d4e23 提交货源图片和相似ASIN优化 2026-05-24 21:59:21 +08:00
super 56f805664f 提交最新的优化结果 2026-05-24 12:42:53 +08:00
super cbe1014117 提交登录修改 2026-05-23 18:32:45 +08:00
super 175144f729 更新这个货源 2026-05-22 09:41:31 +08:00
super 76695a31c6 提交一些更改 2026-05-20 09:05:28 +08:00
super a1d658885f 修改完善这个专利部分 2026-05-15 16:06:12 +08:00
super 13171f99bd 后台管理接口修复 后端BUG修复 2026-05-12 21:03:42 +08:00
super fb82d472f1 提交货源采集更新 2026-05-10 01:00:08 +08:00
super f6940d0bdf 更新处理相关内容 2026-05-09 00:20:52 +08:00
super 5fe1242cb1 提交更新 2026-05-06 00:01:49 +08:00
super 2fedcaecb8 处理一些合并冲突 2026-05-05 14:11:35 +08:00
super b274def6ba 异常记录检测修改 2026-05-04 19:04:55 +08:00
super af280928b0 修复商品风险多店铺问题 2026-04-30 21:31:11 +08:00
super fff3b6e889 优化后台业务 2026-04-30 11:36:58 +08:00
super ad8174cd5e 合并错误信息 2026-04-28 15:25:34 +08:00
super 44b28a8baf 增加rufts 2026-04-27 18:45:33 +08:00
super 7e1974a688 后端架构更新 2026-04-27 09:18:10 +08:00
super 54ee3f304e 完成后端架构重构等 2026-04-23 15:25:41 +08:00
super 0ce6034496 处理后台管理系统、修复BUG、处理权限 2026-04-22 01:09:28 +08:00
super 67ac3e62b1 完成匹配、跟价、权限部分 2026-04-17 12:52:16 +08:00
super e52ebe9c74 后台管理跳过asin、后台相关数据做数据隔离 2026-04-14 10:04:50 +08:00
super 04e29c1beb 修复BUG,完善匹配店铺 2026-04-11 00:57:34 +08:00
super 1843e5276e 匹配回收,bug修复 2026-04-10 19:33:58 +08:00
super 144d03965e 完善后台管理店铺搜索 2026-04-08 21:08:52 +08:00
super 2e30821e0f 修复接口内容缺失 2026-04-08 16:14:26 +08:00