Commit Graph

142 Commits

Author SHA1 Message Date
huangzd1997 ad8c32f190 fix: Spring 多构造器类显式 @Autowired 标注 + V95 迁移兼容 MySQL 8.4
- CapacityPlanService / ExternalCallMetricsRecorder / ZiniaoClientImpl:
  双构造器(生产 + 测试入口)导致 Spring 6 不自动推断构造器注入,
  启动报 'No default constructor found';生产构造器显式加 @Autowired
- V95:shop_key 列 V85 建表时已有,原 ADD COLUMN shop_key 会报
  duplicate column;MySQL 8.4 不支持 ADD COLUMN IF NOT EXISTS,改
  information_schema 动态 SQL;shop_key 缩到 VARCHAR(255) 以容纳
  (shop_key, business_date) 唯一键(1000 在 utf8mb4 下超 3072 字节
  索引上限);删除多余行改为单表 DELETE
2026-08-31 01:09:19 +08:00
huangzd1997 56b4bd87eb task-80: 补充 JVM 堆、直接内存、临时磁盘和连接池容量配置说明 2026-08-30 22:30:56 +08:00
huangzd1997 b2ed4cc93f task-76: JSON owner 查询迁移到显式列并补充任务/状态复合索引 2026-08-30 20:51:07 +08:00
huangzd1997 01738f776a 店铺数据抓取累计文件改为店铺级共享,按国家覆盖更新
同店同日在不同账号下产生多份互不相干的累计文件(唯一键含 user_id),
后台管理页每店只显示最新一份,其他账号抓的国家看起来丢失。

- V95 迁移:加 shop_key/country_codes_json/compensation_done 列,按店铺
  合并存量 daily_file 与成员行,唯一键改为 (shop_key, business_date)
- DailyFileService:findForUpdate/findOlder/acquireLock 去 user 维度,
  店铺级锁跨账号串行
- TaskService:聚合按店铺定位;applyCountryCoverage 按国家覆盖(本次
  回传的国家替换旧行,未更新的国家保留);启动补偿组件按成员快照重建
  合并文件并回填国家列表
- 管理页:country_codes 改从 daily_file.country_codes_json 取,行数用
  累计文件实际值
2026-08-30 16:30:09 +08:00
huangzd1997 9f23d1d011 task-50: 结果明细批量 upsert 写入器与唯一键幂等
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item:一次批量查询现有行(payload_hash 相等即跳过),
分批发 INSERT ... ON DUPLICATE KEY UPDATE,替代逐行 select/insert/update;
旧格式逐行 payload 升级为引用时物理删除(引用计数兜底)。CollectDataService
submitResult 接入批量写入,移除逐行 upsertResultItem。
2026-08-30 15:32:55 +08:00
huangzd1997 6c3bab6c4b task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert,唯一键扩为 (data_value, brand) 2026-08-30 14:11:59 +08:00
huangzd1997 0fb25f9be2 task-47: 品牌检查结果任务内短期缓存,避免同品牌重复远程调用 2026-08-30 13:53:38 +08:00
huangzd1997 e4ace04562 task-46: 跳过空品牌批次的无效远程品牌检查请求
新增 CollectDataBrandBatchFilter 接管品牌检查批次切分与分类:空品牌
批次不发起 checkAll 远程调用(行直接归 rejected),远程抛错整组降级
queryFailed 可恢复。service 委托查询器只做计数与无效 ASIN 落库,语义
与旧 filterByBrandCheck 完全等价。8 个测试覆盖默认/批量/幂等/空输入/
单元素/超限/非法参数/依赖失败,全量回归 720 通过。
2026-08-30 13:40:03 +08:00
huangzd1997 77dbd01d84 task-42: 限制采集解析的文件大小、最大行数和单 chunk 行数
新增 CollectDataParseLimits 组件并在 CollectDataService 解析/回传路径
接入:源文件大小(默认 50MB)、累计解析行数(默认 50000)、单 chunk
回传行数(默认 5000)超限即拒绝,配置经 aiimage.collect-data.* 环境变量
可调、0/负值回退默认。8 个用例覆盖正常/批量/幂等/空/单元素/边界超限/
非法配置/失败后可恢复路径,mvn 全量测试通过。
2026-08-30 13:04:02 +08:00
huangzd1997 de19a621aa task-35 2026-08-29 21:28:28 +08:00
huangzd1997 1c58a182de task-34: 将 ownerInstanceId 从 JSON 查询迁移到显式列并补充索引 2026-08-29 20:44:21 +08:00
huangzd1997 c9301b9250 OSS 结果文件下载分流:新增 aiimage.oss.download-endpoint 配置,result/ 前缀对象生成独立下载域名直链(默认未配置时回退原行为) 2026-08-26 13:37:11 +08:00
huangzd1997 9df0747ca2 Redis 改为哨兵模式,双节点接入 A/B 机哨兵集群(mymaster) 2026-08-25 15:33:50 +08:00
huangzd1997 a78de21125 移除 2026-08-24 00:08:13 +08:00
huangzd1997 a47fe87730 去重总数据国家限定五国并优化筛选布局
- 国家仅保留德国/英国/法国/意大利/西班牙,移除美国及US映射
- 保留服务器已有 V90 迁移,新增 V91 添加 country 列及索引
- ASIN列表筛选区改为两行布局:查询条件+按钮在上,日期+导出在下
2026-08-24 00:03:28 +08:00
huangzd1997 3f767059f9 后台去重数据新增国家 2026-08-23 22:50:58 +08:00
supernijia 62a3c1c6ec 更新任务存储、权限与货源查询流程 2026-08-22 21:23:01 +08:00
supernijia cf59e23f15 完善任务存储、权限及货源查询流程 2026-08-14 22:49:15 +08:00
supernijia 91cd02eeb4 后台更新 服务优化 2026-08-11 14:50:21 +08:00
supernijia 641c70d451 处理后台新需求 2026-08-09 20:08:39 +08:00
supernijia 40f4fae272 新需求更新 同步更新 2026-08-06 01:11:54 +08:00
supernijia 28423e015b 处理数据量binlog问题 2026-07-28 15:49:41 +08:00
supernijia e453e822c0 菜单修改优化 2026-07-28 13:40:19 +08:00
supernijia 567aeaba5d 完成上架相关优化、oss迁移 2026-07-25 17:57:34 +08:00
supernijia a9bfb8ac6d 上架需求增加 2026-07-25 09:58:29 +08:00
super 48e3c330ee 后端优化,增加新需求 2026-07-21 19:53:47 +08:00
super 05e674858a 更新ASIN库新需求 2026-07-20 20:12:38 +08:00
super 5e12e7ea52 视频任务管理更新 2026-07-19 22:23:26 +08:00
super f189a5b4eb 添加新需求 2026-07-16 13:12:46 +08:00
super 3b63679b48 提交昨晚更新改动 2026-07-14 12:50:17 +08:00
super 32606559b4 完成视频部分的前后端 2026-07-11 19:42:42 +08:00
super ced59b5787 更新带货视频工作流接口和页面 2026-07-09 00:27:49 +08:00
super f3a25b5b16 后端优化修复问题 2026-06-18 18:53:16 +08:00
super dbc3b7f7f0 修复图片下载问题 2026-06-16 22:19:55 +08:00
super faf89e85e8 新增数字人版本管理 2026-06-14 19:00:55 +08:00
super a90730336f 处理修复BUG 2026-06-14 16:48:20 +08:00
super 2573844f92 更新新需求-采集 2026-06-09 21:07:50 +08:00
super 687b193645 新增内容,新增拉起软件层 2026-06-08 09:19:15 +08:00
super e540d8e765 feat: update task routing and coze handling 2026-06-03 17:14:50 +08:00
super 685e3d2e45 更新地址 更新后端 2026-05-29 22:53:44 +08:00
super e9b98908bb 提交优化更新 2026-05-29 16:49:18 +08:00
super 7ac6cbf5b0 增加公共下载进度、增加接收SKU、密钥分别存放 2026-05-28 16:41:20 +08:00
super 705ccf70a5 提交货源流程优化 2026-05-25 22:16:50 +08:00
super cbee1d4e23 提交货源图片和相似ASIN优化 2026-05-24 21:59:21 +08:00
super 56f805664f 提交最新的优化结果 2026-05-24 12:42:53 +08:00
super cbe1014117 提交登录修改 2026-05-23 18:32:45 +08:00
super 175144f729 更新这个货源 2026-05-22 09:41:31 +08:00
super 76695a31c6 提交一些更改 2026-05-20 09:05:28 +08:00
super a1d658885f 修改完善这个专利部分 2026-05-15 16:06:12 +08:00
super 13171f99bd 后台管理接口修复 后端BUG修复 2026-05-12 21:03:42 +08:00