huangzd1997
|
fdad48cc4c
|
task-4: 解析接口只返回固定数量预览行,完整行仅保存在后端任务载荷
parseAndCreateTask 响应 items/groups 改为 buildResponsePreviewRows/Groups 裁剪
到 PARSE_RESPONSE_PREVIEW_LIMIT(100) 行:大文件(5000行)响应体不再携带全量行,
前端/队列只依赖统计字段与 taskId,Python 通过 parsed-payload 接口拉全量。
groups 预览副本保留 itemCount 与行级字段,字段完整且顺序稳定。
8 个测试覆盖 150/5000/1/100/101 行、空文件、非法输入、存储失败恢复与临时文件清理。
|
2026-08-29 14:43:08 +08:00 |
|
huangzd1997
|
4f6da25d4c
|
task-3: 统一解析载荷全量行恢复逻辑,新旧结构均可恢复
新增 SimilarAsinTaskService.resolveAllRows(payload):优先 items(新规范结构)、
其次 allItems(旧结构)、最后 groups 展开(最旧结构),并收敛 rowCount/
loadAllRowsByBaseId/hydrateParsedPayloadRows/两条 assemble 路径的重复 fallback 链。
旧 payload(含 allItems 或仅 groups)仍可恢复全量行,行数、顺序不丢失。
9 个测试覆盖默认/批量/幂等/空/单行/超限/新旧 JSON 反序列化/组展开顺序。
|
2026-08-29 14:36:15 +08:00 |
|
huangzd1997
|
584826d1bd
|
task-2: 解析载荷改为单一规范行集合,消除 allItems 重复序列化
SimilarAsinParsedPayloadDto.allItems 标记 @JsonInclude(NON_EMPTY) 并仅作反序列化
兼容字段(新写入不再输出);buildParsedPayloadJson 只写 items 一份全量行,
消除每任务双倍行序列化的内存与 payload 体积。读取侧 getAllItems() 消费点保留
以兼容旧载荷(task-3 再统一收敛)。9 个测试覆盖默认/批量/幂等/空/单行/超限/
旧格式吸收/依赖失败恢复。
|
2026-08-29 14:32:11 +08:00 |
|
huangzd1997
|
9b169d1192
|
task-1: 建立 Similar ASIN 性能基线夹具 (1000/5000行、图片开关、chunk与payload采样)
新增 SimilarAsinPerfFixture 确定性夹具:按 sourceFileKey+rowIndex 派生字段,
支持 0/1/1000/5000 行、图片开关两种模式、chunk 划分与 payload 字节采样;
空输入返回空、超限(>5000行/非法chunk/空key)抛 IllegalArgumentException。
含 10 个测试覆盖默认路径/批量/幂等/边界/非法输入/依赖失败恢复。
|
2026-08-29 14:22:07 +08:00 |
|
huangzd1997
|
926f07345c
|
修复店铺任务数据覆盖bug
|
2026-08-29 00:16:47 +08:00 |
|
huangzd1997
|
24eca96864
|
采集数据进度条改为按关键词计算:processedRows/totalRows,标签改为关键词进度
|
2026-08-28 11:43:51 +08:00 |
|
huangzd1997
|
a6ee68a430
|
品牌页前端工具菜单新增「ASIN变体采集」入口
|
2026-08-27 05:10:51 -04:00 |
|
huangzd1997
|
69f0695a70
|
后台用户管理菜单权限目录:加载增加自动重试与失败提示/重新加载,创建编辑失败时自动恢复
|
2026-08-27 05:09:40 -04:00 |
|
huangzd1997
|
6e9988fd2c
|
统一结果文件下载 URL 生成:历史记录/上传回包等漏网点改用 generateFreshDownloadUrl,result/ 前缀对象走 download 域名
|
2026-08-26 03:58:29 -04:00 |
|
huangzd1997
|
c9301b9250
|
OSS 结果文件下载分流:新增 aiimage.oss.download-endpoint 配置,result/ 前缀对象生成独立下载域名直链(默认未配置时回退原行为)
|
2026-08-26 13:37:11 +08:00 |
|
huangzd1997
|
523ffa1949
|
去重导出列固定顺序为 id/ASIN/国家/价格/品牌;QueryAsin 按店铺加载数据并修正前端回退逻辑
|
2026-08-25 22:38:38 +08:00 |
|
huangzd1997
|
8a9b5beed8
|
品牌去重默认勾选列调整为 id/ASIN/国家/价格/品牌
|
2026-08-25 22:05:35 +08:00 |
|
huangzd1997
|
60e97c330b
|
品牌去重默认勾选列调整为 ASIN/国家/价格/SKU ID/品牌
|
2026-08-25 22:00:33 +08:00 |
|
huangzd1997
|
48ec6b47ff
|
修复:JWT 密钥未配置时使用内置默认密钥,与桌面客户端保持一致
|
2026-08-25 22:00:30 +08:00 |
|
huangzd1997
|
d08280f3e8
|
性能优化:N+1查询改批量、串行远程调用并发化、紫鸟索引巡检批量回写
|
2026-08-25 19:42:43 +08:00 |
|
huangzd1997
|
a0d83d9e8f
|
安全加固:CORS白名单、JWT密钥自动生成、SSRF防护、路径遍历与错误信息泄露修复
|
2026-08-25 18:05:28 +08:00 |
|
huangzd1997
|
9df0747ca2
|
Redis 改为哨兵模式,双节点接入 A/B 机哨兵集群(mymaster)
|
2026-08-25 15:33:50 +08:00 |
|
huangzd1997
|
06fc706f5f
|
还原ASIN变体采集入口,仅保留变体分析移除
|
2026-08-24 23:21:53 +08:00 |
|
huangzd1997
|
780616d10e
|
导航变体分析改为ASIN变体采集入口,修复AiAssetDropzone类型
|
2026-08-24 23:20:54 +08:00 |
|
huangzd1997
|
75cf6f45a3
|
移除品牌页导航栏的变体分析入口
|
2026-08-24 22:48:03 +08:00 |
|
huangzd1997
|
2e511880cc
|
数据去重默认勾选列增加品牌/SKU ID/发货类型
|
2026-08-24 20:13:14 +08:00 |
|
huangzd1997
|
a78de21125
|
移除
|
2026-08-24 00:08:13 +08:00 |
|
huangzd1997
|
a47fe87730
|
去重总数据国家限定五国并优化筛选布局
- 国家仅保留德国/英国/法国/意大利/西班牙,移除美国及US映射
- 保留服务器已有 V90 迁移,新增 V91 添加 country 列及索引
- ASIN列表筛选区改为两行布局:查询条件+按钮在上,日期+导出在下
|
2026-08-24 00:03:28 +08:00 |
|
huangzd1997
|
3f767059f9
|
后台去重数据新增国家
|
2026-08-23 22:50:58 +08:00 |
|
huangzd1997
|
09175646da
|
Merge branch 'master' of https://git.aishufu.top/super/crawler-plugin
|
2026-08-23 22:06:11 +08:00 |
|
supernijia
|
62a3c1c6ec
|
更新任务存储、权限与货源查询流程
|
2026-08-22 21:23:01 +08:00 |
|
huangzd1997
|
c282ad0b6a
|
换设备重新绑定
|
2026-08-22 16:06:05 +08:00 |
|
supernijia
|
cf59e23f15
|
完善任务存储、权限及货源查询流程
|
2026-08-14 22:49:15 +08:00 |
|
supernijia
|
91cd02eeb4
|
后台更新 服务优化
|
2026-08-11 14:50:21 +08:00 |
|
supernijia
|
641c70d451
|
处理后台新需求
|
2026-08-09 20:08:39 +08:00 |
|
supernijia
|
7cd7f4f9bb
|
Merge branch 'master' of https://git.aishufu.top/super/crawler-plugin
|
2026-08-06 01:11:58 +08:00 |
|
supernijia
|
40f4fae272
|
新需求更新 同步更新
|
2026-08-06 01:11:54 +08:00 |
|
123buzhidao56
|
9e5e4c0b7a
|
上传
|
2026-08-03 09:26:00 +08:00 |
|
123buzhidao56
|
052162cfbb
|
Merge branch 'master' of https://git.aishufu.top/super/crawler-plugin
|
2026-08-03 09:18:15 +08:00 |
|
DevOps
|
9f7e62467d
|
Add Gitea Actions workflow
|
2026-08-03 02:46:56 +08:00 |
|
123buzhidao56
|
2c3eaf008d
|
modified: backend/ali_oss.py
modified: backend/config.py
|
2026-07-31 14:36:08 +08:00 |
|
supernijia
|
28423e015b
|
处理数据量binlog问题
|
2026-07-28 15:49:41 +08:00 |
|
supernijia
|
e453e822c0
|
菜单修改优化
|
2026-07-28 13:40:19 +08:00 |
|
supernijia
|
567aeaba5d
|
完成上架相关优化、oss迁移
|
2026-07-25 17:57:34 +08:00 |
|
supernijia
|
a9bfb8ac6d
|
上架需求增加
|
2026-07-25 09:58:29 +08:00 |
|
supernijia
|
e9b9967d81
|
优化布局
|
2026-07-24 13:26:37 +08:00 |
|
super
|
48e3c330ee
|
后端优化,增加新需求
|
2026-07-21 19:53:47 +08:00 |
|
super
|
05e674858a
|
更新ASIN库新需求
|
2026-07-20 20:12:38 +08:00 |
|
super
|
5e12e7ea52
|
视频任务管理更新
|
2026-07-19 22:23:26 +08:00 |
|
super
|
f189a5b4eb
|
添加新需求
|
2026-07-16 13:12:46 +08:00 |
|
super
|
f301a8f144
|
修复后端BUG
|
2026-07-14 22:11:19 +08:00 |
|
super
|
3b63679b48
|
提交昨晚更新改动
|
2026-07-14 12:50:17 +08:00 |
|
super
|
32606559b4
|
完成视频部分的前后端
|
2026-07-11 19:42:42 +08:00 |
|
super
|
ced59b5787
|
更新带货视频工作流接口和页面
|
2026-07-09 00:27:49 +08:00 |
|
super
|
f3a25b5b16
|
后端优化修复问题
|
2026-06-18 18:53:16 +08:00 |
|