Commit Graph

  • 815b590bca task-28: 以 scope 计数器替代每个 chunk 的 COUNT(*) 完整统计 huangzd1997 2026-08-29 19:25:59 +08:00
  • c819d58e5a progress 27 huangzd1997 2026-08-29 19:11:17 +08:00
  • 8e51086d03 task-27: chunk 接收改为原子插入/幂等 upsert,去掉先查后插 huangzd1997 2026-08-29 19:11:10 +08:00
  • 574dc9c14f progress: task-26 done (completed=26) huangzd1997 2026-08-29 18:55:05 +08:00
  • 583f08ca22 task-26: 模板 workbook 大行数下的样式、图片和工作表兼容测试 huangzd1997 2026-08-29 18:55:01 +08:00
  • 10ca87033c progress: task-25 done (completed=25) huangzd1997 2026-08-29 18:46:44 +08:00
  • 31dee4d8de task-25: 店铺结果 workbook 的 SXSSF 流式写入路径 huangzd1997 2026-08-29 18:46:40 +08:00
  • d3e274d4ec progress: task-24 done (completed=24) huangzd1997 2026-08-29 18:38:41 +08:00
  • 2db66d2bd1 task-24: 店铺图片预取增加任务级数量、字节和超时上限 huangzd1997 2026-08-29 18:38:37 +08:00
  • dc83182857 progress: task-23 done (completed=23) huangzd1997 2026-08-29 18:34:05 +08:00
  • 32ef134c15 task-23: 图片嵌入成功后立即释放外部缩略图字节副本 huangzd1997 2026-08-29 18:34:02 +08:00
  • a6d37a8dea progress: task-22 done (completed=22) huangzd1997 2026-08-29 18:29:29 +08:00
  • 7332ad8114 task-22: 店铺 Excel 图片缓存替换为有界字节缓存 huangzd1997 2026-08-29 18:29:25 +08:00
  • 291470ce10 progress: task-21 done (completed=21) huangzd1997 2026-08-29 18:24:14 +08:00
  • cf758fc065 task-21: 建立店铺抓取性能基线夹具(1k/5k 行、多国家、图片成功/失败) huangzd1997 2026-08-29 18:24:10 +08:00
  • 27b58396e7 progress: task-20 done (completed=20) huangzd1997 2026-08-29 18:18:37 +08:00
  • c485b402f8 task-20: Similar ASIN 端到端压测、GC 分析与结果文件兼容回归 huangzd1997 2026-08-29 18:18:24 +08:00
  • b5fe250adb progress: task-19 done (completed=19) huangzd1997 2026-08-29 18:11:28 +08:00
  • cefee648be task-19: Coze 请求/响应与 Python 回传日志改采样、截断、DEBUG huangzd1997 2026-08-29 18:11:24 +08:00
  • d87f37603c progress: task-18 done (completed=18) huangzd1997 2026-08-29 18:02:54 +08:00
  • 23303bfbd8 task-18: 统一图片 spool 生命周期,超时/取消/异常路径删除临时文件 huangzd1997 2026-08-29 18:02:50 +08:00
  • 8c54c8e51a progress: task-17 done (completed=17) huangzd1997 2026-08-29 17:55:06 +08:00
  • c8939d55f0 task-17: 解码采样推广全格式、子采样后像素上限、JPEG 质量估算搜索 huangzd1997 2026-08-29 17:55:00 +08:00
  • 7bb0d7a68f progress: task-16 done (completed=16) huangzd1997 2026-08-29 17:37:25 +08:00
  • 795ed97eac task-16: 图片预取改短预算 best-effort,超时取消在途并回退 URL huangzd1997 2026-08-29 17:37:11 +08:00
  • 3bb2191ca2 progress: task-15 done (completed=15, rounds=15) huangzd1997 2026-08-29 17:24:31 +08:00
  • a531553e89 task-15: async batched last_used_at touch refresh huangzd1997 2026-08-29 17:24:25 +08:00
  • a6d69861c4 progress: task-14 done (completed=14, rounds=14) huangzd1997 2026-08-29 17:16:47 +08:00
  • 10aa938835 task-14: batch read image db cache and touch only actual hits huangzd1997 2026-08-29 17:16:40 +08:00
  • 914d3c7077 progress: task-13 done (completed=13, rounds=13) huangzd1997 2026-08-29 17:05:59 +08:00
  • d2b869cf19 task-13: cap chunk merge row count and payload bytes with orphan fallback huangzd1997 2026-08-29 17:05:49 +08:00
  • 0b71d06b5b task-12: mark done in progress huangzd1997 2026-08-29 16:46:38 +08:00
  • b76c9ff3d0 task-12: extend coze result buffering beyond poll path huangzd1997 2026-08-29 16:46:29 +08:00
  • 8955ad6906 progress: task-11 done (completed=11, rounds=11) huangzd1997 2026-08-29 16:17:27 +08:00
  • 3fa2f26ace task-11: Coze 结果合并前按稳定 rowKey HashSet 去重,消除 O(n²) 重复处理 huangzd1997 2026-08-29 16:17:12 +08:00
  • 076c88a7ec progress: task-10 done (completed=10, rounds=10) huangzd1997 2026-08-29 16:07:49 +08:00
  • b08ab5f8b1 task-10: chunk 结果建立 rowKey 批量索引,消除跨 chunk 线性扫描 huangzd1997 2026-08-29 16:07:45 +08:00
  • 548383790a progress: task-9 done (completed=9, rounds=9) huangzd1997 2026-08-29 15:52:57 +08:00
  • bfb2430537 task-9: chunk 查询改为批量 keyset 分页,保持低内存读取 huangzd1997 2026-08-29 15:52:46 +08:00
  • 32a89c2be0 task-8: WorkbookFactory 输入解析改为受控读取,验证超大 Excel 失败提示 huangzd1997 2026-08-29 15:11:53 +08:00
  • 42e6912959 task-7: 限制单文件大小、最大行数和最大字段长度,防止解析任务无界增长 huangzd1997 2026-08-29 15:08:14 +08:00
  • 8d54de646b task-6: 分组数据改为索引/范围引用,避免 groups 嵌套复制完整行对象 huangzd1997 2026-08-29 15:02:15 +08:00
  • b8e3231e5d task-5: 预览行数量改为配置驱动并做边界校验 huangzd1997 2026-08-29 14:48:01 +08:00
  • fdad48cc4c task-4: 解析接口只返回固定数量预览行,完整行仅保存在后端任务载荷 huangzd1997 2026-08-29 14:43:08 +08:00
  • 4f6da25d4c task-3: 统一解析载荷全量行恢复逻辑,新旧结构均可恢复 huangzd1997 2026-08-29 14:36:15 +08:00
  • 584826d1bd task-2: 解析载荷改为单一规范行集合,消除 allItems 重复序列化 huangzd1997 2026-08-29 14:32:11 +08:00
  • 9b169d1192 task-1: 建立 Similar ASIN 性能基线夹具 (1000/5000行、图片开关、chunk与payload采样) huangzd1997 2026-08-29 14:22:07 +08:00
  • 926f07345c 修复店铺任务数据覆盖bug huangzd1997 2026-08-29 00:16:47 +08:00
  • 24eca96864 采集数据进度条改为按关键词计算:processedRows/totalRows,标签改为关键词进度 huangzd1997 2026-08-28 11:43:51 +08:00
  • a6ee68a430 品牌页前端工具菜单新增「ASIN变体采集」入口 huangzd1997 2026-08-27 05:10:51 -04:00
  • 69f0695a70 后台用户管理菜单权限目录:加载增加自动重试与失败提示/重新加载,创建编辑失败时自动恢复 huangzd1997 2026-08-27 05:09:40 -04:00
  • 6e9988fd2c 统一结果文件下载 URL 生成:历史记录/上传回包等漏网点改用 generateFreshDownloadUrl,result/ 前缀对象走 download 域名 huangzd1997 2026-08-26 03:58:29 -04:00
  • c9301b9250 OSS 结果文件下载分流:新增 aiimage.oss.download-endpoint 配置,result/ 前缀对象生成独立下载域名直链(默认未配置时回退原行为) huangzd1997 2026-08-26 13:37:11 +08:00
  • 523ffa1949 去重导出列固定顺序为 id/ASIN/国家/价格/品牌;QueryAsin 按店铺加载数据并修正前端回退逻辑 huangzd1997 2026-08-25 22:38:38 +08:00
  • 8a9b5beed8 品牌去重默认勾选列调整为 id/ASIN/国家/价格/品牌 huangzd1997 2026-08-25 22:05:35 +08:00
  • 60e97c330b 品牌去重默认勾选列调整为 ASIN/国家/价格/SKU ID/品牌 huangzd1997 2026-08-25 22:00:33 +08:00
  • 48ec6b47ff 修复:JWT 密钥未配置时使用内置默认密钥,与桌面客户端保持一致 huangzd1997 2026-08-25 22:00:30 +08:00
  • d08280f3e8 性能优化:N+1查询改批量、串行远程调用并发化、紫鸟索引巡检批量回写 huangzd1997 2026-08-25 19:42:43 +08:00
  • a0d83d9e8f 安全加固:CORS白名单、JWT密钥自动生成、SSRF防护、路径遍历与错误信息泄露修复 huangzd1997 2026-08-25 18:05:28 +08:00
  • 9df0747ca2 Redis 改为哨兵模式,双节点接入 A/B 机哨兵集群(mymaster) huangzd1997 2026-08-25 15:33:50 +08:00
  • 06fc706f5f 还原ASIN变体采集入口,仅保留变体分析移除 huangzd1997 2026-08-24 23:21:53 +08:00
  • 780616d10e 导航变体分析改为ASIN变体采集入口,修复AiAssetDropzone类型 huangzd1997 2026-08-24 23:20:54 +08:00
  • 75cf6f45a3 移除品牌页导航栏的变体分析入口 huangzd1997 2026-08-24 22:48:03 +08:00
  • 2e511880cc 数据去重默认勾选列增加品牌/SKU ID/发货类型 huangzd1997 2026-08-24 20:13:14 +08:00
  • a78de21125 移除 huangzd1997 2026-08-24 00:08:13 +08:00
  • a47fe87730 去重总数据国家限定五国并优化筛选布局 huangzd1997 2026-08-24 00:03:28 +08:00
  • 3f767059f9 后台去重数据新增国家 huangzd1997 2026-08-23 22:50:58 +08:00
  • 09175646da Merge branch 'master' of https://git.aishufu.top/super/crawler-plugin huangzd1997 2026-08-23 22:06:11 +08:00
  • 62a3c1c6ec 更新任务存储、权限与货源查询流程 supernijia 2026-08-22 21:23:01 +08:00
  • c282ad0b6a 换设备重新绑定 huangzd1997 2026-08-22 16:06:05 +08:00
  • cf59e23f15 完善任务存储、权限及货源查询流程 supernijia 2026-08-14 22:49:15 +08:00
  • 91cd02eeb4 后台更新 服务优化 supernijia 2026-08-11 14:50:21 +08:00
  • 641c70d451 处理后台新需求 supernijia 2026-08-09 20:08:39 +08:00
  • 7cd7f4f9bb Merge branch 'master' of https://git.aishufu.top/super/crawler-plugin supernijia 2026-08-06 01:11:58 +08:00
  • 40f4fae272 新需求更新 同步更新 supernijia 2026-08-06 01:11:54 +08:00
  • 9e5e4c0b7a 上传 123buzhidao56 2026-08-03 09:26:00 +08:00
  • 052162cfbb Merge branch 'master' of https://git.aishufu.top/super/crawler-plugin 123buzhidao56 2026-08-03 09:18:15 +08:00
  • 9f7e62467d Add Gitea Actions workflow DevOps 2026-08-03 02:46:56 +08:00
  • 2c3eaf008d modified: backend/ali_oss.py modified: backend/config.py 123buzhidao56 2026-07-31 14:36:08 +08:00
  • 28423e015b 处理数据量binlog问题 supernijia 2026-07-28 15:49:41 +08:00
  • e453e822c0 菜单修改优化 supernijia 2026-07-28 13:40:19 +08:00
  • 567aeaba5d 完成上架相关优化、oss迁移 supernijia 2026-07-25 17:57:34 +08:00
  • a9bfb8ac6d 上架需求增加 supernijia 2026-07-25 09:58:29 +08:00
  • e9b9967d81 优化布局 supernijia 2026-07-24 13:26:37 +08:00
  • 48e3c330ee 后端优化,增加新需求 super 2026-07-21 19:53:47 +08:00
  • 05e674858a 更新ASIN库新需求 super 2026-07-20 20:12:38 +08:00
  • 5e12e7ea52 视频任务管理更新 super 2026-07-19 22:23:26 +08:00
  • f189a5b4eb 添加新需求 super 2026-07-16 13:12:46 +08:00
  • f301a8f144 修复后端BUG super 2026-07-14 22:11:19 +08:00
  • 3b63679b48 提交昨晚更新改动 super 2026-07-14 12:50:17 +08:00
  • 32606559b4 完成视频部分的前后端 super 2026-07-11 19:42:42 +08:00
  • ced59b5787 更新带货视频工作流接口和页面 super 2026-07-09 00:27:49 +08:00
  • f3a25b5b16 后端优化修复问题 super 2026-06-18 18:53:16 +08:00
  • dbc3b7f7f0 修复图片下载问题 super 2026-06-16 22:19:55 +08:00
  • faf89e85e8 新增数字人版本管理 super 2026-06-14 19:00:55 +08:00
  • a90730336f 处理修复BUG super 2026-06-14 16:48:20 +08:00
  • 7f54a2d3f2 处理下载为公共模块 super 2026-06-12 13:40:29 +08:00
  • 1c0c4613ee 修复删除asinBUG super 2026-06-11 20:37:05 +08:00
  • 78c3ebf2ac 修复菜单消失 super 2026-06-10 17:52:58 +08:00
  • 2573844f92 更新新需求-采集 super 2026-06-09 21:07:50 +08:00