super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,265 Commits 1 Branch 0 Tags
6d46506726a8aae79aa49b292f73c7806b5f2e78
Commit Graph

77 Commits

Author SHA1 Message Date
huangzd1997 c448f49e30 fix(临时存储): RustFS 上传失败改为直接失败，不再静默回落 local 指针 
多实例/容器化部署下 local 指针只有写入它的实例能读（跨节点读直接报错、容器重建即丢），
此前上传失败静默降级会把跨节点不可读的脏指针落库，故障延后到其它节点的合并/组装才爆。
现改为在写失败点抛 BusinessException（中文原因透传调用方），并新增
fallback-to-local-on-error 开关（默认 false）供单机部署回退旧行为；
跨实例读 local 指针的报错改中文并带 objectKey；超限回落策略不变。
 2026-09-14 02:31:16 +08:00
huangzd1997 db6869b77e perf(LLM任务): 首查短超时快速失败 + 退避抖动 + 标题失败跳过外观识别 
生产 24h 数据：外观专利任务 LLM 重试失败 93+82 次几乎全是超时，
终态 41 行降级为「外观识别异常」；成功调用 p99=34s、超 60s 仅 0.02%。
原策略每轮重试都挂满 90s（被全局 call-timeout 钳制），且 1.5s/3s
密集重试整批落在同一劣化窗口内。

- 第 1 次尝试改用 llm-first-attempt-read-timeout-millis（默认 60s）快速失败，
  重试走完整读超时，慢而成功的正常调用不被误杀
- 重试等待改 LlmRetryBackoff：2s/10s + ±30% 抖动，覆盖更长窗口并打散同批尖峰
- 外观专利标题识别失败时跳过外观请求（该行必走回退，外观结果本就会被丢弃）
 2026-09-14 00:28:40 +08:00
huangzd1997 b70557a077 feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统 
- 单设备登录：登录成功即 last-login-wins 绑定 users.machine；非超管旧 token
  在下一次受保护请求抛 4011 下线，超管豁免；仅认 token 内签名 deviceId，不用请求头。
  前端两端接入踢下线跳转（?kicked=1 提示），V118 清空历史 machine
- 站内通知：新增 notification 模块（任务失败扫描 / 密钥欠费 / 下游服务探测三类来源），
  前后台铃铛组件 + 轮询；后台列表按主管数据范围（UserDataScopeSupport）过滤；V116 建表

均已于 2026-09-13 部署上线，此次补提交源码（此前仅存在于已部署 JAR/构建产物中）
 2026-09-13 23:08:22 +08:00
huangzd1997 82a782550e feat(密钥): 用户 API 密钥服务端化——V115 按账号绑定存储 + 后台密钥管理页 + 桌面端全站拦截与配置引导 
- 新增 usersecret 模块：外观专利/货源查询密钥从本地 localStorage 迁移至 biz_user_api_secret（AES 加密、按 uid 绑定）
- 后台「密钥管理」页：脱敏展示、立即检测、清空；每日 04:30 分布式锁定时巡检
- 桌面端：密钥设置面板走服务端、未配齐引导 /setup-secrets、代理余量展示
- 删除专利汇令牌全链路与密钥保留时长选择器
 2026-09-13 10:03:59 +08:00
huangzd1997 540d6588e6 fix(紫鸟): 店铺索引刷新加轮级时间预算熔断——单轮超 8 分钟即中断，剩余 key 顺延下一轮（游标续跑），避免紫鸟接口半死时整轮占锁几十分钟阻塞后续定时轮 2026-09-11 17:02:13 +08:00
huangzd1997 51fb77ec25 perf(紫鸟): 店铺索引刷新提速——间隔 10→5 分钟、每轮批量 100→200 个 apiKey，新店铺未命中等待时间约缩短 3/4 2026-09-11 16:38:56 +08:00
huangzd1997 08e78ebe55 fix(shop-data-crawl): 累计档迁独立桶 shufu-shop-data 脱离默认桶30天过期规则＋修复批量下载zip恒失败——① 新增 aiimage.oss.shop-data-bucket(默认 shufu-shop-data)：上传侧 resolveBucket 按 SHOP_DATA_CRAWL、读取/删除/直链侧 bucketForObjectKey 按 result/shop_data_crawl/ 前缀双路路由（DB 里存的是裸 objectKey 不含桶名，key 不变故存量对象 mc mirror 即无缝切换），configuredBuckets 纳入新桶，启动自检未配置时告警 ② 批量下载 zip 原直接把 df.result_file_url 当绝对 URL(URI.create().toURL())，裸 objectKey 必抛 no protocol 导致整包 100% 失败，改由 loadDownloadRows 统一走 generateFreshDownloadUrl 拼直链 ③ 补 OssStorageServiceTest 5 用例覆盖此前零覆盖的上传选桶/裸key前缀路由 2026-09-10 14:31:00 +08:00
huangzd1997 197643a8fa fix: 商标查询失败自动重试、货源结果图切回Excel内嵌防WPS #REF、外观专利标题模型改gemini-3.8-flash 
- brand-check: 单品牌商标查询失败(异常/空响应/query_faild_data 非空)自动重试，
  次数与间隔可配(retry-times 默认3含首次 / retry-interval-millis 1000)，命中侵权不重试；
  collectdata 品牌过滤与外观专利商标核验两侧同时受益
- similarasin: 货源结果Excel图片由WPS DISPIMG 切回 Excel 365 richData 单元格内嵌，
  修复 WPS 打开 DISPIMG 显示 #REF 的兼容回归；下载失败单元格回退为URL文本
- appearance-patent: 标题商标提取模型由 deepseek-v4-flash 切 gemini-3.8-flash
 2026-09-08 19:01:08 +08:00
huangzd1997 83e38d4278 fix(similarasin): LLM 切换 gemini-3.8-flash + 修复双实例 stale 判死盲区 
- 模型切换:glm-5.3-flash / gemini-3.7-flash(类目/合规/图片对比,appearancepatent)→ gemini-3.8-flash
  涉及 SimilarAsinProperties、AppearancePatentProperties、application.yml、TLS 探针与测试断言
- stale 判死盲区:finalizeStaleTasks 去掉 isOwnerCurrent 过滤,改由 job 锁持有实例全局判死
  (任务 27117 线上死因:客户端 done 信号被任务锁拒后断线,owner 过滤导致无人判死,
  被另一实例 job stuck 扫描误判为"文件生成任务运行超时";appearancepatent 同源盲区一并修复)
- 客户端回传重试:3x2s → 8 次,40902 锁忙固定等 15s(app_client/similar_asin.py,随客户端发包生效)
 2026-09-07 22:10:20 +08:00
huangzd1997 40224d8e56 fix(backend-java): 收口并发资源与恢复链路 2026-09-05 14:44:00 +08:00
huangzd1997 3420c72c1d fix(oss): 软件版本安装包显式上传公开 client 桶，对齐历史直链布局
Build Backend JAR / build (push) Has been cancelled
Details 
生产 Java 未设 AIIMAGE_OSS_BUCKET，默认桶为私有 nanri-ai-images；而 web_config
历史版本全部存于公开 client 桶(oss.aishufu.top/client/nanri-image/versions/...，
桌面端检测更新匿名下载)。原 uploadSoftwareVersionPackage 走默认桶会把新版本写入
私桶导致客户端无法下载。改为显式写 software-version-bucket(新增可配属性，默认
client，env AIIMAGE_OSS_SOFTWARE_VERSION_BUCKET)并保持 nanri-image/versions/ 前缀。

注：本提交含 OssStorageService 上"软件版本上传"方法与早前 readObjectBytesBounded
改动，为软件版本模块(见 ③)的配套存储能力。
 2026-09-04 10:21:47 +08:00
huangzd1997 8ca5b1d53b task-167: aiimage.http-client.* 配置命名空间（connect/read/call 超时与重试默认值同现状、非法值钳制、env 覆盖）+ 8 条测试；surefire 加 MaxMetaspaceSize 修复 fork 内存崩溃 2026-09-02 08:00:19 +08:00
huangzd1997 e2607ab723 task-98: 移除 similar-asin/appearance-patent 模块 Coze，状态机与共享组件改名 LLM
Build Backend JAR / build (push) Has been cancelled
Details 
- similarasin/appearancepatent 模块全部 Coze 工作流调用改走 direct-LLM（已确认唯一运行路径）
- 共享组件改名：CozeTaskQueueGate→TaskQueueGate、CozeGroupResultPropagator→GroupResultPropagator
- 状态机改名：biz_task_scope_state 的 coze_* 列→llm_*、stateJson coze 键→llm（V100 迁移已应用生产）
- 删除 biz_coze_credential 表、CozeCredential* 类、SimilarAsinCozeClient、AppearancePatentCozeClient→LlmClient
- 前端 brand 页 Coze 文案→LLM；Python 后端删除 cozepy 依赖与死配置
- 修复 TaskResultFileJobWorker 启动失败：TaskFileJobConfig 注册 ResultFileJobHandlerRegistry 与 13 个 handler bean（含 validateCoverage 启动校验）
 2026-09-01 02:20:50 +08:00
huangzd1997 c8cd851b2f feat: 外观专利改直连 LLM（DeepSeek/Gemini）、无效ASIN菜单更名 BRAND_DB、紫鸟店铺索引场景化
Build Backend JAR / build (push) Has been cancelled
Details 
- AppearancePatent：Coze 工作流切换为 llm-host 直连模型（title/appearance 双模型、行并发、重试），配置键迁移并保留旧环境变量兜底
- InvalidAsinDataMapper 补充按值+品牌唯一键查询
- ZiniaoShopIndexService 新增店铺分类/索引场景
- V98：无效ASIN菜单 rename 补充 BRAND_DB；docs 架构优化规划
- 配套单测更新
 2026-08-31 17:04:59 +08:00
huangzd1997 c517711169 task-80: 补充 JVM 堆、直接内存、临时磁盘和连接池容量配置说明 2026-08-30 22:30:56 +08:00
huangzd1997 1127e9c8bb task-50: 结果明细批量 upsert 写入器与唯一键幂等 
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item：一次批量查询现有行（payload_hash 相等即跳过），
分批发 INSERT ... ON DUPLICATE KEY UPDATE，替代逐行 select/insert/update；
旧格式逐行 payload 升级为引用时物理删除（引用计数兜底）。CollectDataService
submitResult 接入批量写入，移除逐行 upsertResultItem。
 2026-08-30 15:32:55 +08:00
huangzd1997 98c45486fa task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert，唯一键扩为 (data_value, brand) 2026-08-30 14:11:59 +08:00
huangzd1997 b92d3e688d task-47: 品牌检查结果任务内短期缓存，避免同品牌重复远程调用 2026-08-30 13:53:38 +08:00
huangzd1997 0d99baea04 task-46: 跳过空品牌批次的无效远程品牌检查请求 
新增 CollectDataBrandBatchFilter 接管品牌检查批次切分与分类：空品牌
批次不发起 checkAll 远程调用（行直接归 rejected），远程抛错整组降级
queryFailed 可恢复。service 委托查询器只做计数与无效 ASIN 落库，语义
与旧 filterByBrandCheck 完全等价。8 个测试覆盖默认/批量/幂等/空输入/
单元素/超限/非法参数/依赖失败，全量回归 720 通过。
 2026-08-30 13:40:03 +08:00
huangzd1997 fec89b6b7b task-42: 限制采集解析的文件大小、最大行数和单 chunk 行数 
新增 CollectDataParseLimits 组件并在 CollectDataService 解析/回传路径
接入：源文件大小（默认 50MB）、累计解析行数（默认 50000）、单 chunk
回传行数（默认 5000）超限即拒绝，配置经 aiimage.collect-data.* 环境变量
可调、0/负值回退默认。8 个用例覆盖正常/批量/幂等/空/单元素/边界超限/
非法配置/失败后可恢复路径，mvn 全量测试通过。
 2026-08-30 13:04:02 +08:00
huangzd1997 18db20099a OSS 结果文件下载分流：新增 aiimage.oss.download-endpoint 配置，result/ 前缀对象生成独立下载域名直链（默认未配置时回退原行为）
Build Backend JAR / build (push) Has been cancelled
Details
2026-08-26 13:37:11 +08:00
supernijia 159d52194c 更新任务存储、权限与货源查询流程
Build Backend JAR / build (push) Has been cancelled
Details
2026-08-22 21:23:01 +08:00
supernijia 7a7f1dfa21 完善任务存储、权限及货源查询流程
Build Backend JAR / build (push) Has been cancelled
Details
2026-08-14 22:49:15 +08:00
supernijia 5b1ccad40e 后台更新 服务优化
Build Backend JAR / build (push) Failing after 16m54s
Details
2026-08-11 14:50:21 +08:00
supernijia 28e7fce11c 新需求更新 同步更新 2026-08-06 01:11:54 +08:00
supernijia 9048bbb7f8 处理数据量binlog问题 2026-07-28 15:49:41 +08:00
supernijia 7c3c9e53a0 菜单修改优化 2026-07-28 13:40:19 +08:00
supernijia 4ddb8b47b0 完成上架相关优化、oss迁移 2026-07-25 17:57:34 +08:00
super 69784b8d32 添加新需求 2026-07-16 13:12:46 +08:00
super 8a9126e626 提交昨晚更新改动 2026-07-14 12:50:17 +08:00
super d8ca8de537 完成视频部分的前后端 2026-07-11 19:42:42 +08:00
super aab4ce942c 更新带货视频工作流接口和页面 2026-07-09 00:27:49 +08:00
super 0ecf5cd45a 后端优化修复问题 2026-06-18 18:53:16 +08:00
super f44110fae5 新增数字人版本管理 2026-06-14 19:00:55 +08:00
super ac19637ad6 处理修复BUG 2026-06-14 16:48:20 +08:00
super c85e5b278f 新增内容，新增拉起软件层 2026-06-08 09:19:15 +08:00
super e98a1a1207 feat: update task routing and coze handling 2026-06-03 17:14:50 +08:00
super 9835831415 更新地址 更新后端 2026-05-29 22:53:44 +08:00
super 73ac9187a6 提交货源流程优化 2026-05-25 22:16:50 +08:00
super 7503e3fa8b 提交货源图片和相似ASIN优化 2026-05-24 21:59:21 +08:00
super 532438faba 提交最新的优化结果 2026-05-24 12:42:53 +08:00
super 1e087c1aae 提交登录修改 2026-05-23 18:32:45 +08:00
super 70e902e7ea 更新这个货源 2026-05-22 09:41:31 +08:00
super 73d25fcbcb 提交一些更改 2026-05-20 09:05:28 +08:00
super 14db1e0cb1 修改完善这个专利部分 2026-05-15 16:06:12 +08:00
super 0d78d63437 后台管理接口修复 后端BUG修复 2026-05-12 21:03:42 +08:00
super 5c990e651e 提交货源采集更新 2026-05-10 01:00:08 +08:00
super a4e4745921 更新处理相关内容 2026-05-09 00:20:52 +08:00
super a00ff1804c 提交更新 2026-05-06 00:01:49 +08:00
super 203937335d 处理一些合并冲突 2026-05-05 14:11:35 +08:00