super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,287 Commits 1 Branch 0 Tags
9166656673e19c5967b126826fcb585b8a471630
Commit Graph

135 Commits

Author SHA1 Message Date
huangzd1997 9a6b57db58 refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权 
模块边界（G5 / G7）
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现：TaskHeartbeatService 不再 import 任何
  业务模块（原先注入 12 个 CacheService 并用 switch 分发）；启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi（品牌任务心跳/中断）、BrandTaskStaleRepairSpi（陈旧修复）、
  CollectDataItemCleanupSpi（历史清理）：跨模块 Mapper 操作收回业务模块
- G7：10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧：TASK_TO_BUSINESS_BASELINE 119 → 6（实测）
- 新增 TaskModuleHeartbeatSpiCoverageTest（moduleType 覆盖与拼写）

性能与容量（C5/C6/C7/D13）
- C5 流式解析：SkipPriceAsinService（含两行表头语义）、AppearancePatentExcelParser、
  BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader；
  行数上限改为迭代中生效
- C6 去重总数据列表：关键字改前缀匹配（命中 uk_data_value）；V124 删除永不生效的 idx_country
- C7 撞款扫描：按店逐批取数（索引前缀），不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal（启动回放 + 收敛重写），RustfsDeleteRetryService 与
  TransientPayloadDeleteOrchestrator 接入；异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引

安全（A3/A4/A7 + 守卫名单）
- A4 数字人版本写操作要求管理员；A7 视频密钥按登录身份（超管例外）
- A3 上传接口加危险扩展名黑名单（可配置）
- AdminApiGuardFilter 用户态名单补 /api/ziniao（controller 已 requireAdmin，此处为开关打开后的第二层）

容量（明细表保留期）
- 新增 ShopDataCrawlItemRetentionService：biz_shop_data_crawl_item 按保留期（默认 30 天）分批清理
  （该表此前无任何清理策略，是增长最快的表），job 锁 + 单轮批次上限
 2026-09-14 06:46:27 +08:00
huangzd1997 6d46506726 fix: 全维度审查修复（安全/正确性/性能/稳定性/客户端/前端） 
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权（此前可匿名换取任意员工店铺登录令牌）
- 删除 Flask 遗留后门：默认密码建超管 + 每次启动写生产 users 表（服务端与客户端各一份）
- 进度/详情接口归属过滤：新增 TaskProgressOwnershipSupport，11 模块 progress/light 与
  /tasks/batch 接入，DTO 补 userId，前端 13 个查询封装补传（未传时后端不过滤，兼容旧端）
- 代理提取链接（含账密）不再明文入日志（新增 common/util/SecretMasking）
- 全局异常兜底不再回传原始异常信息；内部令牌比较改常量时间
- 登录加失败计数与锁定（10 次锁 15 分钟）；品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15（开关默认 false，行为不变，为收紧做准备）
- 生产关闭 springdoc/knife4j（/doc.html 匿名可读全部接口定义）

正确性
- 40901/40902 拆分：锁竞争不再被伪装成 success=true（此前客户端停止重试、分片静默丢失）
- 假成功收敛：集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally（7 模块，失败路径不再留僵尸 RUNNING 任务）
- 状态机条件更新：跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB（Element Plus 改按需 + el-config-provider）
- 载荷引用计数按指针里的 taskId 收敛（原 JSON 列 IN 全表扫且逐行调用）
- 店铺明细多值批量 INSERT；快照 upsert 预载缓存；结果文件列改单条 UPDATE
- 新增迁移 V120（补 3 个缺失索引）/V121（删 4 个被覆盖的冗余索引）/V122（URL 前缀索引）

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列（防堆积 OOM）
- Redis 锁释放改 Lua 原子校验（原裸 delete 会误删他人已过期的锁）
- imagevideo 加死节点接管；锁续期失败重试；调度池 4→16；openStream 全部加超时
- 事务内远程对象删除移到提交后；启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe（改为按调试端口精准回收，不杀用户自己的浏览器）
- 密码检测不再无条件杀紫鸟进程；品牌检测加全局互斥（代理池不再互相覆盖）
- base_dir 统一到 exe 目录（原被 os.getcwd() 覆盖，日志/缓存会分裂两个目录）
- 缓存加定时清理；图片下载加超时；mkstemp 句柄托管

测试
- 同步更新受影响的契约测试（构造器签名/条件更新/方法改名/新增接口方法等）
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
 2026-09-14 04:15:36 +08:00
huangzd1997 c448f49e30 fix(临时存储): RustFS 上传失败改为直接失败，不再静默回落 local 指针 
多实例/容器化部署下 local 指针只有写入它的实例能读（跨节点读直接报错、容器重建即丢），
此前上传失败静默降级会把跨节点不可读的脏指针落库，故障延后到其它节点的合并/组装才爆。
现改为在写失败点抛 BusinessException（中文原因透传调用方），并新增
fallback-to-local-on-error 开关（默认 false）供单机部署回退旧行为；
跨实例读 local 指针的报错改中文并带 objectKey；超限回落策略不变。
 2026-09-14 02:31:16 +08:00
huangzd1997 db6869b77e perf(LLM任务): 首查短超时快速失败 + 退避抖动 + 标题失败跳过外观识别 
生产 24h 数据：外观专利任务 LLM 重试失败 93+82 次几乎全是超时，
终态 41 行降级为「外观识别异常」；成功调用 p99=34s、超 60s 仅 0.02%。
原策略每轮重试都挂满 90s（被全局 call-timeout 钳制），且 1.5s/3s
密集重试整批落在同一劣化窗口内。

- 第 1 次尝试改用 llm-first-attempt-read-timeout-millis（默认 60s）快速失败，
  重试走完整读超时，慢而成功的正常调用不被误杀
- 重试等待改 LlmRetryBackoff：2s/10s + ±30% 抖动，覆盖更长窗口并打散同批尖峰
- 外观专利标题识别失败时跳过外观请求（该行必走回退，外观结果本就会被丢弃）
 2026-09-14 00:28:40 +08:00
huangzd1997 dc6e8924a9 refactor(品牌工具页): 历史轮询抽为 useHistoryPolling 
QueryAsin / Withdraw / PatrolDelete 三页逐字相同的 startHistoryPolling /
stopHistoryPolling 收敛为 shared/composables/useHistoryPolling：定时器走各页
categorized-timers（category 固定 history-poll），间隔默认主轮询的 2 倍。
categorized-timers 补 CategorizedTimers 类型导出；补注入式假定时器单测 5 例。

净减约 40 行；vue-tsc 构建与 695 个前端单测通过。
 2026-09-13 23:22:49 +08:00
huangzd1997 b70557a077 feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统 
- 单设备登录：登录成功即 last-login-wins 绑定 users.machine；非超管旧 token
  在下一次受保护请求抛 4011 下线，超管豁免；仅认 token 内签名 deviceId，不用请求头。
  前端两端接入踢下线跳转（?kicked=1 提示），V118 清空历史 machine
- 站内通知：新增 notification 模块（任务失败扫描 / 密钥欠费 / 下游服务探测三类来源），
  前后台铃铛组件 + 轮询；后台列表按主管数据范围（UserDataScopeSupport）过滤；V116 建表

均已于 2026-09-13 部署上线，此次补提交源码（此前仅存在于已部署 JAR/构建产物中）
 2026-09-13 23:08:22 +08:00
huangzd1997 a0f6582914 feat(密钥管理): 代理配置后台明文展示 + 按次统计各密钥调用损耗 
- 后台密钥管理「代理设置」列改为完整明文展示（含账号密码），便于运维核对；
  新增 full 字段仅对代理模块下发，密钥两列保持脱敏
- 新增 biz_user_secret_usage_daily（V117）：用户 × 模块 × 天累计真实对外请求次数
- 计次口径：LLM 每次真实 HTTP 请求（含重试）计 1 次；代理每次成功提取计 1 次
- LLM 埋点走 SecretUsageContext 上下文（批次外设置、线程池内快照恢复）
- 新增内部上报接口 /api/internal/user-secret-usage（X-Internal-Token）
- 新增后台页「密钥用量统计」：日期范围 + 用户名 + 分组筛选，含范围内汇总
 2026-09-13 21:56:46 +08:00
huangzd1997 82a782550e feat(密钥): 用户 API 密钥服务端化——V115 按账号绑定存储 + 后台密钥管理页 + 桌面端全站拦截与配置引导 
- 新增 usersecret 模块：外观专利/货源查询密钥从本地 localStorage 迁移至 biz_user_api_secret（AES 加密、按 uid 绑定）
- 后台「密钥管理」页：脱敏展示、立即检测、清空；每日 04:30 分布式锁定时巡检
- 桌面端：密钥设置面板走服务端、未配齐引导 /setup-secrets、代理余量展示
- 删除专利汇令牌全链路与密钥保留时长选择器
 2026-09-13 10:03:59 +08:00
huangzd1997 47459e2089 feat(紫鸟): 令牌级静态代理支持——白名单被拒的 key 走已授权代理 IP 
- shop_key 新增 proxy_url / ip_whitelist_fail_count（V114 迁移）
- HttpClientPool 支持按代理地址复用的静态代理客户端
- 白名单连续失败达阈值后停止自动重试，控制台可按 key 配置代理（改动自
  上一工作阶段遗留，功能已编译验证）
 2026-09-11 17:11:50 +08:00
huangzd1997 540d6588e6 fix(紫鸟): 店铺索引刷新加轮级时间预算熔断——单轮超 8 分钟即中断，剩余 key 顺延下一轮（游标续跑），避免紫鸟接口半死时整轮占锁几十分钟阻塞后续定时轮 2026-09-11 17:02:13 +08:00
huangzd1997 51fb77ec25 perf(紫鸟): 店铺索引刷新提速——间隔 10→5 分钟、每轮批量 100→200 个 apiKey，新店铺未命中等待时间约缩短 3/4 2026-09-11 16:38:56 +08:00
huangzd1997 08e78ebe55 fix(shop-data-crawl): 累计档迁独立桶 shufu-shop-data 脱离默认桶30天过期规则＋修复批量下载zip恒失败——① 新增 aiimage.oss.shop-data-bucket(默认 shufu-shop-data)：上传侧 resolveBucket 按 SHOP_DATA_CRAWL、读取/删除/直链侧 bucketForObjectKey 按 result/shop_data_crawl/ 前缀双路路由（DB 里存的是裸 objectKey 不含桶名，key 不变故存量对象 mc mirror 即无缝切换），configuredBuckets 纳入新桶，启动自检未配置时告警 ② 批量下载 zip 原直接把 df.result_file_url 当绝对 URL(URI.create().toURL())，裸 objectKey 必抛 no protocol 导致整包 100% 失败，改由 loadDownloadRows 统一走 generateFreshDownloadUrl 拼直链 ③ 补 OssStorageServiceTest 5 用例覆盖此前零覆盖的上传选桶/裸key前缀路由 2026-09-10 14:31:00 +08:00
huangzd1997 197643a8fa fix: 商标查询失败自动重试、货源结果图切回Excel内嵌防WPS #REF、外观专利标题模型改gemini-3.8-flash 
- brand-check: 单品牌商标查询失败(异常/空响应/query_faild_data 非空)自动重试，
  次数与间隔可配(retry-times 默认3含首次 / retry-interval-millis 1000)，命中侵权不重试；
  collectdata 品牌过滤与外观专利商标核验两侧同时受益
- similarasin: 货源结果Excel图片由WPS DISPIMG 切回 Excel 365 richData 单元格内嵌，
  修复 WPS 打开 DISPIMG 显示 #REF 的兼容回归；下载失败单元格回退为URL文本
- appearance-patent: 标题商标提取模型由 deepseek-v4-flash 切 gemini-3.8-flash
 2026-09-08 19:01:08 +08:00
huangzd1997 630bfc3eee fix(shop-data-crawl): 后台店铺数据记录改读每店最新累计档，删除任务不再连坐后台 
后台“店铺数据记录”此前以每次抓取的 file_result/file_task 为源，前台删除任务会物理删
这两张表，导致该店在后台退档/消失。现改为以采集归档维护、删除任务时保留的
biz_shop_data_crawl_daily_file 每店最新一档为数据源：
- V113：daily_file 冗余 shop_name 列并回填；归档写档三处入口同步写入
- 列表/批量下载/单档下载/删除端点改按每日累计档 id（daily-files/{id}）
- 管理端删除=真删该店这条数据记录（档+文件+明细），前台任务历史保留但清文件指针
- 明细行 daily_file_id 跨天滚动删旧档时改指新档，修存量悬空引用（另附修复脚本）
 2026-09-08 15:02:25 +08:00
huangzd1997 83e38d4278 fix(similarasin): LLM 切换 gemini-3.8-flash + 修复双实例 stale 判死盲区 
- 模型切换:glm-5.3-flash / gemini-3.7-flash(类目/合规/图片对比,appearancepatent)→ gemini-3.8-flash
  涉及 SimilarAsinProperties、AppearancePatentProperties、application.yml、TLS 探针与测试断言
- stale 判死盲区:finalizeStaleTasks 去掉 isOwnerCurrent 过滤,改由 job 锁持有实例全局判死
  (任务 27117 线上死因:客户端 done 信号被任务锁拒后断线,owner 过滤导致无人判死,
  被另一实例 job stuck 扫描误判为"文件生成任务运行超时";appearancepatent 同源盲区一并修复)
- 客户端回传重试:3x2s → 8 次,40902 锁忙固定等 15s(app_client/similar_asin.py,随客户端发包生效)
 2026-09-07 22:10:20 +08:00
huangzd1997 23e749c973 fix(撞款): 存量迁移修复——①POI zip安全限制放宽(setMaxFileCount/minInflateRatio,旧文件条目数超限整店失败) ②明细批次唯一键放宽(V112 uk→普通索引,同店同日同国同ASIN允许多行) ③迁移失败日志补全堆栈 2026-09-07 03:11:48 +08:00
huangzd1997 5f8c469b8e feat(需求): 撞款重复检查改查数据库——①采集明细先落库再更新文件(V111 biz_shop_data_crawl_item行级明细,归档时countryResults展开,同店同日幂等替换) ②撞款扫描换源直接查明细表(不再解析OSS xlsx,修复旧文件表头差异致4家店静默丢弃) ③存量Excel数据自动迁移(日报快照row_payload优先+OSS宽松表头回退:ASIN码/小写兼容) ④移除84家店铺全量空态注入(重复检查基数=已采集店,超管口径8家) ⑤新增明细聚合/宽松解析单测6个 2026-09-07 02:43:37 +08:00
huangzd1997 26e062d32c task-284(收尾/在途批次): 页头按钮归位卡内toolbar+店铺数据记录改名+弹窗报错清除; Java page_size配对/按角色数据范围过滤/撞款导出XLSX/Excel图改WPS DISPIMG/V110查询索引 2026-09-07 02:43:36 +08:00
huangzd1997 4c88964473 task-283(后台迁移收尾/发布): admin-vue 后台工程入库 + Flask 后台整体退役 
- 新后台 admin-frontend-vue 整工程入库(base=/admin-vue/、History 路由、Nginx 静态托管方案与 verify-dist 校验)
- Java AdminConsoleController 改为入口重定向: /admin|/admin.html、/login|/login.html -> /admin-vue/; 删除 classpath:static 旧 admin.html/login.html 单页与 admin.js 副本
- Flask 后台整体退役: 删除 admin_api/auth/main 蓝图、web_source 页面、static 脚本与 admin 相关测试; app.py 收敛为仅注册 version_bp(/api/version、/api/version/latest, 供桌面端更新检查)
- AdminApiGuardFilterTest 豁免样例路径 /admin.html -> /admin-vue/
 2026-09-06 10:41:47 +08:00
huangzd1997 9ac4eda054 task-271(验收反馈): Element Plus 全局接入 zh-cn 语言包(日期控件/分页组件中文) 2026-09-06 01:44:06 +08:00
huangzd1997 e88bf5322b task-155(Java 菜单树与 Flyway): 新增 V100 迁移(admin 菜单 route_path 更新) 2026-09-05 18:01:14 +08:00
huangzd1997 40224d8e56 fix(backend-java): 收口并发资源与恢复链路 2026-09-05 14:44:00 +08:00
huangzd1997 d3b499b596 feat(admin): 店铺重复检查导出「站点」列改「国家」中文显示；撞款抽屉按点击处定位 
- 导出 CSV 列头 站点→国家，值映射中文（DE德国/UK英国/FR法国/IT意大利/ES西班牙，未知回退原值）
- 撞款详情抽屉以触发元素为垂直锚点并钳制在视口内，不再贴区块/页面顶部导致看不见需上滑
- 同步 Java 静态托管副本；更新 Java/Python 相关断言
 2026-09-05 01:53:12 +08:00
huangzd1997 d6b223ba25 task-199: 超保留期活跃 job 巡检 SQL（06_over_retention_active_job.sql，RUNNING 超24h 候选，清理走 stuck 扫描）+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 b6cf693e05 task-198: 终态任务活跃 job 巡检 SQL（05_terminal_task_active_job.sql）+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 187c123071 task-197: 结果缺文件候选巡检 SQL（04_result_missing_file.sql，OSS 对象存在由 Java 反查）+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 402c3e2cb3 task-196: 终态任务缺结果巡检 SQL（03_task_missing_result.sql，SUCCESS/FAILED 无结果）+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 7f7090f433 task-195: 孤儿结果(payload) 巡检 SQL（02_orphan_result.sql，biz_file_result 无父任务）+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 bcd5879a08 task-194: 孤儿 task_file_job 巡检 SQL（01_orphan_job.sql，只读 SELECT 反连无任务/结果；base 提供 8 项静态契约）+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 05bda8915a feat(admin): 店铺数据重复检查撞款抽屉样式优化与导入测试按钮
Build Backend JAR / build (push) Has been cancelled
Details 
- 撞款详情抽屉：上架时间默认降序（晚到早）、去掉列头（按时间升序）小括号、加宽至 760px、
  去掉全屏遮罩（底层仍可点击）、抽屉贴到「撞款详情」区块位置而非浏览器顶部
- 修复抽屉 fixed 定位失效：.tab-panel.active 入场动画带 transform 会成为包含块，
  打开时把 drawer mask 挂到 body 下恢复视口定位
- 新增导入（新增-测试）/ 导入（删除-测试）按钮与上传弹窗，对应后端端点
  /api/admin/shop-data-crawl/duplicate-check-import（ADD=按店名替换基线记录、DELETE=移除该店记录）
- 新增 ShopDataDuplicateCheckImportService 导入服务（复用 WorkbookParser/Aggregator，与扫描共用 Redis 锁）
- 新增 3 个单测：导入替换重聚合、删除移除、无基线报错
- _preview_mock.py 加入 .gitignore（本地预览工具不入库）
 2026-09-04 12:25:31 +08:00
huangzd1997 8241cd704e feat(admin): A1 管理后台收敛 Java 单后台完整实现并修复 guard 误拦内部令牌
Build Backend JAR / build (push) Has been cancelled
Details 
- Java 补齐后台全部迁移差集:shopduplicatecheck 店铺数据重复检查模块(V108 扫描表+查询/扫描服务)、
  PinyinAbbrUtil 拼音缩写、ImageHistory 接口调整为内部可用、AdminUser 支持内部令牌操作并放宽列表上限
- Flask 后台 admin_api.py 路由收敛转发 Java、admin.html/admin.js 适配新后台形态
- AdminApiGuardFilter 对可信 X-Internal-Token 放行(controller 自校验兜底),修复客户端仅凭
  内部令牌调用 /api/admin/shop-manages/credential 被误拦 401
- 测试:AdminApiGuardFilterTest 补可信/假令牌用例;AdminUserServiceTest 补菜单权限 mock;
  shopduplicatecheck 新增查询/聚合/CSV 单测
 2026-09-04 11:30:09 +08:00
huangzd1997 3420c72c1d fix(oss): 软件版本安装包显式上传公开 client 桶，对齐历史直链布局
Build Backend JAR / build (push) Has been cancelled
Details 
生产 Java 未设 AIIMAGE_OSS_BUCKET，默认桶为私有 nanri-ai-images；而 web_config
历史版本全部存于公开 client 桶(oss.aishufu.top/client/nanri-image/versions/...，
桌面端检测更新匿名下载)。原 uploadSoftwareVersionPackage 走默认桶会把新版本写入
私桶导致客户端无法下载。改为显式写 software-version-bucket(新增可配属性，默认
client，env AIIMAGE_OSS_SOFTWARE_VERSION_BUCKET)并保持 nanri-image/versions/ 前缀。

注：本提交含 OssStorageService 上"软件版本上传"方法与早前 readObjectBytesBounded
改动，为软件版本模块(见 ③)的配套存储能力。
 2026-09-04 10:21:47 +08:00
huangzd1997 bc5d5b3d2e feat(admin): 管理后台页面同源托管到 Java(classpath:/static)并接入 Java 登录 
把 Flask web_source/admin.html 与 static/* 拷入 backend-java resources/static，
经 Spring 默认静态映射同源服务于 api.aishufu.top:18080；/static 根相对引用通过
static/static 子目录镜像零改动保持。页面登录改直连 Java POST /login(cookie+
浏览器持久 deviceId)，登出走 Java POST /logout。新增 AdminConsoleController：
GET /、/admin、/login、/logout 页面转发，及 /api/admin/current-user、
/current-user/menus(管理员角色，返回旧前端契约的 item/items 形状)。admin.js
增加全局 fetch 响应解包(ApiResponse data 展开且保留 data 键,401 跳登录)与
URL 兼容映射层(把 Flask 别名统一到 Java 规范路径)。
 2026-09-04 10:21:24 +08:00
huangzd1997 d0db577a9c 后台店铺数据重复检查独立成菜单：删除店铺导入测试、新增撞款详情卡片区 
- 删除「店铺导入测试」菜单及全部实现：admin.html 面板、admin.js 逻辑、
  admin_api.py 路由/常量/权限映射、Java 默认菜单
- 「店铺数据记录」页内子 tab 移除，只保留店铺数据列表
- 「店铺管理」下新增「店铺数据重复检查」菜单（V106 导入测试菜单保留并新增
  V107 清理 + 幂等插入新菜单，Java 清单同步）
- 新面板：筛选/指标卡/店铺上架分布/矩阵表格/撞款详情卡片区（同 ASIN 跨店
  上架明细，查看明细开抽屉，上架时间倒序）
- 重复扫描结果改为 MySQL 缓存 + 每日定时扫描（start_duplicate_scan_scheduler）
- 新增 test_admin_shop_data_duplicate_check.py 单元测试
 2026-09-04 00:16:14 +08:00
huangzd1997 152ea6eec0 下线店铺管理-检测店铺密码功能：后台 UI 按钮/徽标、Python 代理路由、Java 接口与 service 全套移除，V105 迁移删除 biz_shop_credential_check 表及历史记录
Build Backend JAR / build (push) Has been cancelled
Details
2026-09-02 16:55:54 +08:00
huangzd1997 664047dbe0 修复店铺数据抓取新店铺归档 daily_file 报 user_id 无默认值 
线上现象：店铺数据抓取任务 26401 失败，错误
"Field 'user_id' doesn't have a default value"，
INSERT 列清单不含 user_id（MyBatis-Plus 对 null 字段跳过该列）。

根因链：
1. V95（97ae8a7）累计文件改为店铺级共享（去 user 维度），
   persistDailyAggregation 新建 daily_file 时删掉了 setUserId；
2. 但 V95 只改了唯一键为 (shop_key, business_date)，未把 user_id 列改可空；
3. 表列 user_id 仍为 NOT NULL 无默认值 → 新店铺首次插入必报错；
   已有 daily_file 行的店铺走 update 分支不受影响，因此只在
   新店铺（如 26401）出现。

修复：
- persistDailyAggregation 新建 daily_file 时补回 setUserId(row.getUserId())，
  新店铺也写入正确归属；
- V104 迁移把 user_id 改可空，兼容存量/历史数据（保留兼容，不再使用）；
- 新增回归断言（新建累计文件必须写入 user_id），
  shopdatacrawl 全包 255 测试全绿，双机已部署验证。
 2026-09-02 14:23:48 +08:00
huangzd1997 8ca5b1d53b task-167: aiimage.http-client.* 配置命名空间（connect/read/call 超时与重试默认值同现状、非法值钳制、env 覆盖）+ 8 条测试；surefire 加 MaxMetaspaceSize 修复 fork 内存崩溃 2026-09-02 08:00:19 +08:00
huangzd1997 5f4fcad2ef 修复双实例 owner-scoped 结果文件 job 被非归属实例误杀
Build Backend JAR / build (push) Has been cancelled
Details 
线上现象：货源查询任务 26402/26400（归属 server-121）在归属机正常推进，
却被 server-110 判为「结果生成失败」，错误为「该任务已绑定到另一台服务实例处理」。

两个缺陷叠加：
1. 两台实例共用一个 RocketMQ consumer group，dispatch 消息被轮询投递；
   worker 对"PENDING + owner 不匹配"的 job 选择本地抢跑，模块层
   ensureTaskOwnedByCurrentInstance 直接抛 TaskOwnerMismatchException，
   异常落进通用 catch 被当成生成失败，5 次抢跑即耗尽 retryCount 并终态失败。
2. runPendingJobs 双重 claim：claimRunnableJobsForOwner 已把 job 翻成 RUNNING，
   随后又走 claimRunning（条件 PENDING/FAILED）必然失败 → job 被静默丢弃，
   归属机的定时兜底从未真正生效。

修复：
- worker：非归属实例一律跳过 owner-scoped job；抽出 processClaimed 供已持有
  claim 的调用方使用；processInternal 单独捕获 TaskOwnerMismatchException，
  只 deferRunning 退回 PENDING，不计入重试。
- TaskFileJobLocalDispatcher 新增 dispatchClaimed。
- dispatch 事件带上 owner，coordinator 按归属路由：本机 owner 直接本地派发不发 MQ，
  他机 owner 不发不跑交由归属机轮询接手，owner 为空维持原有 MQ 行为。
- 新增 owner 路由回归测试两组，回滚配合"本地抢跑"的旧断言。

同时提交此前工作区内已随 JAR 上线的 backend-java 改动：SimilarAsin 解析载荷
groups 内嵌 items（Python 旧链路兼容）与 chunk 类型不匹配跳过、
PermissionMenuSchemaInitializer 与 V103 两级菜单分组迁移、相关测试。
 2026-09-01 21:07:25 +08:00
huangzd1997 fa5a59e5cd task-116: 后台管理新增/导入表单弹窗化 + 分组管理独立菜单与UI优化 + 轻量进度端点
Build Backend JAR / build (push) Has been cancelled
Details 
- 后台管理页（admin）所有面板的新增/导入表单改为弹窗操作，原有字段 ID 全部保留、提交逻辑不变；导入删除入口不再触发二次确认拦截
- 分组管理升级为独立菜单（V102 + schema initializer），移除 5 个面板内的管理分组按钮；分组列表改为蓝白主题、增加权限分组横幅
- Python 侧 group-manage 权限守卫（_ensure_backend_menu_access 补充 group-manage）
- 引入 V101（biz_task_file_job 复合索引）+ 新增 TaskProgressLight/TaskFileJob 轻量端点与进度聚合作
- 前端 progress-light / page-separated-loads / dispatch-guard 共享模块及单元测试
 2026-09-01 12:54:13 +08:00
huangzd1997 e2607ab723 task-98: 移除 similar-asin/appearance-patent 模块 Coze，状态机与共享组件改名 LLM
Build Backend JAR / build (push) Has been cancelled
Details 
- similarasin/appearancepatent 模块全部 Coze 工作流调用改走 direct-LLM（已确认唯一运行路径）
- 共享组件改名：CozeTaskQueueGate→TaskQueueGate、CozeGroupResultPropagator→GroupResultPropagator
- 状态机改名：biz_task_scope_state 的 coze_* 列→llm_*、stateJson coze 键→llm（V100 迁移已应用生产）
- 删除 biz_coze_credential 表、CozeCredential* 类、SimilarAsinCozeClient、AppearancePatentCozeClient→LlmClient
- 前端 brand 页 Coze 文案→LLM；Python 后端删除 cozepy 依赖与死配置
- 修复 TaskResultFileJobWorker 启动失败：TaskFileJobConfig 注册 ResultFileJobHandlerRegistry 与 13 个 handler bean（含 validateCoverage 启动校验）
 2026-09-01 02:20:50 +08:00
huangzd1997 c8cd851b2f feat: 外观专利改直连 LLM（DeepSeek/Gemini）、无效ASIN菜单更名 BRAND_DB、紫鸟店铺索引场景化
Build Backend JAR / build (push) Has been cancelled
Details 
- AppearancePatent：Coze 工作流切换为 llm-host 直连模型（title/appearance 双模型、行并发、重试），配置键迁移并保留旧环境变量兜底
- InvalidAsinDataMapper 补充按值+品牌唯一键查询
- ZiniaoShopIndexService 新增店铺分类/索引场景
- V98：无效ASIN菜单 rename 补充 BRAND_DB；docs 架构优化规划
- 配套单测更新
 2026-08-31 17:04:59 +08:00
huangzd1997 7f4737c800 feat: 店铺密码检测任务（后台发起→客户端领取→紫鸟真实登录判定→回传结果） 
- 新增 biz_shop_credential_check 表（V99）与 ShopCredentialCheck 全链路
- Controller /api/admin/shop-credential-checks（create/poll/report/latest，X-Internal-Token 鉴权）
- ShopManageService 列表附带 latestCheck（每店铺最近一次检测结果）
- 客户端通过 poll 领取（60s 轮询、原子置 RUNNING），报告 SUCCESS/FAILED/OTP_REQUIRED/NO_NEED_LOGIN/ERROR
 2026-08-31 17:02:49 +08:00
huangzd1997 26f4bb3f25 后台菜单重构：菜单类型分组排序（软件在前/后台在后）、新增同类型末尾排序；任务中心分组移除，视频任务记录归入记录与版本、店铺数据记录归入店铺管理；界面名词优化（菜单权限配置/去重数据汇总/无效ASIN数据/视频任务记录/店铺数据记录/生成记录）
Build Backend JAR / build (push) Has been cancelled
Details
2026-08-31 01:48:05 +08:00
huangzd1997 483374744a fix: Spring 多构造器类显式 @Autowired 标注 + V95 迁移兼容 MySQL 8.4
Build Backend JAR / build (push) Has been cancelled
Details 
- CapacityPlanService / ExternalCallMetricsRecorder / ZiniaoClientImpl：
  双构造器（生产 + 测试入口）导致 Spring 6 不自动推断构造器注入，
  启动报 'No default constructor found'；生产构造器显式加 @Autowired
- V95：shop_key 列 V85 建表时已有，原 ADD COLUMN shop_key 会报
  duplicate column；MySQL 8.4 不支持 ADD COLUMN IF NOT EXISTS，改
  information_schema 动态 SQL；shop_key 缩到 VARCHAR(255) 以容纳
  (shop_key, business_date) 唯一键（1000 在 utf8mb4 下超 3072 字节
  索引上限）；删除多余行改为单表 DELETE
 2026-08-31 01:09:19 +08:00
huangzd1997 c517711169 task-80: 补充 JVM 堆、直接内存、临时磁盘和连接池容量配置说明 2026-08-30 22:30:56 +08:00
huangzd1997 04f45bebec task-76: JSON owner 查询迁移到显式列并补充任务/状态复合索引 2026-08-30 20:51:07 +08:00
huangzd1997 97ae8a7c51 店铺数据抓取累计文件改为店铺级共享，按国家覆盖更新 
同店同日在不同账号下产生多份互不相干的累计文件（唯一键含 user_id），
后台管理页每店只显示最新一份，其他账号抓的国家看起来丢失。

- V95 迁移：加 shop_key/country_codes_json/compensation_done 列，按店铺
  合并存量 daily_file 与成员行，唯一键改为 (shop_key, business_date)
- DailyFileService：findForUpdate/findOlder/acquireLock 去 user 维度，
  店铺级锁跨账号串行
- TaskService：聚合按店铺定位；applyCountryCoverage 按国家覆盖（本次
  回传的国家替换旧行，未更新的国家保留）；启动补偿组件按成员快照重建
  合并文件并回填国家列表
- 管理页：country_codes 改从 daily_file.country_codes_json 取，行数用
  累计文件实际值
 2026-08-30 16:30:09 +08:00
huangzd1997 1127e9c8bb task-50: 结果明细批量 upsert 写入器与唯一键幂等 
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item：一次批量查询现有行（payload_hash 相等即跳过），
分批发 INSERT ... ON DUPLICATE KEY UPDATE，替代逐行 select/insert/update；
旧格式逐行 payload 升级为引用时物理删除（引用计数兜底）。CollectDataService
submitResult 接入批量写入，移除逐行 upsertResultItem。
 2026-08-30 15:32:55 +08:00
huangzd1997 98c45486fa task-48: invalid ASIN 记录改为批量 INSERT IGNORE/upsert，唯一键扩为 (data_value, brand) 2026-08-30 14:11:59 +08:00
huangzd1997 b92d3e688d task-47: 品牌检查结果任务内短期缓存，避免同品牌重复远程调用 2026-08-30 13:53:38 +08:00