super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,221 Commits 1 Branch 0 Tags
cd055f8ccdd0615aef36a30439b815b505a9d385
Commit Graph

1221 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
huangzd1997 cd055f8ccd fix(内存): 两处无界内存风险加固——brand-check 线程池改有界队列+CallerRuns（大批量检查不再无界堆积 OOM）；OSS readObjectBytes 加 20MB 读取上限防大对象误用 OOM 2026-09-11 16:09:50 +08:00
huangzd1997 c2915036d6 fix(调度): 双节点下 collect-data/publish/image-video 定时调度加 Redis 分布式锁互斥——双活原来各自扫描执行同一批任务，重复派发/重复终态判定 2026-09-11 16:09:46 +08:00
huangzd1997 8dc03df95b feat(task): 客户端崩溃恢复接口 POST /heartbeat/{taskId}/interrupted——客户端重启发现上次进程崩溃时立即把残留 RUNNING 任务标终态，替代最长等 30 分钟的心跳超时兜底 2026-09-11 16:09:42 +08:00
huangzd1997 bb74c9a192 fix(task): 新增陈旧任务自动修复兜底——历史任务永久停留中间状态的排查与兜底 
生产库排查发现三类脏状态：陈旧 PENDING/SCHEDULED 无调度器再捞（243条）、
心跳残留的万年 RUNNING、SUCCESS 但结果报错（上报契约问题）。
已手工修复 269 条；本提交补常驻兜底：每 10 分钟检查 PENDING/SCHEDULED/RUNNING
心跳（updated_at）超 120 分钟即标 FAILED，分布式锁防双实例重复。
只用心跳线、不限制总时长——超长真活任务不会被误杀。
 2026-09-11 16:03:01 +08:00
huangzd1997 32985c78f3 feat(下载): 工具页统一下载进度条——AmazonToolPageShell 挂载 DownloadProgressPanel 
进度条组件原先只挂在 ImageVideoPage 内的 BrandTopBar，而所有工具页（货源查询/去重/拆分/
转换/删除品牌/外观专利/跟价/商品风险/巡店删除/取款/查询ASIN/匹配店铺/采集数据等）都经
AmazonToolPageShell 渲染，导致这些页面下载结果时没有任何进度展示。

在外壳挂载后一次覆盖全部工具页：面板 position:fixed 且数据来自全局 store，跨页面切换不会
丢进度；桌面客户端下载走 pywebview 进度事件，浏览器 Web 版本就无下载能力。
 2026-09-11 15:43:58 +08:00
huangzd1997 8e684b92dd fix(下载): 各模块结果下载由流式代理改 302 重定向到对象存储直链——原实现在 Controller 内边读边写代理整个文件，请求线程被下载时长占满；且恒回 200 全量，客户端 Range 断点续传实际失效 
覆盖 brand（/tasks/{taskId}/download）、delete-brand（任务 + 结果两处）、appearance-patent、
patrol-delete、price-track、withdraw、query-asin、product-risk、shop-match、shop-data-crawl
共 10 个 Controller，与既有的 convert/dedupe/split 302 实现对齐（ResponseEntity.status(FOUND)
.location(直链) + Cache-Control no-store），并补重定向 info 日志便于排查。

前端各 tab 本就通过 saveUrlWithProgress(url, filename) 传入文件名与下载 id，不依赖
Content-Disposition，故无需前端改动即可同时获得断点续传与进度回调。
验证：两节点重启后逐个实测 11 个端点均 302（含 brand 任务下载与巡店/跟价的有文件记录）；
无文件时保持既有业务错误响应（HTTP 200 + success:false）。
 2026-09-11 15:43:46 +08:00
huangzd1997 d54dbf72c9 fix(similar-asin): 结果文件下载改 302 重定向到对象存储直链——原流式代理让请求线程被整个下载时长占满，货源结果单文件常见 100MB+（任务 27609 达 130MB），并发下载即拖垮 Tomcat 线程池；且代理恒回 200 全量，客户端 Range 断点续传实际失效 
原实现在 Controller 内 openStream 边读边写把整个对象代理给客户端，改为
ResponseEntity.status(FOUND).location(直链) 后：① 请求线程立即释放（实测响应
从"随下载时长占用"降到 ~10ms）；② 直链支持 Range，save_file_from_url_new 的
断点续传才真正生效。前端本就优先用 item.downloadUrl 直链、该接口仅兜底且客户端
保存名由前端传入不依赖响应头，故无需前端改动。补一条重定向 info 日志便于排查。
 2026-09-11 12:03:57 +08:00
huangzd1997 94a0c287e0 feat(客户端更新): 登录页/首页更新面板显示更新包下载进度条 
- 新增 shared/utils/update-progress.ts：进度事件解析/百分比钳制/文案格式化（纯函数）
- 新增 shared/components/UpdateProgressBar.vue：两页共用，失败态琥珀色并停在断点
  百分比、总大小未知走不确定态
- useVersionUpdate：先挂监听再发桥调用（避免丢首帧），监听 pywebview-update-progress
  （Python 侧 evaluate_js 推送，同 pywebview-download-progress 约定）；失败保留上次进度
- 测试：tests/update-progress.test.ts（8 用例）

兼容：老客户端没有该事件源，进度条不出现，其余行为不变（优雅降级）。
注：本仓库 modules-withdraw / modules-image-video 有 3 个既存失败用例（隔离复现），
与本次改动无关；全仓库仅新增测试引用本次新增模块。
 2026-09-11 01:59:42 +08:00
huangzd1997 47b2758fe8 fix(security): /debug/** 纳入兜底鉴权——修复 debug 端点可被匿名调用（含写操作） 
2026-09-11 实测确认（本机公网直连）：
  http://47.110.241.161:18080/debug/request-info        → 200 匿名返回实例元数据
  http://api.aishufu.top:18080/debug/request-info       → 200
  https://api.aishufu.top/debug/request-info            → 200
根因：SecurityConfig 是 anyRequest().permitAll()，唯一兜底过滤器 AdminApiGuardFilter 只覆盖
/api/admin/**（shouldNotFilter 对其它路径一律放行），而 modules/debug 两个控制器均无
@Profile/@ConditionalOn*/@PreAuthorize。其中 POST /debug/task-recovery/run-stale-finalize
是强制收尾指定 task 的写操作。

修法：不删端点（stale-task-finalize-guidelines.md 明确把该接口列为线上应急工具），
改为把 /debug 前缀纳入既有兜底过滤器——URL 不变、runbook 不破、复用已测鉴权逻辑，
应急调用方改用 X-Internal-Token 或管理员 JWT 即可通过。
另加 /debug 放行审计日志，便于事后追溯这类低频敏感调用。

单测 13 个全绿（新增 5 个）：匿名调 /debug/request-info 与 run-stale-finalize 均被 401 拒绝、
带内部令牌可直达 controller、/debug 裸前缀纳入保护、/debugging 与 /debug-tools 等
同前缀不同段的路径不被误伤。
 2026-09-11 01:33:58 +08:00
huangzd1997 dd45ffe34c chore(清理): 删除死代码与过期文件——7个无引用DTO+图片工作台整棵子树(16文件)+冗余副本+一次性脚本+可再生审计快照 
每项删除前均做过全仓库引用核对（含 tests/、两个前端、Python 侧）：
- Java 7 个 DTO：BrandTaskRunRequest、LegacyBrandTaskCreateVo、Ziniao{SwitchShopRequest,CurrentShopVo,LoginUrlVo,SwitchShopVo}、
  AppearancePatentParsedGroupManifestDto —— 全仓库仅命中声明行本身
- frontend-vue 整棵 src/pages/image/（16 文件）：9a487ae9 起首页一级入口已删（"图片已并入视频页"），
  该子树完全自闭环；同步移除 /image 路由与 ImageVideoPage 的图片入口
- frontend-vue 两个孤儿组件 AiModuleSwitch/AiWorkflowShell：无引用，且位于 src/shared/components
  而非 unplugin-vue-components 默认扫描的 src/components，不存在自动注册
- backend/tool/devices.py + .device_id：app_client/tool/devices.py 的冗余副本（活的是 app_client 那份），
  app.py 只注册 version_bp，无任何引用
- admin-frontend-vue 的一次性 Playwright 调试脚本 rescan.tmp.mjs / diag-role-price.mjs
- backend-java/scripts/*_report.json ×4：可由 n1_scan.py 等重跑的审计快照
- frontend-vue/DESIGN.md：Last refreshed 2026-06-09，仍是 MPA 时代内容
- backend/requirement.txt：pip freeze 63 条裁剪为实际 import 的 5 条；run.sh 硬依赖该文件存在，故保留文件本身

验证：mvn compile 通过、vue-tsc --noEmit 通过、残留引用 grep 零命中。
注：仓库既有的 4 个失败测试类（FlywayMigration*DocTest、MigrationInventoryTest、HttpClientTimeoutEffectiveTest）
经 stash 对照实验确认与本次改动无关（相同 Failures/Errors 计数）。
 2026-09-11 01:33:54 +08:00
huangzd1997 48ee76d60d fix(patrol-delete): 任务跑完不出现「下载结果」按钮——轮询在任务终态即停，而结果 Excel 由 Java 侧 MQ 异步生成，两者时间窗内前端本地的 fileReady 永远停在 false 
现象：任务 27547（用户 996）15:06:31 创建、15:12:20 完成，结果文件 15:12:20 已生成并上传 OSS
（result/patrol_delete/.../巡店删除-27547.xlsx，4033 字节，直链与 /results/{id}/download 均 200），
但页面上始终没有下载入口，用户只能靠刷新页面才刷出来。

排查（生产日志时间线）：结果文件任务 15:12:10 入队（MQ）、15:12:20 完成；前端最后一次拉取
history/progress 是 15:12:12，之后客户端再无任何请求——即前端是在 fileReady 尚为 false 时停的轮询。

根因：waitForTaskTerminal 只认 taskStatus（SUCCESS/FAILED）就 return，随后 clearActiveQueueTask()
令 hasQueueWork=false、stopHistoryPolling() 停掉历史轮询，refreshTaskViews() 也只跑这一轮。
taskStatus 是 Python 端回传完毕的信号，而 Excel 是 Java 收尾后（finalizeTaskWorkbook →
enqueueAssembleResult）异步生成的，中间有数秒到数十秒间隔；错过就再也不会刷新，本地 fileReady
永远为 false，canDownload() 恒假 → 历史记录里不渲染「下载结果」按钮。

修复：
① 新增 isResultFilePending()：判定「确实有文件任务在生成」（fileJobId 存在或
   fileStatus=PENDING/RUNNING），文件已就绪（fileReady/downloadUrl）或已终态
   （SUCCESS/FAILED）则不再等待；全部店铺失败的任务本就不生成文件（fileStatus 为空），不会被误等。
② waitForTaskTerminal 在任务终态后继续轮询至文件就绪，上限 MAX_FILE_WAIT_ROUNDS=12（≈2 分钟），
   期间 queuePushResult 提示「正在生成结果文件（n/12）」，超时打 warn 后按终态返回，不阻塞队列。
③ 新增 settlePendingResultFiles()：页面加载时若历史里存在「任务已完成、文件仍在生成」的记录
   （在生成窗口内刷新页面/重开客户端的场景），继续轮询收敛，避免同一个坑的另一个入口。
   仅在无未完成任务时执行，避免与 processQueue 重复轮询。

与同类页面对齐：BrandAppearancePatentTab 早已用 pendingFileTaskIds 等文件就绪再停轮询，
巡店删除页缺这一环。日志按规范用中文，关键分支（等待/超时/收敛完成）均有输出便于线上排查。
 2026-09-10 15:26:59 +08:00
huangzd1997 5af4e1c23e fix(admin-vue 查询ASIN): 列表筛选/分页参数对齐后端 snake_case，导出 XLSX 带上当前筛选 
- query-asin-filter: toQueryAsinQuery 输出 page_size/group_id/shop_name（35bed42b 后端已改显式 snake，
  camel 参数被静默忽略导致分组/店铺名筛选无作用、pageSize 固定回落 15）
- 新增 query-asin-export: 按当前筛选构建导出 URL，页面「导出 XLSX」不再恒为全量
- query-asin-import-api: 导入兜底分组 groupId→group_id（后端 importExcel 已改名，此前同样被丢弃）
- query-asin-delete-import-api: 保持 groupId 并加注释（后端仍隐式 camel，统一需两端同步部署）
- task-71 测试断言更新为 snake 契约（含 camel 不下发反断言）+ 新增导出 URL 用例

已上线 admin-vue-20260910-145200，线上 chunk 验证含 snake 参数；task-71 10/10 通过，vue-tsc 通过
 2026-09-10 14:53:57 +08:00
huangzd1997 b9768aac5e test(shop-data-crawl): 修复 ShopDataCrawlTaskServiceRetentionTest 因构造依赖漏 mock 导致的 NPE——Task 35 给 ShopDataCrawlTaskService 新增了 shopDataCrawlItemStoreService(行级明细落库)与 TaskProgressLightAssembler 两个构造依赖，而本测试的 @Mock 列表未同步更新；@InjectMocks 走构造注入时没有对应 @Mock 的构造参数会被传 null，于是 assembleDailyWorkbook 里的 saveShopBatchFromSnapshot 调用直接 NPE(11 用例 2 失败 5 错误，表现含'期望 IllegalStateException 实为 NullPointerException')。补两个 @Mock 后 11/11 通过，相关模块 310 用例全绿 2026-09-10 14:34:55 +08:00
huangzd1997 08e78ebe55 fix(shop-data-crawl): 累计档迁独立桶 shufu-shop-data 脱离默认桶30天过期规则＋修复批量下载zip恒失败——① 新增 aiimage.oss.shop-data-bucket(默认 shufu-shop-data)：上传侧 resolveBucket 按 SHOP_DATA_CRAWL、读取/删除/直链侧 bucketForObjectKey 按 result/shop_data_crawl/ 前缀双路路由（DB 里存的是裸 objectKey 不含桶名，key 不变故存量对象 mc mirror 即无缝切换），configuredBuckets 纳入新桶，启动自检未配置时告警 ② 批量下载 zip 原直接把 df.result_file_url 当绝对 URL(URI.create().toURL())，裸 objectKey 必抛 no protocol 导致整包 100% 失败，改由 loadDownloadRows 统一走 generateFreshDownloadUrl 拼直链 ③ 补 OssStorageServiceTest 5 用例覆盖此前零覆盖的上传选桶/裸key前缀路由 2026-09-10 14:31:00 +08:00
huangzd1997 6fe67b648f feat(patrol-delete): 删除条件改为添加式交互——输入后回车/点添加逐个加入chips列表(可单项移除)，去掉原'保存到条件库+勾选'两步式与已知状态下拉，启动时随任务携带条件 2026-09-09 19:06:27 +08:00
huangzd1997 96e93944d9 fix(patrol-delete): 删除条件为空的任务四层拦截——①前端启动前拦截(不再先创建后失败,避免任务残留执行中)并创建时上传delete_conditions ②Java服务端校验删除条件非空(旧版本/直调兜底) ③Python端空条件直接按失败上报,不再逐店空转 2026-09-09 18:59:45 +08:00
huangzd1997 0cf20527a4 fix(frontend): 菜单点击偶发无响应三处根因——①路由懒加载chunk失败被静默吞掉(新增onError自动整页重载+保险丝防循环) ②首页入口被权限接口阻塞(改乐观显示+缓存TTL10分钟+超时30s→8s) ③菜单hover预取目标页chunk(工具卡片/工作流步骤/顶部导航) 2026-09-09 18:53:34 +08:00
huangzd1997 83cb3ff84e style(frontend): 全站背景图 webp 化(bg.jpg 4MB→251KB 压缩 + bg.webp)＋品牌工具页默认策略调优（品牌检测默认改精确匹配 Simple、Terms 后置）＋任务面板/登录页/亚马逊控制台观感微调 2026-09-09 18:32:56 +08:00
huangzd1997 9a487ae9a7 feat(frontend): 桌面端首页删除一级「图片」入口——图片已并入视频页(/image-video)二级菜单，首页仅保留 亚马逊/视频，权限计算同步清理 image 分支 2026-09-09 18:32:48 +08:00
huangzd1997 02441565a0 fix(admin-vue): 编辑用户菜单权限已授权回显失效——树数据就绪后 await nextTick 再 setCheckedKeys（el-tree store 异步同步 props.data，旧实现作用在空 store 上勾选丢失），补源码断言防回归测试 2026-09-09 18:32:44 +08:00
huangzd1997 b3f7b81b9c fix(similar-asin): 货源结果图回WPS DISPIMG并修正协议,WPS打开不再#REF/破损 
task-284 曾把图片协议改为 WPS DISPIMG(cellimages.xml),WPS 打开显示 #REF;
9/8 切回 Excel 365 richData 单元格图片后,WPS(用户主环境,12.1 实测)仍不识别,
单元格显示为 #VALUE! 错误值即图片破损。

根因:两套协议都只被单方支持——DISPIMG 是 WPS 私有协议,richData 是 Excel 365 私有协议。
本次回到 WPS DISPIMG(WPS 原生),并修复 WpsCellImageWriter 三处与 WPS 原生产物不一致的
协议细节(此前即 #REF 根因,已在 WPS 12.1.0.28505 实测三图渲染正常):
1. [Content_Types].xml 应为 application/vnd.wps-officedocument.cellimage+xml
2. workbook.xml.rels 关系类型应为 wps.cn/officeDocument/2020/cellImage
3. 公式格需 f t=shared ref + v=公式字符串(POI 输出裸 <f> 且引号转义为 &quot;,
   patch 阶段统一规范化;保留原格样式)
另 spPr 补 a:xfrm(原图尺寸)/a:noFill/a:ln w=9525(实测样本对齐);
patch 幂等(重复 patch 不再 duplicate entry);失败图留空不再写 URL 文本。
新增 WpsCellImageWriterProtocolTest 锁死协议契约防回归。
 2026-09-09 14:25:41 +08:00
huangzd1997 11d1951c7f fix(collect-data): 品牌检测查询失败不再写入无效品牌表，避免故障期误杀永久拉黑 
线上 task-27265 采集结果 0 行的根因：.env 缺 export 导致 Java 请求
16890 不带 X-Token 全线 422 -> 整批 queryFailed，而 filterByBrandCheck
把 queryFailed 与 rejected 一并写入 biz_invalid_asin_data，故障品牌被
永久拉黑，后续任务同品牌商品全部被 invalidFiltered 误杀（9-01 起所有
采集任务均 0 行）。改为仅真正判定无效的 rejected 才写表，rejected 为空
不触发写入；新增 2 个单测固化契约。
 2026-09-09 10:26:56 +08:00
huangzd1997 ffd8c718dd feat(web): 记住密码/自动登录与版本更新放开到网页形态 
- 登录页与首页移除 isDesktopRuntime 门控，网页浏览器同样显示记住密码/自动登录与更新版本入口
- 记住密码由 base64 明文改为 XOR+位移可逆加密存储（v1. 前缀），兼容解密历史值
- 网页形态进入登录页即回填凭据并尝试自动登录（登出/切号导航仍豁免）
- 版本更新在无桌面桥时降级为 OSS 直链下载安装包，桌面端维持自动安装
 2026-09-09 00:13:13 +08:00
huangzd1997 45fdd8a294 feat(software-version): 安装包改浏览器直传 MinIO，支持批量删除 
- 后端新增 /api/admin/version/presign、confirm、delete 端点；直传后服务端校验对象并写 web_config
- OSS 层新增软件版本对象 presign PUT/大小校验/删除与 client 桶 URL 识别
- 后台前端上传改 presign→PUT→confirm 三段式直传，带进度条；成功提示精简为"发布成功"
- 版本列表加勾选/表头全选、批量删除与单行删除；操作按钮样式对齐其他子菜单
 2026-09-08 23:51:18 +08:00
huangzd1997 5fad0ae027 feat(brand): 品牌检测任务统一轮询驱动并展示行级实时进度 
任务面板状态改为独立轮询（getTaskPollIntervalMs 节奏），刷新/提交/取消/删除后
按是否有运行中任务自动续轮询或停表；运行中任务通过详情接口拉取 Redis 行级进度，
进度按"已处理品牌行/总行（含查询失败）"推进并展示 crawling/assembling/uploading 阶段文案
 2026-09-08 22:52:49 +08:00
huangzd1997 3f599547e6 fix(auth): 登录页守卫对登出/切号导航放行判断改读 to.query 
window.location.search 在守卫执行时仍是旧地址，会漏判 /home 点击"退出"的
router-link 导致登出无效果；改为判断路由目标 query 的 logout/switch 参数。
 2026-09-08 22:30:54 +08:00
huangzd1997 7c1c13526e feat(web): 桌面登录页记住密码/自动登录与版本更新，首页版本更新入口与背景修复 
- 登录页(仅桌面端)新增"记住密码/自动登录"勾选与"更新版本"按钮：登录成功持久化凭据
  (base64 存桌面 localStorage)，打开登录页恢复勾选并静默登录；显式登出/切号后关闭自动登录
- 新增 shared/composables/useVersionUpdate 统一版本检测：/api/version/latest 与本机版本比较，
  通过 pywebview 桥 get_app_version 读本地 exe 版本，缺桥时降级为可手动更新
- 首页保留 ↻ 图标并加显式"更新版本"按钮，接入新检测逻辑
- 首页背景改画到 .home-root，避免被 SPA 全局样式时序覆盖导致图不显示
 2026-09-08 22:30:50 +08:00
huangzd1997 15222be2b5 fix(login): 退出登录/切号彻底清除 uid 与 username 登录态 
logout=1 仅清 token，uid 残留会被 main.ts 守卫当已登录自动带回首页，导致退出无效
 2026-09-08 21:54:05 +08:00
huangzd1997 3cc5a64609 fix(brand): 品牌检测提交统一立即执行，去掉无人消费的"添加到队列"模式 
queue 模式只建 pending 无后台消费者，任务会永久停在排队中；统一走 /api/brand/run 立即执行（与历史链路一致）
 2026-09-08 21:54:02 +08:00
huangzd1997 197643a8fa fix: 商标查询失败自动重试、货源结果图切回Excel内嵌防WPS #REF、外观专利标题模型改gemini-3.8-flash 
- brand-check: 单品牌商标查询失败(异常/空响应/query_faild_data 非空)自动重试，
  次数与间隔可配(retry-times 默认3含首次 / retry-interval-millis 1000)，命中侵权不重试；
  collectdata 品牌过滤与外观专利商标核验两侧同时受益
- similarasin: 货源结果Excel图片由WPS DISPIMG 切回 Excel 365 richData 单元格内嵌，
  修复 WPS 打开 DISPIMG 显示 #REF 的兼容回归；下载失败单元格回退为URL文本
- appearance-patent: 标题商标提取模型由 deepseek-v4-flash 切 gemini-3.8-flash
 2026-09-08 19:01:08 +08:00
huangzd1997 ba581ed095 fix(brand): 品牌检测源文件改走 OSS URL（服务端化跨节点组装可用） 
前端上传桥与降级桥透传 uploadOss；品牌页提交时 fileUrl 优先取上传响应的 OSS url，localPath 仅作旧桌面桥兜底。
 2026-09-08 15:19:21 +08:00
huangzd1997 630bfc3eee fix(shop-data-crawl): 后台店铺数据记录改读每店最新累计档，删除任务不再连坐后台 
后台“店铺数据记录”此前以每次抓取的 file_result/file_task 为源，前台删除任务会物理删
这两张表，导致该店在后台退档/消失。现改为以采集归档维护、删除任务时保留的
biz_shop_data_crawl_daily_file 每店最新一档为数据源：
- V113：daily_file 冗余 shop_name 列并回填；归档写档三处入口同步写入
- 列表/批量下载/单档下载/删除端点改按每日累计档 id（daily-files/{id}）
- 管理端删除=真删该店这条数据记录（档+文件+明细），前台任务历史保留但清文件指针
- 明细行 daily_file_id 跨天滚动删旧档时改指新档，修存量悬空引用（另附修复脚本）
 2026-09-08 15:02:25 +08:00
huangzd1997 b12acf7793 docs: 补充规格文档（specs 01-15） 2026-09-08 13:39:10 +08:00
huangzd1997 4ac8f8b472 fix(pricetrack): ASIN文件路径防本地路径误提交+fileKey兜底反查 2026-09-08 13:34:08 +08:00
huangzd1997 7b6f62f1bc fix(brand): 品牌检测补上传链+新增 /api/brand/run 端点+文件夹展开桥 
- BrandBrandTab 对齐其它工具页：选文件/文件夹后先 upload_file_to_java 再提交（服务器可读路径），修复本地路径直传导致的「请先上传待处理文件/没有有效的xlsx文件路径」
- runBrandNow/createBrandTask 改为 files 契约（fileUrl=临时路径 localPath）+ 传 userId
- Java 新增 POST /api/brand/run（等价 /tasks 并返回待爬取数据），修复前端「立即运行」No static resource
- 选择文件夹改走新版桌面客户端桥 expand_brand_folder（本机展开）；旧客户端提示改用文件多选
- 生产 .env 已另配 AIIMAGE_BRAND_CHECK_TOKEN（上游 16890 鉴权），非代码变更
 2026-09-08 13:18:58 +08:00
huangzd1997 f2906e8d6f fix(delete-brand): 分片缺失降级组装收尾+失败兜底生成可下载结果 
- 结果分片缺失 ≤ missingChunkFallbackLimit(默认20) 时降级组装，缺失行标「未回传」，任务不再整体白跑
- 超阈值失败/组装异常时通过 ResultFileJobHandler.fallbackAssembleOnFailure 兜底生成部分结果文件
- 组装失败文案带缺失分片号明细（如 缺失分片: [247]（已收 4283/4284））
- 新增 GET /api/delete-brand/tasks/{taskId}/missing-chunks，补传后自动恢复终态失败组装 job
- stale-check 失败文案改为含最后心跳时间与最近组装失败真实原因（修复误导性「回传长时间无响应」）
- 新增降级合并/缺失分片单测，Handler/Worker 日志审计 stage 白名单补 FALLBACK
 2026-09-08 13:18:58 +08:00
huangzd1997 d9e3f34d37 chore: 移除项目内无用代码（28 文件） 
- 清理任务面板/SPA 化改造遗留的未使用变量与函数（模板管理配套 6 函数、
  payloadForDisplay/showTip/hasRunning/schedulePoll/removeMatchedRowLocally 等 30+ 处）
- 清理未使用 import（getBrandTemplateXlsxUrl/uploadTempFileToJava/getProductRiskTasksBatch 等）
- useTaskProgressLoop 改为仅类型导入；progress/task-request 缓存未用参数精简
- DeleteBrandRunService 删除永不执行的 taskItems 死分支
- 全量 vue-tsc（含 --noUnusedLocals/--noUnusedParameters）0 错误；648 测试全过
 2026-09-08 10:20:30 +08:00
huangzd1997 e248b6e43a feat(web): 前端 SPA 化 + 工具页任务面板统一与历史批量删除 
- SPA 化：22 个 MPA html 入口与 *-main.ts 合并为 index.html + vue-router（URL 无 .html 后缀），
  页面跳转全部 router-link，/new_web_source/xxx.html 旧路径归一为 /xxx
- 任务面板统一：共享 TaskCenterPanel/TaskItemCard/TaskStatCards/HistoryTaskLayer，
  16 个工具页右侧统一为统计卡 + 当前任务 + 历史任务弹层（任务ID/开始/结束/状态必展示）
- 历史记录支持单条删除 + 批量勾选删除（确认框/全选/失败提示）
- Java 7 模块（dedupe/convert/split/productrisk/shopmatch/pricetrack/deletebrand）
  history 接口补齐任务时间字段（VO+Service，复用 biz_file_task 列）
- 图片工作台/API 层（brand/permission/user）既有未提交改动一并提交
 2026-09-08 10:02:55 +08:00
huangzd1997 abcfa5bef7 perf(similarasin): LLM 输入图转存前压缩,规避网关拉图超时 
- 主图/拼图转存 MinIO supply_images 前统一走 SimilarAsinImageEmbedder.resizeImage
  (长边 1280 / JPEG q0.75 / 迭代降质至 ≤150KB),体积 1~5MB → 100~300KB
- 根因:LLM 网关按 URL 拉取 OSS 图片,原图过大偶发 context deadline exceeded
  (convert_request_failed),27117 等任务 1 行 LLM 500 即整任务卡死
- 压缩失败降级原字节不阻断行处理;压缩前后字节数 INFO 日志便于线上排查
- SimilarAsinImageEmbedder.resizeImage 由包私有改 public 供复用
 2026-09-07 22:28:13 +08:00
huangzd1997 83e38d4278 fix(similarasin): LLM 切换 gemini-3.8-flash + 修复双实例 stale 判死盲区 
- 模型切换:glm-5.3-flash / gemini-3.7-flash(类目/合规/图片对比,appearancepatent)→ gemini-3.8-flash
  涉及 SimilarAsinProperties、AppearancePatentProperties、application.yml、TLS 探针与测试断言
- stale 判死盲区:finalizeStaleTasks 去掉 isOwnerCurrent 过滤,改由 job 锁持有实例全局判死
  (任务 27117 线上死因:客户端 done 信号被任务锁拒后断线,owner 过滤导致无人判死,
  被另一实例 job stuck 扫描误判为"文件生成任务运行超时";appearancepatent 同源盲区一并修复)
- 客户端回传重试:3x2s → 8 次,40902 锁忙固定等 15s(app_client/similar_asin.py,随客户端发包生效)
 2026-09-07 22:10:20 +08:00
huangzd1997 50d0d110a2 fix(admin): 后台自定义浮层(modal-mask 3000/导出等待3100)遮挡 Element 消息——ElMessage 全局抬升 z-index 4000、确认消息盒(ElOverlay.is-message-box)抬升 4100,修复去重台账导入/编辑未选分组警告被浮层挡住看不见;新增层级回归测试 2026-09-07 21:35:48 +08:00
huangzd1997 c086d402a7 feat(web): 品牌检测/图片生成服务端化——URL 统一 https+域名，入口文件带 hash 防长缓存失效 
- brand/image 本地执行 API 服务端化（主机A shufu-web-api:15126，nginx 转发 /api/brand/* 等）
- 前端撤销本地回连逻辑（local-http 删除，http.ts/brand.ts 还原为域名相对路径）
- 版本更新改桌面桥 do_update_app（原 Flask /api/update/do 桥化，Web 无更新入口）
- 品牌检测页 Web 可用（hasBridge 恢复 blanket 判定：文件选择走浏览器降级、任务/SSE 走域名）
- vite 入口文件带内容 hash（/assets 配了 immutable 长缓存，无 hash 入口导致更新永不生效）
- public/logo.jpg：Web 版 /logo.jpg 素材（原 app_client/logo.jpg 随桌面瘦身移除）
 2026-09-07 17:11:33 +08:00
huangzd1997 30b8c910e8 feat(web): 桌面端前端 Web 独立部署适配——浏览器降级桥+登录态引导+页面动态修正 
- 新增 web-fallback.ts：无 pywebview 时以浏览器能力降级（文件选择/上传/模板下载/配置），
  其余桌面能力（enqueue_json/vc_*/folder 选择等）保持 undefined 交由页面既有请在本地客户端中打开提示
- 新增 ensure-auth.ts：无 uid 时经 /newApi/check_login 恢复登录态，无 token/失效跳登录页；
  21 个入口 main.ts 挂载前先引导（桌面端已注入 uid 时零开销）
- pywebview.ts：getPywebviewApi() 在纯浏览器环境返回降级桥；新增 isDesktopRuntime 标志
  （首页更新面板/退出链接据此区分桌面与 Web）；hasPywebview 语义修正为真实桥判定
- 登录页跳转、首页登出链接、品牌检测页 hasBridge 判定（select_brand_folder 存在性）适配 Web
 2026-09-07 16:35:19 +08:00
huangzd1997 c5982dd900 feat(admin): 最低价ASIN列表操作列新增整条删除按钮——后端DELETE /skip-price-asins/{id}(权限校验+日志),前端确认弹窗+删空页回退,补单测与对齐测试 2026-09-07 16:05:57 +08:00
huangzd1997 0bd4843b8e fix(admin): 店铺数据记录卡片任务号显示 taskId(file_task.id 短数字 27172 类)——上一提交回退方向反了,查库确认 taskNo 实为 SHOP_DATA_CRAWL-雪花ID 超长串,用户要的是短数字 id;保留任务号样式修复(12px+省略号收缩,状态徽章不被挡) 2026-09-07 15:53:34 +08:00
huangzd1997 e8f0dead9e fix(admin): 店铺数据记录卡片任务号改回短任务号(taskNo优先,反馈taskId过长)——同步删除确认；修复任务号样式类名不匹配(模板shop-card-task-no/样式sd-task-no)致长任务号将'已完成'状态徽章挤出卡片被裁——任务号12px+flex收缩省略号,状态徽章固定可见 2026-09-07 15:41:17 +08:00
huangzd1997 b575059726 feat(admin): 店铺数据记录卡片改一行4个；卡片任务号改为任务id(file_task.id,与桌面端推送/心跳/回传同一id)——taskId优先,taskNo/resultId兜底；删除确认同步；更新对齐测试 2026-09-07 15:34:35 +08:00
huangzd1997 6d6cfcb6ff fix(权限): 店铺数据重复检查仅勾菜单无「店铺数据记录」仍403——校验口径与自动补权对齐(任务/重复检查任一菜单+数据权限即可放行,镜像魏振峰反馈: 只勾103未勾94且数据权限已补仍被拒); 顺带修复 controller 直连 mapper 架构违规 resolveVisibleShopNameKeys 下沉 ShopDataCrawlAdminTasksService 2026-09-07 15:08:43 +08:00
huangzd1997 4994142a67 feat(需求): ①创建/编辑用户菜单权限勾选父菜单自动全选子菜单(el-tree去check-strictly走父子联动,提交前压缩为最小直接授权集,父勾选时后代不重复落库) ②修复管理员勾选店铺数据菜单仍提示'无权查看店铺数据任务'——admin分区授权后若有效授权含店铺数据任务/重复检查菜单(含经'店铺管理'分组展开),自动补内部数据权限 admin_shop_data_crawl_task_data(镜像V84惯例只增不删,回收仍走超管数据范围授权UI) 2026-09-07 14:22:53 +08:00
huangzd1997 e6cf4c2461 fix: 停用登录设备绑定(注释 machine 写入/重绑与 check_login 不一致拒绝)便于多设备/联调；Vue 首页背景图改 /bg.jpg 并补 public 资源、首页/登录布局居中修复 2026-09-07 11:19:42 +08:00