super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,254 Commits 1 Branch 0 Tags
dc6e8924a923703743a2cfb68ace4505612c9b68
Commit Graph

19 Commits

Author SHA1 Message Date
huangzd1997 dc6e8924a9 refactor(品牌工具页): 历史轮询抽为 useHistoryPolling 
QueryAsin / Withdraw / PatrolDelete 三页逐字相同的 startHistoryPolling /
stopHistoryPolling 收敛为 shared/composables/useHistoryPolling：定时器走各页
categorized-timers（category 固定 history-poll），间隔默认主轮询的 2 倍。
categorized-timers 补 CategorizedTimers 类型导出；补注入式假定时器单测 5 例。

净减约 40 行；vue-tsc 构建与 695 个前端单测通过。
 2026-09-13 23:22:49 +08:00
huangzd1997 882ccdac12 refactor(品牌工具页): 抽取 formatDateTime 与 uploadPathsToJava 公共工具 
- 新增 shared/utils/datetime.ts：13 个品牌页逐字重复的 formatDateTime 收敛为一处；
  语义不同的 3 个变体（toLocaleString / 字符串切片 / 支持时间戳）保留不动
- 新增 shared/utils/upload-to-java.ts：10 个品牌页的上传循环收敛，api 依赖注入便于单测；
  保留 uploadOss（品牌Tab）与 returnEmptyWhenUnavailable（跟价）两处行为差异
- 补 datetime / upload-to-java 单测 10 例

净减约 327 行；vue-tsc 构建与 690 个前端单测全通过
 2026-09-13 23:16:59 +08:00
huangzd1997 48ee76d60d fix(patrol-delete): 任务跑完不出现「下载结果」按钮——轮询在任务终态即停，而结果 Excel 由 Java 侧 MQ 异步生成，两者时间窗内前端本地的 fileReady 永远停在 false 
现象：任务 27547（用户 996）15:06:31 创建、15:12:20 完成，结果文件 15:12:20 已生成并上传 OSS
（result/patrol_delete/.../巡店删除-27547.xlsx，4033 字节，直链与 /results/{id}/download 均 200），
但页面上始终没有下载入口，用户只能靠刷新页面才刷出来。

排查（生产日志时间线）：结果文件任务 15:12:10 入队（MQ）、15:12:20 完成；前端最后一次拉取
history/progress 是 15:12:12，之后客户端再无任何请求——即前端是在 fileReady 尚为 false 时停的轮询。

根因：waitForTaskTerminal 只认 taskStatus（SUCCESS/FAILED）就 return，随后 clearActiveQueueTask()
令 hasQueueWork=false、stopHistoryPolling() 停掉历史轮询，refreshTaskViews() 也只跑这一轮。
taskStatus 是 Python 端回传完毕的信号，而 Excel 是 Java 收尾后（finalizeTaskWorkbook →
enqueueAssembleResult）异步生成的，中间有数秒到数十秒间隔；错过就再也不会刷新，本地 fileReady
永远为 false，canDownload() 恒假 → 历史记录里不渲染「下载结果」按钮。

修复：
① 新增 isResultFilePending()：判定「确实有文件任务在生成」（fileJobId 存在或
   fileStatus=PENDING/RUNNING），文件已就绪（fileReady/downloadUrl）或已终态
   （SUCCESS/FAILED）则不再等待；全部店铺失败的任务本就不生成文件（fileStatus 为空），不会被误等。
② waitForTaskTerminal 在任务终态后继续轮询至文件就绪，上限 MAX_FILE_WAIT_ROUNDS=12（≈2 分钟），
   期间 queuePushResult 提示「正在生成结果文件（n/12）」，超时打 warn 后按终态返回，不阻塞队列。
③ 新增 settlePendingResultFiles()：页面加载时若历史里存在「任务已完成、文件仍在生成」的记录
   （在生成窗口内刷新页面/重开客户端的场景），继续轮询收敛，避免同一个坑的另一个入口。
   仅在无未完成任务时执行，避免与 processQueue 重复轮询。

与同类页面对齐：BrandAppearancePatentTab 早已用 pendingFileTaskIds 等文件就绪再停轮询，
巡店删除页缺这一环。日志按规范用中文，关键分支（等待/超时/收敛完成）均有输出便于线上排查。
 2026-09-10 15:26:59 +08:00
huangzd1997 6fe67b648f feat(patrol-delete): 删除条件改为添加式交互——输入后回车/点添加逐个加入chips列表(可单项移除)，去掉原'保存到条件库+勾选'两步式与已知状态下拉，启动时随任务携带条件 2026-09-09 19:06:27 +08:00
huangzd1997 96e93944d9 fix(patrol-delete): 删除条件为空的任务四层拦截——①前端启动前拦截(不再先创建后失败,避免任务残留执行中)并创建时上传delete_conditions ②Java服务端校验删除条件非空(旧版本/直调兜底) ③Python端空条件直接按失败上报,不再逐店空转 2026-09-09 18:59:45 +08:00
huangzd1997 83cb3ff84e style(frontend): 全站背景图 webp 化(bg.jpg 4MB→251KB 压缩 + bg.webp)＋品牌工具页默认策略调优（品牌检测默认改精确匹配 Simple、Terms 后置）＋任务面板/登录页/亚马逊控制台观感微调 2026-09-09 18:32:56 +08:00
huangzd1997 e248b6e43a feat(web): 前端 SPA 化 + 工具页任务面板统一与历史批量删除 
- SPA 化：22 个 MPA html 入口与 *-main.ts 合并为 index.html + vue-router（URL 无 .html 后缀），
  页面跳转全部 router-link，/new_web_source/xxx.html 旧路径归一为 /xxx
- 任务面板统一：共享 TaskCenterPanel/TaskItemCard/TaskStatCards/HistoryTaskLayer，
  16 个工具页右侧统一为统计卡 + 当前任务 + 历史任务弹层（任务ID/开始/结束/状态必展示）
- 历史记录支持单条删除 + 批量勾选删除（确认框/全选/失败提示）
- Java 7 模块（dedupe/convert/split/productrisk/shopmatch/pricetrack/deletebrand）
  history 接口补齐任务时间字段（VO+Service，复用 biz_file_task 列）
- 图片工作台/API 层（brand/permission/user）既有未提交改动一并提交
 2026-09-08 10:02:55 +08:00
huangzd1997 d2301db292 feat(frontend-vue): 亚马逊运营工具台与新功能页接入——新版工具台(amazon-console+tool-catalog)、品牌检测/ASIN变体采集/查询ASIN 三个工具页 Vue 化并对接既有后端与桌面桥接；桌面首页/登录页 Vue 化(沿用旧视觉)；补充 vc_*/get_device_id/save_file_from_url 桥类型、dev 代理；品牌默认勾选排名+FBM；修正 query-asin 标题 
含未提交新版改造累积：Brand*Tab 套入工具台壳(AmazonToolPageShell/AmazonTopBar)与目录/权限联动。
 2026-09-07 11:06:05 +08:00
huangzd1997 417a2bf831 后台店铺数据记录页新增 Tab 切换与重复 ASIN 分析；task-169/170 HTTP 客户端配置接入；dedupe/brand 相关改造
Build Backend JAR / build (push) Has been cancelled
Details 
- 管理后台：店铺数据记录改为列表分页展示（去任务号/文件列/累计标题，'最新'改'更新时间'），新增'重复 ASIN' Tab 按跨店聚合展示 ASIN/店铺/分组/国家/日期/价格；修复失败/进行中任务被过滤不显示的问题
- task-169: BrandCheckHttpConfigResolver 从 aiimage.http-client.* 读取品牌检查超时/重试（默认同现状、钳制），附 8 条测试
- task-170: surefire 内存调整为 1536m
- dedupe: DedupeRunService 重构（事务边界/进度）、新增 DedupeRunProgressVo、Controller 与结果 VO 调整，PermissionMenuService 相应适配
- brand/dedupe 前端：BrandDedupeTab/BrandPatrolDeleteTab 改造、新增 CountrySelector 组件与 country-options、类型与接口端对齐、测试更新
- 移除无引用文件：backend/static/logo.jpg、prompts/
 2026-09-03 01:57:41 +08:00
huangzd1997 759f0b15d8 task-101: 上传/解析/入队三道前端拦截，阻止坏数据卡死 Python 自动化
Build Backend JAR / build (push) Has been cancelled
Details 
新增 shared/dispatch-guard.ts（纯 TS 校验，可单测）与 dispatch-guard-ui.ts
（ElMessageBox 弹窗层），在数据流的三个位置设闸：

- 选文件：空选择、非 xlsx/xls/csv、空路径直接拦；重复文件弹确认
- 解析结果：taskId 非法、totalRows 为 0、整批行被丢弃、需要分组却无分组直接拦；
  部分行被丢弃弹确认后才允许推送
- 入队前：结构不符、必填字段缺失、items/groups/country_codes 为空数组、
  行数页数为 0、JSON 不安全值（NaN/Infinity/BigInt/循环引用/数组洞）

覆盖 11 个推 Python 队列的 Tab 与 dedupe/split/convert 三个纯 Java Tab。
闸位按 Tab 挑选以免留下孤儿后端状态：collect-data 校验前置到
activateCollectDataTask 之前（任务保持 PENDING 无需回滚）、product-risk 的国家
检查提到建任务之前；已建任务后才拦下的复用各 Tab 原有失败补偿路径。

两处边界：对象属性 undefined 放行（taskNo 这类可选字段是惯用写法），只拦数组
元素 undefined 与数组洞；price-track 的 asin_rows_by_country 仅在 mode=asin
时要求非空，status 模式下 loadAsinRowsForAppClient 本就返回 {}。

顺带修复 similar-asin / appearance-patent 的 selectFiles 缺少 try/catch，
上传失败会残留上一批文件与解析结果。

测试：tests/dispatch-guard.test.ts 新增 37 个 test_task_101_* 用例。
 2026-09-01 12:53:12 +08:00
super cbde22ec79 视频任务管理更新 2026-07-19 22:23:26 +08:00
super 2ed1250604 增加公共下载进度、增加接收SKU、密钥分别存放 2026-05-28 16:41:20 +08:00
koko 1ecce13814 fix: update patrol delete progress handling 2026-05-02 02:03:49 +08:00
super aece8123c3 完善多店铺开启多窗口、外观进度条等 2026-05-01 21:09:54 +08:00
super c6ecfb5b77 优化后台业务 2026-04-30 11:36:58 +08:00
super 995e2ee65a 后端架构更新 2026-04-27 09:18:10 +08:00
super 326f78705d 完成查询asin开发 2026-04-23 20:48:57 +08:00
super 34bc980eea 完成后端架构重构等 2026-04-23 15:25:41 +08:00
super 236b73755c 处理后台管理系统、修复BUG、处理权限 2026-04-22 01:09:28 +08:00