super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,337 Commits 1 Branch 0 Tags
5b8105ec2b66445cbc353f53ed8a3dcd96f21be9
Commit Graph

33 Commits

Author SHA1 Message Date
huangzd1997 9d39705c77 fix(采集数据): 品牌检测移出任务锁 + 失败任务仍产出可下载的部分结果 
taskId 28599 事故根因：分片回传在任务锁内同步做品牌检测，上游 16890 卡死时
单次持锁 103.5 秒（costMs=103556），期间该任务的心跳与客户端重试全部撞
40902「任务正在处理」，客户端 5 次重试预算耗尽后中止了整个采集。

- submitResult：行归一化 / 去重过滤 / 品牌检测移到任务锁外，锁内只保留落库与终态
- BrandCheckClient：整批加 90 秒总耗时上限（超时按查询失败降级，首轮始终执行），
  单次回传时延从「无上界」收敛到约 90 秒 + 一次读超时
- 失败且已收到分片时照常组装部分结果；任务已 FAILED 则保留失败态与真实失败原因，
  只补结果文件（乐观写结果行 + 条件更新不匹配再补偿写回，避免崩溃时留下「成功但无下载」）
- productrisk / shopmatch 按 pricetrack 的 preserveFailure 样板补齐，含组装落地时
  不再把失败行「洗成成功」
- 前端：采集 / 跟价 / 产品风险 / 店铺匹配的下载按钮放宽到失败任务
 2026-09-18 15:53:15 +08:00
huangzd1997 3ce0569c59 fix(提示语): 失败提示优先展示后端真实原因，修正 10+ 处误导文案 
上架/删除品牌/去重/转换/拆分/撤回/查ASIN/产品风险/跟价/巡店/店铺匹配/视频工作台：
- 解析失败不再只报通用文案，逐条展示后端文件级 errorMessage（上架新增「店铺未找到」专属弹窗）
- 匹配失败不再一律「请检查店铺名」，按 matchStatus 区分 CONFLICT/PENDING
- 去重/转换/拆分全失败弹窗优先列各文件真实原因，取不到才回退猜测文案
- dispatch-guard 新增 fileErrors 选项与 collectDistinctErrors 导出
 2026-09-17 23:02:15 +08:00
huangzd1997 228d481211 perf(全链路): 连接池/事务边界/轮询与 IO 效率收口 
Java：
- LLM 180s 读超时不再被全局 call-timeout 静默截断成 90s（长思考请求被掐断→重试→付费网关二次计费）
- 代理 HttpClient 缓存改有界 LRU（jikip 每次提取新 IP，无界缓存持续泄漏 selector 线程与连接池）
- 12 个 service 的 Redis 任务锁移出 @Transactional（自旋最坏 10s 白占 DB 连接，池仅 30），远端对象删/传改 afterCommit
- 结果文件 Job 闸门拒绝时不再回退内联执行（改重新入队，避免把背压转嫁给 MQ 消费线程）
- imagevideo 每秒扫描加列投影、过期清理加 LIMIT；权限页整表查询改列投影（不再拉回密码哈希）
- 哈希改 HexFormat；补 5 处"不能改"的技术依据注释（批量插入会丢回填主键、流式丢模板与图片等）

前端：4 个工具页轮询改轻量端点（带 fallback）；PriceTrack 快照节流写盘；候选店铺表分页；页面隐藏时停表

客户端：HTTP 连接池按出口复用（Session 仍每请求新建，保持无跨请求状态）；品牌检测 WIPO 逐请求握手；
代理配置按 mtime 缓存；串行任务改专属池；异常降级为标签页重连；紫鸟启动改端口轮询；模板编译缓存；
日志上报连接与落盘收口；Flask 版本 API 改按请求复用连接
 2026-09-15 23:01:59 +08:00
huangzd1997 67223f8950 perf(frontend): 工具页分页/历史截断/轻量轮询/共享纯逻辑（审查 F5/F6/F9/F12/G3） 
- F9 新增 useTablePaging composable 并接入 7 个工具页"匹配结果"表（只切渲染窗口，
  不加选择语义；每页 100 条）+ 深色分页样式
- F6 历史任务抽屉渲染截断（默认 50 条 + "显示全部/收起"），全选口径改为当前可见条目
- F5 新增 task-progress-polling 适配器：等待任务终态的紧循环走 /tasks/progress/light，
  异常或空响应回退重型 batch；已接入跟价/定时匹配的 waitForTaskTerminal
- F12 背景图 bg.jpg 251KB → 166KB（1920 宽 + quality 80，image-set 仍优先 webp）
- G3 抽出共享纯逻辑 task-queue-state（开始时间表序列化校验 + 记录缺失错误判定），
  5 个工具页删除逐字重复实现
- 新增 4 个单测文件（分页切片/历史截断/轻量轮询归一/任务队列纯逻辑）
 2026-09-14 06:23:46 +08:00
huangzd1997 6d46506726 fix: 全维度审查修复（安全/正确性/性能/稳定性/客户端/前端） 
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权（此前可匿名换取任意员工店铺登录令牌）
- 删除 Flask 遗留后门：默认密码建超管 + 每次启动写生产 users 表（服务端与客户端各一份）
- 进度/详情接口归属过滤：新增 TaskProgressOwnershipSupport，11 模块 progress/light 与
  /tasks/batch 接入，DTO 补 userId，前端 13 个查询封装补传（未传时后端不过滤，兼容旧端）
- 代理提取链接（含账密）不再明文入日志（新增 common/util/SecretMasking）
- 全局异常兜底不再回传原始异常信息；内部令牌比较改常量时间
- 登录加失败计数与锁定（10 次锁 15 分钟）；品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15（开关默认 false，行为不变，为收紧做准备）
- 生产关闭 springdoc/knife4j（/doc.html 匿名可读全部接口定义）

正确性
- 40901/40902 拆分：锁竞争不再被伪装成 success=true（此前客户端停止重试、分片静默丢失）
- 假成功收敛：集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally（7 模块，失败路径不再留僵尸 RUNNING 任务）
- 状态机条件更新：跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB（Element Plus 改按需 + el-config-provider）
- 载荷引用计数按指针里的 taskId 收敛（原 JSON 列 IN 全表扫且逐行调用）
- 店铺明细多值批量 INSERT；快照 upsert 预载缓存；结果文件列改单条 UPDATE
- 新增迁移 V120（补 3 个缺失索引）/V121（删 4 个被覆盖的冗余索引）/V122（URL 前缀索引）

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列（防堆积 OOM）
- Redis 锁释放改 Lua 原子校验（原裸 delete 会误删他人已过期的锁）
- imagevideo 加死节点接管；锁续期失败重试；调度池 4→16；openStream 全部加超时
- 事务内远程对象删除移到提交后；启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe（改为按调试端口精准回收，不杀用户自己的浏览器）
- 密码检测不再无条件杀紫鸟进程；品牌检测加全局互斥（代理池不再互相覆盖）
- base_dir 统一到 exe 目录（原被 os.getcwd() 覆盖，日志/缓存会分裂两个目录）
- 缓存加定时清理；图片下载加超时；mkstemp 句柄托管

测试
- 同步更新受影响的契约测试（构造器签名/条件更新/方法改名/新增接口方法等）
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
 2026-09-14 04:15:36 +08:00
huangzd1997 14a723ab1c refactor(品牌工具页): 历史批量删除抽为 runBatchDelete 
16 个品牌页逐字相同的 batchDeleteHistory 循环（逐条删除 + 容忍个别失败计数）
收敛为 shared/utils/batch-delete.ts 的 runBatchDelete；各页仅保留自己的删除调用
与提示文案。补单测 4 例（空列表 / 全成功 / 部分失败继续 / 非 Error 异常）。

净减约 120 行；vue-tsc 构建与 699 个前端单测通过。
 2026-09-13 23:32:27 +08:00
huangzd1997 882ccdac12 refactor(品牌工具页): 抽取 formatDateTime 与 uploadPathsToJava 公共工具 
- 新增 shared/utils/datetime.ts：13 个品牌页逐字重复的 formatDateTime 收敛为一处；
  语义不同的 3 个变体（toLocaleString / 字符串切片 / 支持时间戳）保留不动
- 新增 shared/utils/upload-to-java.ts：10 个品牌页的上传循环收敛，api 依赖注入便于单测；
  保留 uploadOss（品牌Tab）与 returnEmptyWhenUnavailable（跟价）两处行为差异
- 补 datetime / upload-to-java 单测 10 例

净减约 327 行；vue-tsc 构建与 690 个前端单测全通过
 2026-09-13 23:16:59 +08:00
huangzd1997 d1b56918fa fix(跟价): 指定ASIN文件提交改 fileKey + 服务端三形态解析兼容 
- 前端 resolveAsinRequestPaths 改发上传返回的 fileKey（与去重/转换/采集一致），
  修复安全加固后服务端按拼接解析绝对路径失败导致"ASIN 文件不存在或不可读"
- Java parseAsinRowsByCountry 三种形态解析：绝对路径直读 → tempRoot 拼接 → fileKey 反查，
  均过 isInsideTempDir 穿越校验，不放开临时目录外读取
 2026-09-13 03:01:56 +08:00
huangzd1997 83cb3ff84e style(frontend): 全站背景图 webp 化(bg.jpg 4MB→251KB 压缩 + bg.webp)＋品牌工具页默认策略调优（品牌检测默认改精确匹配 Simple、Terms 后置）＋任务面板/登录页/亚马逊控制台观感微调 2026-09-09 18:32:56 +08:00
huangzd1997 4ac8f8b472 fix(pricetrack): ASIN文件路径防本地路径误提交+fileKey兜底反查 2026-09-08 13:34:08 +08:00
huangzd1997 d9e3f34d37 chore: 移除项目内无用代码（28 文件） 
- 清理任务面板/SPA 化改造遗留的未使用变量与函数（模板管理配套 6 函数、
  payloadForDisplay/showTip/hasRunning/schedulePoll/removeMatchedRowLocally 等 30+ 处）
- 清理未使用 import（getBrandTemplateXlsxUrl/uploadTempFileToJava/getProductRiskTasksBatch 等）
- useTaskProgressLoop 改为仅类型导入；progress/task-request 缓存未用参数精简
- DeleteBrandRunService 删除永不执行的 taskItems 死分支
- 全量 vue-tsc（含 --noUnusedLocals/--noUnusedParameters）0 错误；648 测试全过
 2026-09-08 10:20:30 +08:00
huangzd1997 e248b6e43a feat(web): 前端 SPA 化 + 工具页任务面板统一与历史批量删除 
- SPA 化：22 个 MPA html 入口与 *-main.ts 合并为 index.html + vue-router（URL 无 .html 后缀），
  页面跳转全部 router-link，/new_web_source/xxx.html 旧路径归一为 /xxx
- 任务面板统一：共享 TaskCenterPanel/TaskItemCard/TaskStatCards/HistoryTaskLayer，
  16 个工具页右侧统一为统计卡 + 当前任务 + 历史任务弹层（任务ID/开始/结束/状态必展示）
- 历史记录支持单条删除 + 批量勾选删除（确认框/全选/失败提示）
- Java 7 模块（dedupe/convert/split/productrisk/shopmatch/pricetrack/deletebrand）
  history 接口补齐任务时间字段（VO+Service，复用 biz_file_task 列）
- 图片工作台/API 层（brand/permission/user）既有未提交改动一并提交
 2026-09-08 10:02:55 +08:00
huangzd1997 d2301db292 feat(frontend-vue): 亚马逊运营工具台与新功能页接入——新版工具台(amazon-console+tool-catalog)、品牌检测/ASIN变体采集/查询ASIN 三个工具页 Vue 化并对接既有后端与桌面桥接；桌面首页/登录页 Vue 化(沿用旧视觉)；补充 vc_*/get_device_id/save_file_from_url 桥类型、dev 代理；品牌默认勾选排名+FBM；修正 query-asin 标题 
含未提交新版改造累积：Brand*Tab 套入工具台壳(AmazonToolPageShell/AmazonTopBar)与目录/权限联动。
 2026-09-07 11:06:05 +08:00
huangzd1997 759f0b15d8 task-101: 上传/解析/入队三道前端拦截，阻止坏数据卡死 Python 自动化
Build Backend JAR / build (push) Has been cancelled
Details 
新增 shared/dispatch-guard.ts（纯 TS 校验，可单测）与 dispatch-guard-ui.ts
（ElMessageBox 弹窗层），在数据流的三个位置设闸：

- 选文件：空选择、非 xlsx/xls/csv、空路径直接拦；重复文件弹确认
- 解析结果：taskId 非法、totalRows 为 0、整批行被丢弃、需要分组却无分组直接拦；
  部分行被丢弃弹确认后才允许推送
- 入队前：结构不符、必填字段缺失、items/groups/country_codes 为空数组、
  行数页数为 0、JSON 不安全值（NaN/Infinity/BigInt/循环引用/数组洞）

覆盖 11 个推 Python 队列的 Tab 与 dedupe/split/convert 三个纯 Java Tab。
闸位按 Tab 挑选以免留下孤儿后端状态：collect-data 校验前置到
activateCollectDataTask 之前（任务保持 PENDING 无需回滚）、product-risk 的国家
检查提到建任务之前；已建任务后才拦下的复用各 Tab 原有失败补偿路径。

两处边界：对象属性 undefined 放行（taskNo 这类可选字段是惯用写法），只拦数组
元素 undefined 与数组洞；price-track 的 asin_rows_by_country 仅在 mode=asin
时要求非空，status 模式下 loadAsinRowsForAppClient 本就返回 {}。

顺带修复 similar-asin / appearance-patent 的 selectFiles 缺少 try/catch，
上传失败会残留上一批文件与解析结果。

测试：tests/dispatch-guard.test.ts 新增 37 个 test_task_101_* 用例。
 2026-09-01 12:53:12 +08:00
supernijia 28e7fce11c 新需求更新 同步更新 2026-08-06 01:11:54 +08:00
super cbde22ec79 视频任务管理更新 2026-07-19 22:23:26 +08:00
super aab4ce942c 更新带货视频工作流接口和页面 2026-07-09 00:27:49 +08:00
super 0ecf5cd45a 后端优化修复问题 2026-06-18 18:53:16 +08:00
super ac19637ad6 处理修复BUG 2026-06-14 16:48:20 +08:00
super 967eedcad7 提交更新 2026-06-08 18:31:55 +08:00
super 2ed1250604 增加公共下载进度、增加接收SKU、密钥分别存放 2026-05-28 16:41:20 +08:00
super c6ecfb5b77 优化后台业务 2026-04-30 11:36:58 +08:00
super 995e2ee65a 后端架构更新 2026-04-27 09:18:10 +08:00
super 326f78705d 完成查询asin开发 2026-04-23 20:48:57 +08:00
super 34bc980eea 完成后端架构重构等 2026-04-23 15:25:41 +08:00
super 236b73755c 处理后台管理系统、修复BUG、处理权限 2026-04-22 01:09:28 +08:00
super d691e53886 改造后端服务，处理后台管理新增组（部门概念） 2026-04-22 00:32:58 +08:00
super dabb278170 更新跟价相关内容修改 2026-04-20 00:41:49 +08:00
super 9d75d673f8 提交改造app权限 2026-04-19 15:47:20 +08:00
super 8db9f3a408 改造后台权限和APP权限 2026-04-19 15:06:09 +08:00
super d5764f3b50 完成匹配、跟价、权限部分 2026-04-17 12:52:16 +08:00
super ecc8b6ce6c 后台管理跳过asin、后台相关数据做数据隔离 2026-04-14 10:04:50 +08:00
super 9ad6e037dc 提交任务更新 2026-04-13 20:07:00 +08:00