super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,265 Commits 1 Branch 0 Tags
6d46506726a8aae79aa49b292f73c7806b5f2e78
Commit Graph

13 Commits

Author SHA1 Message Date
huangzd1997 6d46506726 fix: 全维度审查修复（安全/正确性/性能/稳定性/客户端/前端） 
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权（此前可匿名换取任意员工店铺登录令牌）
- 删除 Flask 遗留后门：默认密码建超管 + 每次启动写生产 users 表（服务端与客户端各一份）
- 进度/详情接口归属过滤：新增 TaskProgressOwnershipSupport，11 模块 progress/light 与
  /tasks/batch 接入，DTO 补 userId，前端 13 个查询封装补传（未传时后端不过滤，兼容旧端）
- 代理提取链接（含账密）不再明文入日志（新增 common/util/SecretMasking）
- 全局异常兜底不再回传原始异常信息；内部令牌比较改常量时间
- 登录加失败计数与锁定（10 次锁 15 分钟）；品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15（开关默认 false，行为不变，为收紧做准备）
- 生产关闭 springdoc/knife4j（/doc.html 匿名可读全部接口定义）

正确性
- 40901/40902 拆分：锁竞争不再被伪装成 success=true（此前客户端停止重试、分片静默丢失）
- 假成功收敛：集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally（7 模块，失败路径不再留僵尸 RUNNING 任务）
- 状态机条件更新：跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB（Element Plus 改按需 + el-config-provider）
- 载荷引用计数按指针里的 taskId 收敛（原 JSON 列 IN 全表扫且逐行调用）
- 店铺明细多值批量 INSERT；快照 upsert 预载缓存；结果文件列改单条 UPDATE
- 新增迁移 V120（补 3 个缺失索引）/V121（删 4 个被覆盖的冗余索引）/V122（URL 前缀索引）

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列（防堆积 OOM）
- Redis 锁释放改 Lua 原子校验（原裸 delete 会误删他人已过期的锁）
- imagevideo 加死节点接管；锁续期失败重试；调度池 4→16；openStream 全部加超时
- 事务内远程对象删除移到提交后；启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe（改为按调试端口精准回收，不杀用户自己的浏览器）
- 密码检测不再无条件杀紫鸟进程；品牌检测加全局互斥（代理池不再互相覆盖）
- base_dir 统一到 exe 目录（原被 os.getcwd() 覆盖，日志/缓存会分裂两个目录）
- 缓存加定时清理；图片下载加超时；mkstemp 句柄托管

测试
- 同步更新受影响的契约测试（构造器签名/条件更新/方法改名/新增接口方法等）
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
 2026-09-14 04:15:36 +08:00
huangzd1997 b70557a077 feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统 
- 单设备登录：登录成功即 last-login-wins 绑定 users.machine；非超管旧 token
  在下一次受保护请求抛 4011 下线，超管豁免；仅认 token 内签名 deviceId，不用请求头。
  前端两端接入踢下线跳转（?kicked=1 提示），V118 清空历史 machine
- 站内通知：新增 notification 模块（任务失败扫描 / 密钥欠费 / 下游服务探测三类来源），
  前后台铃铛组件 + 轮询；后台列表按主管数据范围（UserDataScopeSupport）过滤；V116 建表

均已于 2026-09-13 部署上线，此次补提交源码（此前仅存在于已部署 JAR/构建产物中）
 2026-09-13 23:08:22 +08:00
huangzd1997 94a0c287e0 feat(客户端更新): 登录页/首页更新面板显示更新包下载进度条 
- 新增 shared/utils/update-progress.ts：进度事件解析/百分比钳制/文案格式化（纯函数）
- 新增 shared/components/UpdateProgressBar.vue：两页共用，失败态琥珀色并停在断点
  百分比、总大小未知走不确定态
- useVersionUpdate：先挂监听再发桥调用（避免丢首帧），监听 pywebview-update-progress
  （Python 侧 evaluate_js 推送，同 pywebview-download-progress 约定）；失败保留上次进度
- 测试：tests/update-progress.test.ts（8 用例）

兼容：老客户端没有该事件源，进度条不出现，其余行为不变（优雅降级）。
注：本仓库 modules-withdraw / modules-image-video 有 3 个既存失败用例（隔离复现），
与本次改动无关；全仓库仅新增测试引用本次新增模块。
 2026-09-11 01:59:42 +08:00
huangzd1997 0cf20527a4 fix(frontend): 菜单点击偶发无响应三处根因——①路由懒加载chunk失败被静默吞掉(新增onError自动整页重载+保险丝防循环) ②首页入口被权限接口阻塞(改乐观显示+缓存TTL10分钟+超时30s→8s) ③菜单hover预取目标页chunk(工具卡片/工作流步骤/顶部导航) 2026-09-09 18:53:34 +08:00
huangzd1997 9a487ae9a7 feat(frontend): 桌面端首页删除一级「图片」入口——图片已并入视频页(/image-video)二级菜单，首页仅保留 亚马逊/视频，权限计算同步清理 image 分支 2026-09-09 18:32:48 +08:00
huangzd1997 ffd8c718dd feat(web): 记住密码/自动登录与版本更新放开到网页形态 
- 登录页与首页移除 isDesktopRuntime 门控，网页浏览器同样显示记住密码/自动登录与更新版本入口
- 记住密码由 base64 明文改为 XOR+位移可逆加密存储（v1. 前缀），兼容解密历史值
- 网页形态进入登录页即回填凭据并尝试自动登录（登出/切号导航仍豁免）
- 版本更新在无桌面桥时降级为 OSS 直链下载安装包，桌面端维持自动安装
 2026-09-09 00:13:13 +08:00
huangzd1997 7c1c13526e feat(web): 桌面登录页记住密码/自动登录与版本更新，首页版本更新入口与背景修复 
- 登录页(仅桌面端)新增"记住密码/自动登录"勾选与"更新版本"按钮：登录成功持久化凭据
  (base64 存桌面 localStorage)，打开登录页恢复勾选并静默登录；显式登出/切号后关闭自动登录
- 新增 shared/composables/useVersionUpdate 统一版本检测：/api/version/latest 与本机版本比较，
  通过 pywebview 桥 get_app_version 读本地 exe 版本，缺桥时降级为可手动更新
- 首页保留 ↻ 图标并加显式"更新版本"按钮，接入新检测逻辑
- 首页背景改画到 .home-root，避免被 SPA 全局样式时序覆盖导致图不显示
 2026-09-08 22:30:50 +08:00
huangzd1997 d9e3f34d37 chore: 移除项目内无用代码（28 文件） 
- 清理任务面板/SPA 化改造遗留的未使用变量与函数（模板管理配套 6 函数、
  payloadForDisplay/showTip/hasRunning/schedulePoll/removeMatchedRowLocally 等 30+ 处）
- 清理未使用 import（getBrandTemplateXlsxUrl/uploadTempFileToJava/getProductRiskTasksBatch 等）
- useTaskProgressLoop 改为仅类型导入；progress/task-request 缓存未用参数精简
- DeleteBrandRunService 删除永不执行的 taskItems 死分支
- 全量 vue-tsc（含 --noUnusedLocals/--noUnusedParameters）0 错误；648 测试全过
 2026-09-08 10:20:30 +08:00
huangzd1997 e248b6e43a feat(web): 前端 SPA 化 + 工具页任务面板统一与历史批量删除 
- SPA 化：22 个 MPA html 入口与 *-main.ts 合并为 index.html + vue-router（URL 无 .html 后缀），
  页面跳转全部 router-link，/new_web_source/xxx.html 旧路径归一为 /xxx
- 任务面板统一：共享 TaskCenterPanel/TaskItemCard/TaskStatCards/HistoryTaskLayer，
  16 个工具页右侧统一为统计卡 + 当前任务 + 历史任务弹层（任务ID/开始/结束/状态必展示）
- 历史记录支持单条删除 + 批量勾选删除（确认框/全选/失败提示）
- Java 7 模块（dedupe/convert/split/productrisk/shopmatch/pricetrack/deletebrand）
  history 接口补齐任务时间字段（VO+Service，复用 biz_file_task 列）
- 图片工作台/API 层（brand/permission/user）既有未提交改动一并提交
 2026-09-08 10:02:55 +08:00
huangzd1997 c086d402a7 feat(web): 品牌检测/图片生成服务端化——URL 统一 https+域名，入口文件带 hash 防长缓存失效 
- brand/image 本地执行 API 服务端化（主机A shufu-web-api:15126，nginx 转发 /api/brand/* 等）
- 前端撤销本地回连逻辑（local-http 删除，http.ts/brand.ts 还原为域名相对路径）
- 版本更新改桌面桥 do_update_app（原 Flask /api/update/do 桥化，Web 无更新入口）
- 品牌检测页 Web 可用（hasBridge 恢复 blanket 判定：文件选择走浏览器降级、任务/SSE 走域名）
- vite 入口文件带内容 hash（/assets 配了 immutable 长缓存，无 hash 入口导致更新永不生效）
- public/logo.jpg：Web 版 /logo.jpg 素材（原 app_client/logo.jpg 随桌面瘦身移除）
 2026-09-07 17:11:33 +08:00
huangzd1997 30b8c910e8 feat(web): 桌面端前端 Web 独立部署适配——浏览器降级桥+登录态引导+页面动态修正 
- 新增 web-fallback.ts：无 pywebview 时以浏览器能力降级（文件选择/上传/模板下载/配置），
  其余桌面能力（enqueue_json/vc_*/folder 选择等）保持 undefined 交由页面既有请在本地客户端中打开提示
- 新增 ensure-auth.ts：无 uid 时经 /newApi/check_login 恢复登录态，无 token/失效跳登录页；
  21 个入口 main.ts 挂载前先引导（桌面端已注入 uid 时零开销）
- pywebview.ts：getPywebviewApi() 在纯浏览器环境返回降级桥；新增 isDesktopRuntime 标志
  （首页更新面板/退出链接据此区分桌面与 Web）；hasPywebview 语义修正为真实桥判定
- 登录页跳转、首页登出链接、品牌检测页 hasBridge 判定（select_brand_folder 存在性）适配 Web
 2026-09-07 16:35:19 +08:00
huangzd1997 e6cf4c2461 fix: 停用登录设备绑定(注释 machine 写入/重绑与 check_login 不一致拒绝)便于多设备/联调；Vue 首页背景图改 /bg.jpg 并补 public 资源、首页/登录布局居中修复 2026-09-07 11:19:42 +08:00
huangzd1997 d2301db292 feat(frontend-vue): 亚马逊运营工具台与新功能页接入——新版工具台(amazon-console+tool-catalog)、品牌检测/ASIN变体采集/查询ASIN 三个工具页 Vue 化并对接既有后端与桌面桥接；桌面首页/登录页 Vue 化(沿用旧视觉)；补充 vc_*/get_device_id/save_file_from_url 桥类型、dev 代理；品牌默认勾选排名+FBM；修正 query-asin 标题 
含未提交新版改造累积：Brand*Tab 套入工具台壳(AmazonToolPageShell/AmazonTopBar)与目录/权限联动。
 2026-09-07 11:06:05 +08:00