super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,283 Commits 1 Branch 0 Tags
8803e22f39c033f510312ca8b1ce99a4dcba6e8b
Commit Graph

15 Commits

Author SHA1 Message Date
huangzd1997 8803e22f39 feat(version): 桌面端更新面板支持指定版本安装 
- 新增公开接口 GET /api/version/list（最近 50 条，字段口径同管理端列表），
  桌面端下拉不再拼 OSS 地址（版本包被删后拼地址会 404）
- 更新面板（登录页 + 首页）加「指定版本更新」选择器：默认选中最新版，
  可选全部已发布版本（含回退），回退/同版给出明确文案与二次确认
- 客户端无需发版：do_update_app(file_url) 本就接受任意版本包直链
 2026-09-14 11:05:30 +08:00
huangzd1997 6d46506726 fix: 全维度审查修复（安全/正确性/性能/稳定性/客户端/前端） 
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权（此前可匿名换取任意员工店铺登录令牌）
- 删除 Flask 遗留后门：默认密码建超管 + 每次启动写生产 users 表（服务端与客户端各一份）
- 进度/详情接口归属过滤：新增 TaskProgressOwnershipSupport，11 模块 progress/light 与
  /tasks/batch 接入，DTO 补 userId，前端 13 个查询封装补传（未传时后端不过滤，兼容旧端）
- 代理提取链接（含账密）不再明文入日志（新增 common/util/SecretMasking）
- 全局异常兜底不再回传原始异常信息；内部令牌比较改常量时间
- 登录加失败计数与锁定（10 次锁 15 分钟）；品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15（开关默认 false，行为不变，为收紧做准备）
- 生产关闭 springdoc/knife4j（/doc.html 匿名可读全部接口定义）

正确性
- 40901/40902 拆分：锁竞争不再被伪装成 success=true（此前客户端停止重试、分片静默丢失）
- 假成功收敛：集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally（7 模块，失败路径不再留僵尸 RUNNING 任务）
- 状态机条件更新：跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB（Element Plus 改按需 + el-config-provider）
- 载荷引用计数按指针里的 taskId 收敛（原 JSON 列 IN 全表扫且逐行调用）
- 店铺明细多值批量 INSERT；快照 upsert 预载缓存；结果文件列改单条 UPDATE
- 新增迁移 V120（补 3 个缺失索引）/V121（删 4 个被覆盖的冗余索引）/V122（URL 前缀索引）

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列（防堆积 OOM）
- Redis 锁释放改 Lua 原子校验（原裸 delete 会误删他人已过期的锁）
- imagevideo 加死节点接管；锁续期失败重试；调度池 4→16；openStream 全部加超时
- 事务内远程对象删除移到提交后；启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe（改为按调试端口精准回收，不杀用户自己的浏览器）
- 密码检测不再无条件杀紫鸟进程；品牌检测加全局互斥（代理池不再互相覆盖）
- base_dir 统一到 exe 目录（原被 os.getcwd() 覆盖，日志/缓存会分裂两个目录）
- 缓存加定时清理；图片下载加超时；mkstemp 句柄托管

测试
- 同步更新受影响的契约测试（构造器签名/条件更新/方法改名/新增接口方法等）
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
 2026-09-14 04:15:36 +08:00
huangzd1997 b70557a077 feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统 
- 单设备登录：登录成功即 last-login-wins 绑定 users.machine；非超管旧 token
  在下一次受保护请求抛 4011 下线，超管豁免；仅认 token 内签名 deviceId，不用请求头。
  前端两端接入踢下线跳转（?kicked=1 提示），V118 清空历史 machine
- 站内通知：新增 notification 模块（任务失败扫描 / 密钥欠费 / 下游服务探测三类来源），
  前后台铃铛组件 + 轮询；后台列表按主管数据范围（UserDataScopeSupport）过滤；V116 建表

均已于 2026-09-13 部署上线，此次补提交源码（此前仅存在于已部署 JAR/构建产物中）
 2026-09-13 23:08:22 +08:00
huangzd1997 82a782550e feat(密钥): 用户 API 密钥服务端化——V115 按账号绑定存储 + 后台密钥管理页 + 桌面端全站拦截与配置引导 
- 新增 usersecret 模块：外观专利/货源查询密钥从本地 localStorage 迁移至 biz_user_api_secret（AES 加密、按 uid 绑定）
- 后台「密钥管理」页：脱敏展示、立即检测、清空；每日 04:30 分布式锁定时巡检
- 桌面端：密钥设置面板走服务端、未配齐引导 /setup-secrets、代理余量展示
- 删除专利汇令牌全链路与密钥保留时长选择器
 2026-09-13 10:03:59 +08:00
huangzd1997 e6021593ea fix(安全/健壮性): 全工作区审查修复——鉴权兜底扩展+路径穿越+忙等+泄漏 
- AdminApiGuardFilter 兜底扩展到 /api/collect-data、/api/price-track：无需鉴权的
  工具接口纳入 JWT/内部令牌校验（原匿名可达即越权读写他人数据）
- pricetrack asinFiles 改为仅允许上传临时目录内文件（canonical 前缀校验），
  修复请求路径直接 new File 可读服务器任意 csv/xlsx 的穿越
- dedupe 删除导入逐行 REQUIRES_NEW 事务改 500 条一批 IN 删除，50 万行导入
  由 50 万个事务收敛为千级
- 前端记住密码 XOR 硬编码密钥改 WebCrypto AES-GCM（密钥随机生成独立存储），
  登录流程接口改 async 并保证自动登录恢复时序
- 任务进度轮询失败按指数退避（原固定 5s 无限撞）；下载进度终态条目 2 分钟
  自动清理（原永久堆积）；AmazonConsolePage statusTimer 卸载清理
 2026-09-11 17:11:43 +08:00
huangzd1997 30d31fb318 feat(代理): 代理配置按登录用户隔离——桌面端 current_uid 登录同步 + brand 页 proxy_users[uid] 读写，各用户各自代理池各自计费复用（未登录回退全局 proxy_url 兼容旧配置） 2026-09-11 16:09:56 +08:00
huangzd1997 94a0c287e0 feat(客户端更新): 登录页/首页更新面板显示更新包下载进度条 
- 新增 shared/utils/update-progress.ts：进度事件解析/百分比钳制/文案格式化（纯函数）
- 新增 shared/components/UpdateProgressBar.vue：两页共用，失败态琥珀色并停在断点
  百分比、总大小未知走不确定态
- useVersionUpdate：先挂监听再发桥调用（避免丢首帧），监听 pywebview-update-progress
  （Python 侧 evaluate_js 推送，同 pywebview-download-progress 约定）；失败保留上次进度
- 测试：tests/update-progress.test.ts（8 用例）

兼容：老客户端没有该事件源，进度条不出现，其余行为不变（优雅降级）。
注：本仓库 modules-withdraw / modules-image-video 有 3 个既存失败用例（隔离复现），
与本次改动无关；全仓库仅新增测试引用本次新增模块。
 2026-09-11 01:59:42 +08:00
huangzd1997 83cb3ff84e style(frontend): 全站背景图 webp 化(bg.jpg 4MB→251KB 压缩 + bg.webp)＋品牌工具页默认策略调优（品牌检测默认改精确匹配 Simple、Terms 后置）＋任务面板/登录页/亚马逊控制台观感微调 2026-09-09 18:32:56 +08:00
huangzd1997 ffd8c718dd feat(web): 记住密码/自动登录与版本更新放开到网页形态 
- 登录页与首页移除 isDesktopRuntime 门控，网页浏览器同样显示记住密码/自动登录与更新版本入口
- 记住密码由 base64 明文改为 XOR+位移可逆加密存储（v1. 前缀），兼容解密历史值
- 网页形态进入登录页即回填凭据并尝试自动登录（登出/切号导航仍豁免）
- 版本更新在无桌面桥时降级为 OSS 直链下载安装包，桌面端维持自动安装
 2026-09-09 00:13:13 +08:00
huangzd1997 7c1c13526e feat(web): 桌面登录页记住密码/自动登录与版本更新，首页版本更新入口与背景修复 
- 登录页(仅桌面端)新增"记住密码/自动登录"勾选与"更新版本"按钮：登录成功持久化凭据
  (base64 存桌面 localStorage)，打开登录页恢复勾选并静默登录；显式登出/切号后关闭自动登录
- 新增 shared/composables/useVersionUpdate 统一版本检测：/api/version/latest 与本机版本比较，
  通过 pywebview 桥 get_app_version 读本地 exe 版本，缺桥时降级为可手动更新
- 首页保留 ↻ 图标并加显式"更新版本"按钮，接入新检测逻辑
- 首页背景改画到 .home-root，避免被 SPA 全局样式时序覆盖导致图不显示
 2026-09-08 22:30:50 +08:00
huangzd1997 15222be2b5 fix(login): 退出登录/切号彻底清除 uid 与 username 登录态 
logout=1 仅清 token，uid 残留会被 main.ts 守卫当已登录自动带回首页，导致退出无效
 2026-09-08 21:54:05 +08:00
huangzd1997 e248b6e43a feat(web): 前端 SPA 化 + 工具页任务面板统一与历史批量删除 
- SPA 化：22 个 MPA html 入口与 *-main.ts 合并为 index.html + vue-router（URL 无 .html 后缀），
  页面跳转全部 router-link，/new_web_source/xxx.html 旧路径归一为 /xxx
- 任务面板统一：共享 TaskCenterPanel/TaskItemCard/TaskStatCards/HistoryTaskLayer，
  16 个工具页右侧统一为统计卡 + 当前任务 + 历史任务弹层（任务ID/开始/结束/状态必展示）
- 历史记录支持单条删除 + 批量勾选删除（确认框/全选/失败提示）
- Java 7 模块（dedupe/convert/split/productrisk/shopmatch/pricetrack/deletebrand）
  history 接口补齐任务时间字段（VO+Service，复用 biz_file_task 列）
- 图片工作台/API 层（brand/permission/user）既有未提交改动一并提交
 2026-09-08 10:02:55 +08:00
huangzd1997 30b8c910e8 feat(web): 桌面端前端 Web 独立部署适配——浏览器降级桥+登录态引导+页面动态修正 
- 新增 web-fallback.ts：无 pywebview 时以浏览器能力降级（文件选择/上传/模板下载/配置），
  其余桌面能力（enqueue_json/vc_*/folder 选择等）保持 undefined 交由页面既有请在本地客户端中打开提示
- 新增 ensure-auth.ts：无 uid 时经 /newApi/check_login 恢复登录态，无 token/失效跳登录页；
  21 个入口 main.ts 挂载前先引导（桌面端已注入 uid 时零开销）
- pywebview.ts：getPywebviewApi() 在纯浏览器环境返回降级桥；新增 isDesktopRuntime 标志
  （首页更新面板/退出链接据此区分桌面与 Web）；hasPywebview 语义修正为真实桥判定
- 登录页跳转、首页登出链接、品牌检测页 hasBridge 判定（select_brand_folder 存在性）适配 Web
 2026-09-07 16:35:19 +08:00
huangzd1997 e6cf4c2461 fix: 停用登录设备绑定(注释 machine 写入/重绑与 check_login 不一致拒绝)便于多设备/联调；Vue 首页背景图改 /bg.jpg 并补 public 资源、首页/登录布局居中修复 2026-09-07 11:19:42 +08:00
huangzd1997 d2301db292 feat(frontend-vue): 亚马逊运营工具台与新功能页接入——新版工具台(amazon-console+tool-catalog)、品牌检测/ASIN变体采集/查询ASIN 三个工具页 Vue 化并对接既有后端与桌面桥接；桌面首页/登录页 Vue 化(沿用旧视觉)；补充 vc_*/get_device_id/save_file_from_url 桥类型、dev 代理；品牌默认勾选排名+FBM；修正 query-asin 标题 
含未提交新版改造累积：Brand*Tab 套入工具台壳(AmazonToolPageShell/AmazonTopBar)与目录/权限联动。
 2026-09-07 11:06:05 +08:00