super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,309 Commits 1 Branch 0 Tags
367b4b75531fe72d79098e39257256a1cb962be2
Commit Graph

13 Commits

Author SHA1 Message Date
huangzd1997 367b4b7553 chore(更新日志): 补 4.0.24 条目（跟价改版为行内输入+底部「全部保存」提交） 2026-09-16 16:03:42 +08:00
huangzd1997 25c7323c47 chore(更新日志): 补 4.0.23 条目（跟价适配亚马逊新版商品页） 2026-09-16 13:40:59 +08:00
huangzd1997 ed0d6575c8 feat(前端): 追加客户端 4.0.22 更新日志条目 
包体积 -38%、启动时清理本地垃圾、启动与连接优化三条面向用户的说明。
version 与 web_config 发布记录一致（4.0.22），否则更新面板按本机版本筛选匹配不到。
 2026-09-16 09:09:05 +08:00
huangzd1997 d189d94c3b fix(更新日志): 面板随指定版本下拉联动；本机已是最新时展示本机条目 
- 「指定版本更新」下拉选中版本时日志切到该版本自身的条目（升级/回退统一语义），
  未收录显示"暂无更新说明"（区块不消失），选回空项回默认区间；
  列表加载后自动默认选中第一条不触发切换
- 本机版本==线上最新时回退显示本机版本条目（原来整块消失），灰度/回滚仍隐藏
- 精简 4.0.20/4.0.21 超长文案，修复既有红测试（更新说明限 40 字）
 2026-09-16 01:02:13 +08:00
huangzd1997 79b5d40327 feat(设备日志/后台配置/密钥检测): 补齐已上线未提交的设备日志与app_config，并合入检测模型解耦 
三部分均已部署到双节点（当前线上 JAR 009efc3e），本次补齐仓库状态，避免"已上线未提交"
在后续最小构建比对里被误判。

- 设备日志管理：modules/devicelog + DeviceLogOssProperties（主机B 独立 MinIO，仅内网）
  + V127 device_log_file/device_log_config + admin-vue 日志管理页；客户端/麦象按 offset
  增量上报（X-Internal-Token），查询仅超管
- 后台通用配置：modules/appconfig + V128 app_config 键值表；工作台「开店流程」密码改服务端
  校验（POST /api/kd-flow/verify），改密码只需 UPDATE 该行、客户端无需重新发版
- 密钥检测模型解耦：新增 aiimage.user-secret.check-model（env AIIMAGE_USER_SECRET_CHECK_MODEL），
  默认 doubao-seed-2-0-lite-260215 —— 同系列 mini 在中继分组下无可用渠道（503 model_not_found），
  实测 lite 可路由；UserSecretModule 去掉 LlmTarget 改 resolveLlmHost，探测日志带 model=
- 前端：密钥面板「检测配置密钥」按钮不再折行；client-changelog 补 4.0.19/4.0.20/4.0.21 条目

注：application.yml 与 PropertiesConfig 同时承载上述多个部分，故未按功能拆分提交
 2026-09-15 23:53:05 +08:00
huangzd1997 b0f764b6b6 feat(前端): 追加客户端 4.0.18 更新日志条目 2026-09-15 11:33:53 +08:00
huangzd1997 1403fec5fe feat(前端): 追加客户端 4.0.17 更新日志条目 
跟价购物车归属未知跳过改价、店铺名回落、失败原因如实带出三条面向用户的说明。
 2026-09-15 01:27:57 +08:00
huangzd1997 07b4ebe983 feat(成本): 密钥检测防抖 + 巡检降频隔日 + 客户端 4.0.16 更新日志 
- 用户密钥「检测」90 秒新鲜期：同值重复检测复用上次通过结果，
  代理提取不再因连点/手滑重复扣费（只缓存 passed，失败允许立即重试）
- 连通性巡检由每日降为隔日（cron 0 30 4 */2 * *，双实例锁不变）
- changelog 追加 4.0.16 条目
 2026-09-14 19:43:22 +08:00
huangzd1997 0b2b9303d0 chore(前端): 追加客户端 4.0.15 更新日志条目 2026-09-14 18:10:48 +08:00
huangzd1997 c55c4a140b feat(A1/A3+C8): 客户端令牌链路打通（按人鉴权就绪）+ 快照 JSON 写入节流 
A1/A3 客户端令牌链路（服务端守卫已能按 JWT 鉴权，缺口在客户端不带身份）
- 前端：新增 user-token-bridge（纯逻辑，值变化才推送）+ user-token-sync（启动安装，
  pywebviewready/storage/60s 轮询补推），main.ts 接入；桥接口补 set_user_token
- 客户端：新增 crawler_core/user_token.py（持有 + 对自家 Java 端点注入
  Authorization: Bearer <jwt>，Session.request 包装，第三方域名不注入、已有头不覆盖、
  登出清空、SHUFUAI_DISABLE_USER_TOKEN_HOOK 可关）；main.py 暴露桥方法并在启动安装钩子
- 服务端：守卫契约测试补 5 个用户态前缀用例（开关关闭放行 / 打开后匿名 401 /
  用户令牌通过 / 内部令牌仍放行 / /api/ziniao 第二层）
- 翻开关的前置条件（客户端铺开后置 aiimage.security.user-tool-guard-enabled=true）写入报告

C8 快照 JSON 写入节流
- 读端改以 biz_task_result_item 行为准、JSON 仅兜底（历史任务 JSON 仍是唯一副本时可用）
- 整档 JSON 改 30s 节流写，终态路径 force 立即写；新增 2 个契约测试钉住语义

验证：mvn test 2888 全绿；npm test 741 全绿；user_token 钩子自测（注入/归一/第三方跳过/不覆盖/登出）通过
 2026-09-14 10:20:15 +08:00
huangzd1997 ef3a2c9bd6 docs(更新日志): 追加客户端 4.0.13 条目 2026-09-14 07:08:39 +08:00
huangzd1997 4daf235385 docs(更新日志): 追加客户端 4.0.12 条目 2026-09-14 04:36:35 +08:00
huangzd1997 6d46506726 fix: 全维度审查修复（安全/正确性/性能/稳定性/客户端/前端） 
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权（此前可匿名换取任意员工店铺登录令牌）
- 删除 Flask 遗留后门：默认密码建超管 + 每次启动写生产 users 表（服务端与客户端各一份）
- 进度/详情接口归属过滤：新增 TaskProgressOwnershipSupport，11 模块 progress/light 与
  /tasks/batch 接入，DTO 补 userId，前端 13 个查询封装补传（未传时后端不过滤，兼容旧端）
- 代理提取链接（含账密）不再明文入日志（新增 common/util/SecretMasking）
- 全局异常兜底不再回传原始异常信息；内部令牌比较改常量时间
- 登录加失败计数与锁定（10 次锁 15 分钟）；品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15（开关默认 false，行为不变，为收紧做准备）
- 生产关闭 springdoc/knife4j（/doc.html 匿名可读全部接口定义）

正确性
- 40901/40902 拆分：锁竞争不再被伪装成 success=true（此前客户端停止重试、分片静默丢失）
- 假成功收敛：集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally（7 模块，失败路径不再留僵尸 RUNNING 任务）
- 状态机条件更新：跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB（Element Plus 改按需 + el-config-provider）
- 载荷引用计数按指针里的 taskId 收敛（原 JSON 列 IN 全表扫且逐行调用）
- 店铺明细多值批量 INSERT；快照 upsert 预载缓存；结果文件列改单条 UPDATE
- 新增迁移 V120（补 3 个缺失索引）/V121（删 4 个被覆盖的冗余索引）/V122（URL 前缀索引）

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列（防堆积 OOM）
- Redis 锁释放改 Lua 原子校验（原裸 delete 会误删他人已过期的锁）
- imagevideo 加死节点接管；锁续期失败重试；调度池 4→16；openStream 全部加超时
- 事务内远程对象删除移到提交后；启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe（改为按调试端口精准回收，不杀用户自己的浏览器）
- 密码检测不再无条件杀紫鸟进程；品牌检测加全局互斥（代理池不再互相覆盖）
- base_dir 统一到 exe 目录（原被 os.getcwd() 覆盖，日志/缓存会分裂两个目录）
- 缓存加定时清理；图片下载加超时；mkstemp 句柄托管

测试
- 同步更新受影响的契约测试（构造器签名/条件更新/方法改名/新增接口方法等）
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
 2026-09-14 04:15:36 +08:00