super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,266 Commits 1 Branch 0 Tags
4daf2353857db1b7682d7ff8ef5b886d2496e29a
Commit Graph

1266 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
huangzd1997 4daf235385 docs(更新日志): 追加客户端 4.0.12 条目 2026-09-14 04:36:35 +08:00
huangzd1997 6d46506726 fix: 全维度审查修复（安全/正确性/性能/稳定性/客户端/前端） 
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权（此前可匿名换取任意员工店铺登录令牌）
- 删除 Flask 遗留后门：默认密码建超管 + 每次启动写生产 users 表（服务端与客户端各一份）
- 进度/详情接口归属过滤：新增 TaskProgressOwnershipSupport，11 模块 progress/light 与
  /tasks/batch 接入，DTO 补 userId，前端 13 个查询封装补传（未传时后端不过滤，兼容旧端）
- 代理提取链接（含账密）不再明文入日志（新增 common/util/SecretMasking）
- 全局异常兜底不再回传原始异常信息；内部令牌比较改常量时间
- 登录加失败计数与锁定（10 次锁 15 分钟）；品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15（开关默认 false，行为不变，为收紧做准备）
- 生产关闭 springdoc/knife4j（/doc.html 匿名可读全部接口定义）

正确性
- 40901/40902 拆分：锁竞争不再被伪装成 success=true（此前客户端停止重试、分片静默丢失）
- 假成功收敛：集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally（7 模块，失败路径不再留僵尸 RUNNING 任务）
- 状态机条件更新：跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB（Element Plus 改按需 + el-config-provider）
- 载荷引用计数按指针里的 taskId 收敛（原 JSON 列 IN 全表扫且逐行调用）
- 店铺明细多值批量 INSERT；快照 upsert 预载缓存；结果文件列改单条 UPDATE
- 新增迁移 V120（补 3 个缺失索引）/V121（删 4 个被覆盖的冗余索引）/V122（URL 前缀索引）

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列（防堆积 OOM）
- Redis 锁释放改 Lua 原子校验（原裸 delete 会误删他人已过期的锁）
- imagevideo 加死节点接管；锁续期失败重试；调度池 4→16；openStream 全部加超时
- 事务内远程对象删除移到提交后；启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe（改为按调试端口精准回收，不杀用户自己的浏览器）
- 密码检测不再无条件杀紫鸟进程；品牌检测加全局互斥（代理池不再互相覆盖）
- base_dir 统一到 exe 目录（原被 os.getcwd() 覆盖，日志/缓存会分裂两个目录）
- 缓存加定时清理；图片下载加超时；mkstemp 句柄托管

测试
- 同步更新受影响的契约测试（构造器签名/条件更新/方法改名/新增接口方法等）
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
 2026-09-14 04:15:36 +08:00
huangzd1997 c448f49e30 fix(临时存储): RustFS 上传失败改为直接失败，不再静默回落 local 指针 
多实例/容器化部署下 local 指针只有写入它的实例能读（跨节点读直接报错、容器重建即丢），
此前上传失败静默降级会把跨节点不可读的脏指针落库，故障延后到其它节点的合并/组装才爆。
现改为在写失败点抛 BusinessException（中文原因透传调用方），并新增
fallback-to-local-on-error 开关（默认 false）供单机部署回退旧行为；
跨实例读 local 指针的报错改中文并带 objectKey；超限回落策略不变。
 2026-09-14 02:31:16 +08:00
huangzd1997 3f5a234c59 fix(测试): 修复 3 处既有红灯——快照行尾、缺失基准文档、失效的边界棘轮 
这三处在本次重构开始前就是红的（已在裸 HEAD 上复现），一并修掉，使 backend-java
相关测试恢复全绿（550 测试 0 失败）。

1. SimilarAsinSnapshotTest：golden 文件在 core.autocrlf=true 的检出下是 CRLF，
   而渲染结果按 LF 拼接，断言逐字符比较只差换行符即失败。改为读入时统一行尾。
   （这是测试自身缺陷，不是解析行为变化——两边的可打印内容完全一致。）

2. TxDurationBenchmarkTest：依赖 docs/tx-duration-benchmark.md，而该文档从未提交过
   （git 历史中不存在），导致 2 个用例必然失败。补齐文档，按 mock 环境实测记录
   单次事务段基线、200 分片上界与总耗时上界，并注明该基线只用于相对劣化判定。

3. ArchitectureBoundaryTest：task→业务依赖棘轮冻结在 84（task-212 后的存量），
   此后 TaskHeartbeatService 跨模块心跳（13）、StaleTaskRepairService（4）、
   ModuleHistoryCleanupService（2）、TaskResultFileJobWorker（2）持续接入新模块，
   实测已达 110，棘轮长期失效（恒红＝无人看）。对齐到 110 恢复告警，并写明
   「新增依赖请走 Handler SPI，不要直接上调」。
   注意：并行会话正在改 task 模块（含 StaleTaskRepairService），其改动落地后需重新实测。
 2026-09-14 02:01:16 +08:00
huangzd1997 b05bba50fa refactor(similar-asin): 抽出 LlmPipelineSupport，Service 降至 1735 行（累计 -70.7%） 
在上一提交（3455 行）基础上，把「Python 结果回传 → 分片落库 → LLM 检测」整条流水线
（57 个方法 / 1694 行）抽为 SimilarAsinPipelineSupport。等价搬移，未改行为。

采用依赖倒置消除循环依赖：support 包声明 SimilarAsinPipelineHost 接口
（finalizeTask / findOrCreateResultRecordForAssembly / readCategorySwitch /
finalizeExhaustedResultFileJob），由 SimilarAsinTaskService 实现；这几项保留在宿主
是因为它们属于编排与事务边界（handleResultFileJobFailure 带 @Transactional）。

同时把 5 个被两侧共用的内部 record 提为 support 包顶层类型
（SubmittedTaskMetadata / FinalizeTaskResult / SubmitContext /
 PersistSubmittedChunkResult / PreparedSubmittedChunk），3 个仅流水线内部使用的
record 内联进流水线类；LlmBatchContext 一并归位。

测试适配：4 个测试类里对 mergeLlmRowsIntoChunk / bufferLlmRowsOrMerge /
flushLlmBufferedResults 的反射改指向流水线实例；RollbackSemanticsContractTest
通过 pipelineSupport() 反射取得实例（跨包，保持封装）。

验证：干净工作区叠加本改动跑 similarasin 386 + task 引用方 166 测试，
结果与基线一致（仅既有失败），零新增失败。
 2026-09-14 01:51:36 +08:00
huangzd1997 9d92fb4af2 refactor(similar-asin): SimilarAsinTaskService 拆分为 9 个 support 类（5914→3455 行） 
从 5914 行的巨型 Service 中按内聚单元抽出 9 个 support 类 + 1 个顶层 record，
净减 2459 行（-41.6%）。全部为等价搬移（Javadoc 标注搬移来源），未改任何行为：

- SimilarAsinLimits            阈值/开关解析（parse 上限、chunk merge 上限、LLM batch/缓冲/flush）
- SimilarAsinPayloadSupport    解析载荷编解码与读取门面
- SimilarAsinPoisonTracker     毒行滑窗熔断状态（Service 从此无进程内可变状态）
- SimilarAsinChunkMergeSupport 行键族 + chunk 合并纯计算
- SimilarAsinResultTextSupport 结果行判定与用户可见文本渲染
- SimilarAsinChunkPayloadSupport chunk 载荷读取、读失败诊断、orphan 兜底
- SimilarAsinResultWorkbookAssembler 结果文件装配（xlsx/zip、POI、DISPIMG、并发）
- SimilarAsinTaskOwnershipSupport    实例归属判定与 per-task 分布式锁
- SimilarAsinTaskProgressSupport     文件构建进度、任务视图映射与计数
- LlmBatchContext              从内部 record 提为顶层，供归属与 LLM 流水线共用

顺带清理 7 处死代码（imageUrlCellValue、resolveResultDownloadUrl/Filename、
applyLlmToPersistedChunks、countCompletedLlmStates、hasPromptFields、
userFacingConclusion、@PreDestroy import）。

assembleExecutor 仍由 Service 持有，shutdownAssembleExecutor 语义不变（18 个测试未动）。
验证：在干净 HEAD worktree 上叠加本改动跑 similarasin 全量测试，结果与裸 HEAD 一致
（386 测试，仅 3 个 SimilarAsinSnapshotTest 既有失败），零新增失败。
 2026-09-14 01:30:11 +08:00
huangzd1997 db6869b77e perf(LLM任务): 首查短超时快速失败 + 退避抖动 + 标题失败跳过外观识别 
生产 24h 数据：外观专利任务 LLM 重试失败 93+82 次几乎全是超时，
终态 41 行降级为「外观识别异常」；成功调用 p99=34s、超 60s 仅 0.02%。
原策略每轮重试都挂满 90s（被全局 call-timeout 钳制），且 1.5s/3s
密集重试整批落在同一劣化窗口内。

- 第 1 次尝试改用 llm-first-attempt-read-timeout-millis（默认 60s）快速失败，
  重试走完整读超时，慢而成功的正常调用不被误杀
- 重试等待改 LlmRetryBackoff：2s/10s + ±30% 抖动，覆盖更长窗口并打散同批尖峰
- 外观专利标题识别失败时跳过外观请求（该行必走回退，外观结果本就会被丢弃）
 2026-09-14 00:28:40 +08:00
huangzd1997 864c22ffc7 fix(密钥检测): 直连失败重试一次，超时/网络提示中文化 
上游 ai.t8star.org 实测约 1/8 单请求完全不应答（主机 A 上 JDK 客户端
HTTP/1.1 与 HTTP/2 均复现），检测只有一次机会时用户会看到
「网络不可达：HttpTimeoutException: request timed out」。

- 传输层失败（超时/网络不可达）对直连最后一跳重试一次（800ms 间隔）；
  代理模块不重试——jikip 按提取次数计费，重试会多扣一次
- 失败文案中文化（新增 CODE_TIMEOUT），英文异常串只进服务端日志
- 探测提问改「你好」（最简一次调用）
- 检测面板标明检测对象（配置密钥 sk-**** / 输入值（未保存）），
  检测接口超时单独放宽（客户端 60s / 后台 180s），避免重试期间前端先超时
 2026-09-14 00:28:35 +08:00
huangzd1997 fd614004b0 fix(撞款e2e): 台账分页断言限定到台账表格紧邻分页器 
台账 tab 下页面同时有「店铺上架分布」分页器（设计要求常显）与台账分页器，
全页 .old-pagination 命中 2 个元素触发 strict mode；断言改为 .table-wrap + .old-pagination，
用例意图不变（台账分页可见）。撞款 4 用例全绿，全量 e2e 44 通过（通知面板 1 例失败系并行会话在改 NotificationBell.vue，与本改动无关）。
 2026-09-14 00:25:19 +08:00
huangzd1997 ff1ffbbfa3 feat(站内通知): 铃铛面板支持时间/内容搜索、按天分组与分页 
- 列表接口加 keyword（标题/内容模糊）与 startDate/endDate（年月日闭区间）参数，
  两端控制器透传，服务端补筛选日志
- 两端铃铛面板：搜索框（防抖 300ms）+ 日期区间 + 按年月日分组 + 翻页，
  面板改 Teleport 到 body（挂在顶栏时会被页面 el-select 压住，提 z-index 无效）
- 固化可见范围回归测试：超管全量/管理员只看本组/普通用户只看自己，
  含读写两侧的 user_id+audience 裁剪断言与两端控制器身份来源断言
 2026-09-13 23:59:06 +08:00
huangzd1997 9ffd68bae5 feat(教程管理): 后台可上传教程包，工具台按最新上传下载 
- admin-vue 新增「记录与版本 → 教程管理」页（menuKey admin_tutorial）：
  zip 浏览器直传 MinIO（presign → PUT 带进度 → confirm 落库）+ 列表/下载/删除，
  最新一条标「当前生效」；补操作指引与 align-tutorial 守卫测试。
- frontend-vue 工具台「立即下载教程」进页面取 /api/tutorial/latest（最新上传优先），
  接口异常或无记录回退历史固定直链，按钮不失效。
- Java 侧 tutorial 模块与 V119 迁移已在 dc6e8924 提交并上线（2026-09-13）。

vue-tsc + 两端单测（工具台 695 / 后台 1617）通过；生产已实测
presign→PUT→confirm→latest 切换→删除回落全链路。
 2026-09-13 23:48:24 +08:00
huangzd1997 14a723ab1c refactor(品牌工具页): 历史批量删除抽为 runBatchDelete 
16 个品牌页逐字相同的 batchDeleteHistory 循环（逐条删除 + 容忍个别失败计数）
收敛为 shared/utils/batch-delete.ts 的 runBatchDelete；各页仅保留自己的删除调用
与提示文案。补单测 4 例（空列表 / 全成功 / 部分失败继续 / 非 Error 异常）。

净减约 120 行；vue-tsc 构建与 699 个前端单测通过。
 2026-09-13 23:32:27 +08:00
huangzd1997 dc6e8924a9 refactor(品牌工具页): 历史轮询抽为 useHistoryPolling 
QueryAsin / Withdraw / PatrolDelete 三页逐字相同的 startHistoryPolling /
stopHistoryPolling 收敛为 shared/composables/useHistoryPolling：定时器走各页
categorized-timers（category 固定 history-poll），间隔默认主轮询的 2 倍。
categorized-timers 补 CategorizedTimers 类型导出；补注入式假定时器单测 5 例。

净减约 40 行；vue-tsc 构建与 695 个前端单测通过。
 2026-09-13 23:22:49 +08:00
huangzd1997 882ccdac12 refactor(品牌工具页): 抽取 formatDateTime 与 uploadPathsToJava 公共工具 
- 新增 shared/utils/datetime.ts：13 个品牌页逐字重复的 formatDateTime 收敛为一处；
  语义不同的 3 个变体（toLocaleString / 字符串切片 / 支持时间戳）保留不动
- 新增 shared/utils/upload-to-java.ts：10 个品牌页的上传循环收敛，api 依赖注入便于单测；
  保留 uploadOss（品牌Tab）与 returnEmptyWhenUnavailable（跟价）两处行为差异
- 补 datetime / upload-to-java 单测 10 例

净减约 327 行；vue-tsc 构建与 690 个前端单测全通过
 2026-09-13 23:16:59 +08:00
huangzd1997 b70557a077 feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统 
- 单设备登录：登录成功即 last-login-wins 绑定 users.machine；非超管旧 token
  在下一次受保护请求抛 4011 下线，超管豁免；仅认 token 内签名 deviceId，不用请求头。
  前端两端接入踢下线跳转（?kicked=1 提示），V118 清空历史 machine
- 站内通知：新增 notification 模块（任务失败扫描 / 密钥欠费 / 下游服务探测三类来源），
  前后台铃铛组件 + 轮询；后台列表按主管数据范围（UserDataScopeSupport）过滤；V116 建表

均已于 2026-09-13 部署上线，此次补提交源码（此前仅存在于已部署 JAR/构建产物中）
 2026-09-13 23:08:22 +08:00
huangzd1997 a0f6582914 feat(密钥管理): 代理配置后台明文展示 + 按次统计各密钥调用损耗 
- 后台密钥管理「代理设置」列改为完整明文展示（含账号密码），便于运维核对；
  新增 full 字段仅对代理模块下发，密钥两列保持脱敏
- 新增 biz_user_secret_usage_daily（V117）：用户 × 模块 × 天累计真实对外请求次数
- 计次口径：LLM 每次真实 HTTP 请求（含重试）计 1 次；代理每次成功提取计 1 次
- LLM 埋点走 SecretUsageContext 上下文（批次外设置、线程池内快照恢复）
- 新增内部上报接口 /api/internal/user-secret-usage（X-Internal-Token）
- 新增后台页「密钥用量统计」：日期范围 + 用户名 + 分组筛选，含范围内汇总
 2026-09-13 21:56:46 +08:00
huangzd1997 0c98c5bc15 docs(auth): 修正 JWT 默认密钥注释——桌面客户端本地 Flask 退役后服务端可独立轮换 
原注释称"客户端内置同一密钥，服务端不能换"已过时（本地 Flask 与 /api/auth/sync
验签链路已随服务端化退役），会误导运维不敢轮换；2026-09-13 生产已轮换为
application-server.yml 独立密钥并验证。
 2026-09-13 21:44:20 +08:00
huangzd1997 1066625078 feat(品牌服务): 内部接口按 uid 供用户代理提取链接；代理检测改真实提取+转发探测 
- 新增 /api/internal/user-proxy（X-Internal-Token 自校验，18080 公网可达必须校验），
  供主机 A 品牌检测服务（15126）按 uid 取用户代理提取链接，未配置返回空串
- 代理检测修复"假通过"：旧实现把提取链接直接当静态代理交给 HttpClientPool，
  链接无显式端口解析失败静默回退直连，检测到的是自家站点直连响应（40 个用户
  3-39ms 全 301 假通过）；现在先真实提取一次（余额不足/解析失败如实报），
  再经提取到的代理请求自家域名，兼容旧静态代理地址
 2026-09-13 21:21:48 +08:00
huangzd1997 fe052879bd fix(用户管理): 删除用户时级联清理服务端密钥，修已删账号留下孤儿密钥行 
biz_user_api_secret 按 uid 绑定且无外键，删除用户后密钥/代理配置成为无主行
（生产已出现 5 条孤儿）。deleteUser 内同步调用 adminClearByUser 并纳入同一事务，
删除失败（行不存在）时不触碰密钥。
 2026-09-13 21:21:45 +08:00
huangzd1997 51c5fe1129 fix(任务中断): 已终态任务也幂等刷新缓存/快照，修历史遗留的处理中卡死 
第一次修复只在 DB 刚被改成 FAILED 时同步缓存；对 DB 已是终态、但 Redis 里
仍缓存 RUNNING 的历史任务不生效（真机：28094 反复调中断仍返回 progress=RUNNING）。
现在无论是否刚更新 DB，都按 DB 现值同步模块缓存与进度快照，可自愈。
 2026-09-13 15:46:18 +08:00
huangzd1997 3d208ea0e5 fix(任务中断): 标失败时同步模块缓存与进度快照，修"处理中"卡死 
客户端重启上报中断只改了 file_task，模块缓存/进度快照仍是 RUNNING，
导致 progress/batch 继续回报 RUNNING：前端任务面板永远"处理中"并阻塞该工具后续任务
（2026-09-13 真机：店铺数据采集 28094 history=FAILED 但 progress=RUNNING，界面卡住）。
markInterrupted 现在同时刷新模块缓存（saveFileTaskCache）与进度快照（新增 markTerminal）。
 2026-09-13 15:16:14 +08:00
huangzd1997 a4f60ef21c fix(权限): 用户菜单权限“自己没掉”——分区落库时级联清理跨类型误删 + 编辑弹窗空授权提交 
- 级联清理的有效集改为按目标「完整直接授权」计算（读库，含 admin/app 全类型）。
  此前 admin/app 分区落库把本次提交的 id 当成完整有效集，员工持有的另一类型授权
  会整体被判越权删除；两次分区落库互相补刀，最终清空员工全部菜单权限
  （生产表现：保存某非超管的权限后，他直建员工的菜单隔三差五自己消失）
- AdminUserService 改为两类落库完成后再统一级联一次，新增 cascadeSubordinateOverreach 入口
- 后台「编辑用户」弹窗：授权未加载完成/失败时禁用保存并明确提示，
  避免以空 columnIds 整树清空该用户授权（改动密码等操作也会连带触发）
- 回归测试：deferredCascadeKeepsSubordinateGrantsOfOtherMenuType、
  perTypeReplacementDoesNotCascadeBeforeAllTypesWritten、edit_user_dialog_blocks_save_until_auth_loaded

已知既有红测试（与本次改动无关，干净 HEAD 上同样复现，未新增）：
ArchitectureBoundaryTest.taskToBusinessDependencyDoesNotGrow（110 > 基线 84）、
HttpClientTimeoutEffectiveTest.connectTimeoutFiresOnUnreachableHost（本机网络环境 60s）
 2026-09-13 14:18:01 +08:00
huangzd1997 3f6ad0c6ad feat(后台分组): 分组筛选与分组列仅超管可见，非超管一律隐藏 
管理员/普通用户数据已由后端裁剪到本人可访问分组，分组维度对其无意义；
账号归属分组是超管职责，故只有超管需要按分组筛选与区分。

- 隐藏分组筛选+分组列：品牌数据库、查询ASIN、最低价ASIN、去重总数据、
  店铺管理、用户密钥
- 仅隐藏分组展示：店铺数据记录(筛选框+卡片行)、图片视频任务(所属分组行)、
  撞款检测(明细抽屉分组列+卡片分组标签)
- 弹窗分组选择保留展示但锁定：非超管仅1个可访问分组时自动选中并置灰
  (查询/最低价ASIN 另联动加载该分组店铺)，多分组不锁以免限制用户
- 空数据行 colspan 随列显隐动态化
- 新增 tests/align-group-visibility.test.ts 回归守卫(5 条)
 2026-09-13 14:00:19 +08:00
huangzd1997 0323f0bb7b fix(密钥管理): 分组口径改为「分组创建人名下用户」 
- 生产分组成员表 biz_shop_manage_group_member 基本未使用（仅 2 条老数据），导致分组列恒空
- 实际归属：分组 created_by_id/user_id 即主管，其组员为 users.created_by_id 指向该主管的用户
- 分组名批量查询与按分组圈人 SQL 均按此关系重写；按分组筛选含组长本人
- 无分组记录的用户分组列回退展示「所属主管（未建分组）」，避免空值
 2026-09-13 13:42:06 +08:00
huangzd1997 1b733b23b9 feat(密钥管理): 按数据权限分组隔离与筛选 
- 后台密钥列表改为按 biz_shop_manage_group 分组：主管只看自己带的分组成员，超管看全量可按 group_id 筛选
- 行数据补「所属分组」名称（批量查询）；列表接口带回分组筛选项
- 修复超管筛选不生效：前端筛选参数统一 snake_case（camel 被后端静默忽略）
- 列表列/筛选项文案由「所属管理员」改为「分组」
 2026-09-13 13:34:08 +08:00
huangzd1997 05ae0c62d6 feat(密钥管理): 后台分组过滤+欠费状态识别 
- 后台密钥列表：主管只看本组子账户(created_by_id=自己)，超管全量可按创建人筛选；行 VO 新增 createdById/createdByUsername
- 代理提取接口欠费(message=余额不足)识别为 insufficient_balance，不再静默回退直连
- 上游 LLM 网关欠费(code=insufficient_user_quota/预扣费额度失败)同样归为欠费并透传额度明细
- 前端：桌面设置面板显示"欠费"，admin 后台单格药丸显示"欠费"、新增所属管理员列与超管筛选
 2026-09-13 13:22:14 +08:00
huangzd1997 4bc4969e5a docs(backend-java): 恢复 flyway 迁移模板/演练/盘点文档（原来只在未合入的并行分支上，master 的 MigrationInventory/FlywayTemplate 契约测试一直红） 2026-09-13 13:03:33 +08:00
huangzd1997 8cd8390d95 fix(健壮性): Java OOM 三处 + 双TE 502 根因 + admin-vue 403 白屏 
Java:
- similarasin Excel 解析改 EasyExcel 流式（原 WorkbookFactory 全量 DOM，大表 OOM）+ 魔数校验
- collectdata 结果组装改游标分批 + 导入改流式（原全量驻留内存）
- GlobalExceptionHandler 转发响应过滤逐跳头与实例标识头（双 Transfer-Encoding 导致 nginx 502 的根因）
admin-vue:
- 403（无后台权限，如工具号 token）与 401 同样跳登录页，修复后台白屏
- task-266 测试断言对齐 daily-files 端点演进
 2026-09-13 12:58:49 +08:00
huangzd1997 2a766efb83 feat(客户端密钥面板): 代理设置支持连通性检测与状态展示 
- 代理卡片新增检测按钮：地址有改动时检测输入值（不落库），否则检测/落库已存值
- 状态行展示检测结果（连通正常/失败原因/耗时），颜色区分通过/失败/警示
- 余量无数据时显示"余额查询暂不可用"占位
 2026-09-13 12:14:41 +08:00
huangzd1997 afa8560369 style(后台密钥管理): 用户名列加宽至 260px 并允许换行，长用户名不再截断 2026-09-13 10:51:19 +08:00
huangzd1997 c81ebb7053 fix(前端测试): 修复 npm test 卡死——定时器泄漏 + 去套娃 + 强制退出/超时 
- 根因：polling-backoff-recovery 测试断言失败后跳过 loop.dispose()，残留自续期定时器导致 node --test 子进程永不退出
- dead-code-cleanup：移除套娃用例 test_full_vitest_green（再跑一遍全量套件，放大问题），execSync 加 300s 超时；其余静态断言保留
- package.json：node --test --test-force-exit --test-timeout=180000
- CI workflow 前端测试步骤改为 npm test（与 package.json 单一来源）
- 修正 3 处过时期望值（轮询退避/品牌 files+taskType/巡店 delete_conditions）
- 验证：本地 666 用例全过，19-24s，无残留进程
 2026-09-13 10:51:19 +08:00
huangzd1997 b7d4d325e0 feat(密钥管理): 列表按用户聚合三字段列 + 代理配置服务端上报 
- Java：后台列表一行一用户（货源查询密钥/外观专利密钥/代理设置），行级状态三项全通过才算通过；检测/清空改为按用户；搜索仅按用户名（去 UID）；新增代理检测（经用户代理请求自家域名）与代理掩码（隐去账密）
- 后台前端：三字段列改版 + 行级状态筛选 + 用户名筛选
- 桌面前端：登录加载密钥时补报本地代理（只填空缺不覆盖）、保存/清空代理实时上报
 2026-09-13 10:47:19 +08:00
huangzd1997 82a782550e feat(密钥): 用户 API 密钥服务端化——V115 按账号绑定存储 + 后台密钥管理页 + 桌面端全站拦截与配置引导 
- 新增 usersecret 模块：外观专利/货源查询密钥从本地 localStorage 迁移至 biz_user_api_secret（AES 加密、按 uid 绑定）
- 后台「密钥管理」页：脱敏展示、立即检测、清空；每日 04:30 分布式锁定时巡检
- 桌面端：密钥设置面板走服务端、未配齐引导 /setup-secrets、代理余量展示
- 删除专利汇令牌全链路与密钥保留时长选择器
 2026-09-13 10:03:59 +08:00
huangzd1997 d1b56918fa fix(跟价): 指定ASIN文件提交改 fileKey + 服务端三形态解析兼容 
- 前端 resolveAsinRequestPaths 改发上传返回的 fileKey（与去重/转换/采集一致），
  修复安全加固后服务端按拼接解析绝对路径失败导致"ASIN 文件不存在或不可读"
- Java parseAsinRowsByCountry 三种形态解析：绝对路径直读 → tempRoot 拼接 → fileKey 反查，
  均过 isInsideTempDir 穿越校验，不放开临时目录外读取
 2026-09-13 03:01:56 +08:00
huangzd1997 441917bfce feat(后台/店铺数据): 结果下载增加进度弹窗 
批量打包下载与单店下载接入 axios onDownloadProgress，progress 弹窗显示
百分比；后端未回 Content-Length 时退化为 indeterminate 流动条，避免用户
在大 zip 下载期间以为页面无响应。
 2026-09-12 11:42:33 +08:00
huangzd1997 037a689316 chore(日志): 服务端高频轮询日志降噪 
-history timing 降debug；status无变化降debug；/history /list免INFO；stale-check合并单行；心跳常规响应降debug
 2026-09-11 21:22:41 +08:00
huangzd1997 db7cd22ed1 fix(鉴权/测试): 用户态工具鉴权改开关控制（默认关）+ 修复既有测试编译与断言 
- collect-data/price-track 兜底鉴权改由 aiimage.security.user-tool-guard-enabled
  控制，默认 false：老客户端直连不带认证头，先开启会让线上集采/跟价全线 401，
  待携带 X-Internal-Token 的新客户端铺开后再置 true
- 补齐 DistributedJobLockService 构造参数缺失的 6 个测试类（双活分布式锁
  commit 只改了主代码，测试已无法编译）；断言按"先删 DB 行再物理删"的现语义校正
 2026-09-11 18:03:54 +08:00
huangzd1997 9962d9797e feat(后台): 店铺密钥页支持配置静态代理 + 手动检测白名单——列表展示代理/失败次数，操作列加「检测白名单」按钮（绕过缓存真实请求并重置自动重试计数） 2026-09-11 17:18:27 +08:00
huangzd1997 47459e2089 feat(紫鸟): 令牌级静态代理支持——白名单被拒的 key 走已授权代理 IP 
- shop_key 新增 proxy_url / ip_whitelist_fail_count（V114 迁移）
- HttpClientPool 支持按代理地址复用的静态代理客户端
- 白名单连续失败达阈值后停止自动重试，控制台可按 key 配置代理（改动自
  上一工作阶段遗留，功能已编译验证）
 2026-09-11 17:11:50 +08:00
huangzd1997 e6021593ea fix(安全/健壮性): 全工作区审查修复——鉴权兜底扩展+路径穿越+忙等+泄漏 
- AdminApiGuardFilter 兜底扩展到 /api/collect-data、/api/price-track：无需鉴权的
  工具接口纳入 JWT/内部令牌校验（原匿名可达即越权读写他人数据）
- pricetrack asinFiles 改为仅允许上传临时目录内文件（canonical 前缀校验），
  修复请求路径直接 new File 可读服务器任意 csv/xlsx 的穿越
- dedupe 删除导入逐行 REQUIRES_NEW 事务改 500 条一批 IN 删除，50 万行导入
  由 50 万个事务收敛为千级
- 前端记住密码 XOR 硬编码密钥改 WebCrypto AES-GCM（密钥随机生成独立存储），
  登录流程接口改 async 并保证自动登录恢复时序
- 任务进度轮询失败按指数退避（原固定 5s 无限撞）；下载进度终态条目 2 分钟
  自动清理（原永久堆积）；AmazonConsolePage statusTimer 卸载清理
 2026-09-11 17:11:43 +08:00
huangzd1997 540d6588e6 fix(紫鸟): 店铺索引刷新加轮级时间预算熔断——单轮超 8 分钟即中断，剩余 key 顺延下一轮（游标续跑），避免紫鸟接口半死时整轮占锁几十分钟阻塞后续定时轮 2026-09-11 17:02:13 +08:00
huangzd1997 2a9110ec32 perf(店铺): 后台添加/改名店铺后异步触发一次紫鸟索引刷新——防抖合并2分钟窗口+延迟10秒等事务提交，拿不到锁或失败不影响添加流程，不等5分钟定时轮 2026-09-11 16:54:16 +08:00
huangzd1997 51fb77ec25 perf(紫鸟): 店铺索引刷新提速——间隔 10→5 分钟、每轮批量 100→200 个 apiKey，新店铺未命中等待时间约缩短 3/4 2026-09-11 16:38:56 +08:00
huangzd1997 30d31fb318 feat(代理): 代理配置按登录用户隔离——桌面端 current_uid 登录同步 + brand 页 proxy_users[uid] 读写，各用户各自代理池各自计费复用（未登录回退全局 proxy_url 兼容旧配置） 2026-09-11 16:09:56 +08:00
huangzd1997 bb52574767 fix(更新检测): 版本比较改真实比大小——线上版本不高于本机一律不提示更新；本机高于线上时明确提示无需更新（灰度/回滚/漏发版场景不再被引导降级） 2026-09-11 16:09:53 +08:00
huangzd1997 cd055f8ccd fix(内存): 两处无界内存风险加固——brand-check 线程池改有界队列+CallerRuns（大批量检查不再无界堆积 OOM）；OSS readObjectBytes 加 20MB 读取上限防大对象误用 OOM 2026-09-11 16:09:50 +08:00
huangzd1997 c2915036d6 fix(调度): 双节点下 collect-data/publish/image-video 定时调度加 Redis 分布式锁互斥——双活原来各自扫描执行同一批任务，重复派发/重复终态判定 2026-09-11 16:09:46 +08:00
huangzd1997 8dc03df95b feat(task): 客户端崩溃恢复接口 POST /heartbeat/{taskId}/interrupted——客户端重启发现上次进程崩溃时立即把残留 RUNNING 任务标终态，替代最长等 30 分钟的心跳超时兜底 2026-09-11 16:09:42 +08:00
huangzd1997 bb74c9a192 fix(task): 新增陈旧任务自动修复兜底——历史任务永久停留中间状态的排查与兜底 
生产库排查发现三类脏状态：陈旧 PENDING/SCHEDULED 无调度器再捞（243条）、
心跳残留的万年 RUNNING、SUCCESS 但结果报错（上报契约问题）。
已手工修复 269 条；本提交补常驻兜底：每 10 分钟检查 PENDING/SCHEDULED/RUNNING
心跳（updated_at）超 120 分钟即标 FAILED，分布式锁防双实例重复。
只用心跳线、不限制总时长——超长真活任务不会被误杀。
 2026-09-11 16:03:01 +08:00
huangzd1997 32985c78f3 feat(下载): 工具页统一下载进度条——AmazonToolPageShell 挂载 DownloadProgressPanel 
进度条组件原先只挂在 ImageVideoPage 内的 BrandTopBar，而所有工具页（货源查询/去重/拆分/
转换/删除品牌/外观专利/跟价/商品风险/巡店删除/取款/查询ASIN/匹配店铺/采集数据等）都经
AmazonToolPageShell 渲染，导致这些页面下载结果时没有任何进度展示。

在外壳挂载后一次覆盖全部工具页：面板 position:fixed 且数据来自全局 store，跨页面切换不会
丢进度；桌面客户端下载走 pywebview 进度事件，浏览器 Web 版本就无下载能力。
 2026-09-11 15:43:58 +08:00