super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,271 Commits 1 Branch 0 Tags
67223f8950a39f6be02653e62f1b5b0940c09cdd
Commit Graph

301 Commits

Author SHA1 Message Date
huangzd1997 95dfb69a18 refactor(ziniao/shopkey)+fix(stale): 打破模块循环依赖 + 采集陈旧判死全局化 
模块边界（消除 ziniao ↔ shopkey 真实循环依赖）：
- 新增 ziniao/service/port/{ShopKeyCatalogPort,ManagedShopNamePort}：消费方声明契约
- shopkey 侧新增 ShopKeyCatalogAdapter（读 shop_key + 白名单状态回写）、
  ManagedShopNameAdapter（店铺名校验），实现上述端口
- ZiniaoApiKeyProvider 改经端口取数，不再 import shopkey 的 Mapper/Entity；
  ZiniaoShopSwitchService 改依赖 ManagedShopNamePort
- 结果：ziniao → shopkey 的 import 归零，依赖单向（shopkey → ziniao）

陈旧判死（G1 全局判死 + D9 条件更新，替代此前的 owner 过滤/旧实体覆盖）：
- ShopDataCrawlTaskService.finalizeOwnedStaleTasks → finalizeStaleTasks：去掉 owner 过滤，
  并入 DeleteBrandStaleTaskService 的 stale-check 巡检线（job 锁保证单实例扫描）
- 判死前必须持有任务锁（非阻塞获取，锁被占本轮跳过），FAILED 写入改 status CAS，
  仅在确实由 RUNNING 翻转为 FAILED 时才删缓存与分片（原实现会用扫描期旧实体覆盖在途任务）
- tryFinalizeTask 增加 allowOwnerTakeover 重载：判死场景允许跨实例接管（P1-8 盲区）
- 测试同步：owner 契约用例改为全局判死口径；mock 的 CAS 需先渲染 SQL 片段
  （MyBatis-Plus 的 where 参数延迟填充）才读参数表；新增锁被占跳过的用例

mvn test 2796 全绿
 2026-09-14 05:44:37 +08:00
huangzd1997 24ada70997 refactor: 结果下载直链解析去重（11 处 → 1 处） 
新增 common/service/ResultDownloadResolver，7 个模块的 resolveResultDownloadUrl
改为委托调用（appearancepatent/queryasin/withdraw/pricetrack/productrisk/
patroldelete/shopmatch）。

顺带修掉两处隐患：
- 原实现用 userId.equals(entity.getUserId())，userId 为 null 时 NPE
  （新实现用 Objects.equals）
- shopmatch 原实现在 url 为空时抛"任务不存在"，与语义不符，统一为"暂无可下载文件"

其余 4 处**刻意保留**，因为它们本就不是重复：
- shopdatacrawl：有 validateUserId + requireResultEntity + ensureResultOwner 前置校验
- deletebrand：返回 null 而非抛异常（调用方依赖该语义）
- similarasin：已分叉为返回 record ResultDownloadInfo
- brand：走的是另一套下载路径
文件名解析 resolveResultDownloadFilename 同样没收口：各模块兜底文件名策略确有差异

配套更新 3 个显式构造 Service 的测试（DelegationTest/HistoryBatchTest/
RollbackSemanticsContractTest）注入新依赖的 mock。mvn test 2795 个全绿。
 2026-09-14 05:17:10 +08:00
huangzd1997 6d46506726 fix: 全维度审查修复（安全/正确性/性能/稳定性/客户端/前端） 
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权（此前可匿名换取任意员工店铺登录令牌）
- 删除 Flask 遗留后门：默认密码建超管 + 每次启动写生产 users 表（服务端与客户端各一份）
- 进度/详情接口归属过滤：新增 TaskProgressOwnershipSupport，11 模块 progress/light 与
  /tasks/batch 接入，DTO 补 userId，前端 13 个查询封装补传（未传时后端不过滤，兼容旧端）
- 代理提取链接（含账密）不再明文入日志（新增 common/util/SecretMasking）
- 全局异常兜底不再回传原始异常信息；内部令牌比较改常量时间
- 登录加失败计数与锁定（10 次锁 15 分钟）；品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15（开关默认 false，行为不变，为收紧做准备）
- 生产关闭 springdoc/knife4j（/doc.html 匿名可读全部接口定义）

正确性
- 40901/40902 拆分：锁竞争不再被伪装成 success=true（此前客户端停止重试、分片静默丢失）
- 假成功收敛：集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally（7 模块，失败路径不再留僵尸 RUNNING 任务）
- 状态机条件更新：跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB（Element Plus 改按需 + el-config-provider）
- 载荷引用计数按指针里的 taskId 收敛（原 JSON 列 IN 全表扫且逐行调用）
- 店铺明细多值批量 INSERT；快照 upsert 预载缓存；结果文件列改单条 UPDATE
- 新增迁移 V120（补 3 个缺失索引）/V121（删 4 个被覆盖的冗余索引）/V122（URL 前缀索引）

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列（防堆积 OOM）
- Redis 锁释放改 Lua 原子校验（原裸 delete 会误删他人已过期的锁）
- imagevideo 加死节点接管；锁续期失败重试；调度池 4→16；openStream 全部加超时
- 事务内远程对象删除移到提交后；启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe（改为按调试端口精准回收，不杀用户自己的浏览器）
- 密码检测不再无条件杀紫鸟进程；品牌检测加全局互斥（代理池不再互相覆盖）
- base_dir 统一到 exe 目录（原被 os.getcwd() 覆盖，日志/缓存会分裂两个目录）
- 缓存加定时清理；图片下载加超时；mkstemp 句柄托管

测试
- 同步更新受影响的契约测试（构造器签名/条件更新/方法改名/新增接口方法等）
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
 2026-09-14 04:15:36 +08:00
huangzd1997 c448f49e30 fix(临时存储): RustFS 上传失败改为直接失败，不再静默回落 local 指针 
多实例/容器化部署下 local 指针只有写入它的实例能读（跨节点读直接报错、容器重建即丢），
此前上传失败静默降级会把跨节点不可读的脏指针落库，故障延后到其它节点的合并/组装才爆。
现改为在写失败点抛 BusinessException（中文原因透传调用方），并新增
fallback-to-local-on-error 开关（默认 false）供单机部署回退旧行为；
跨实例读 local 指针的报错改中文并带 objectKey；超限回落策略不变。
 2026-09-14 02:31:16 +08:00
huangzd1997 3f5a234c59 fix(测试): 修复 3 处既有红灯——快照行尾、缺失基准文档、失效的边界棘轮 
这三处在本次重构开始前就是红的（已在裸 HEAD 上复现），一并修掉，使 backend-java
相关测试恢复全绿（550 测试 0 失败）。

1. SimilarAsinSnapshotTest：golden 文件在 core.autocrlf=true 的检出下是 CRLF，
   而渲染结果按 LF 拼接，断言逐字符比较只差换行符即失败。改为读入时统一行尾。
   （这是测试自身缺陷，不是解析行为变化——两边的可打印内容完全一致。）

2. TxDurationBenchmarkTest：依赖 docs/tx-duration-benchmark.md，而该文档从未提交过
   （git 历史中不存在），导致 2 个用例必然失败。补齐文档，按 mock 环境实测记录
   单次事务段基线、200 分片上界与总耗时上界，并注明该基线只用于相对劣化判定。

3. ArchitectureBoundaryTest：task→业务依赖棘轮冻结在 84（task-212 后的存量），
   此后 TaskHeartbeatService 跨模块心跳（13）、StaleTaskRepairService（4）、
   ModuleHistoryCleanupService（2）、TaskResultFileJobWorker（2）持续接入新模块，
   实测已达 110，棘轮长期失效（恒红＝无人看）。对齐到 110 恢复告警，并写明
   「新增依赖请走 Handler SPI，不要直接上调」。
   注意：并行会话正在改 task 模块（含 StaleTaskRepairService），其改动落地后需重新实测。
 2026-09-14 02:01:16 +08:00
huangzd1997 b05bba50fa refactor(similar-asin): 抽出 LlmPipelineSupport，Service 降至 1735 行（累计 -70.7%） 
在上一提交（3455 行）基础上，把「Python 结果回传 → 分片落库 → LLM 检测」整条流水线
（57 个方法 / 1694 行）抽为 SimilarAsinPipelineSupport。等价搬移，未改行为。

采用依赖倒置消除循环依赖：support 包声明 SimilarAsinPipelineHost 接口
（finalizeTask / findOrCreateResultRecordForAssembly / readCategorySwitch /
finalizeExhaustedResultFileJob），由 SimilarAsinTaskService 实现；这几项保留在宿主
是因为它们属于编排与事务边界（handleResultFileJobFailure 带 @Transactional）。

同时把 5 个被两侧共用的内部 record 提为 support 包顶层类型
（SubmittedTaskMetadata / FinalizeTaskResult / SubmitContext /
 PersistSubmittedChunkResult / PreparedSubmittedChunk），3 个仅流水线内部使用的
record 内联进流水线类；LlmBatchContext 一并归位。

测试适配：4 个测试类里对 mergeLlmRowsIntoChunk / bufferLlmRowsOrMerge /
flushLlmBufferedResults 的反射改指向流水线实例；RollbackSemanticsContractTest
通过 pipelineSupport() 反射取得实例（跨包，保持封装）。

验证：干净工作区叠加本改动跑 similarasin 386 + task 引用方 166 测试，
结果与基线一致（仅既有失败），零新增失败。
 2026-09-14 01:51:36 +08:00
huangzd1997 9d92fb4af2 refactor(similar-asin): SimilarAsinTaskService 拆分为 9 个 support 类（5914→3455 行） 
从 5914 行的巨型 Service 中按内聚单元抽出 9 个 support 类 + 1 个顶层 record，
净减 2459 行（-41.6%）。全部为等价搬移（Javadoc 标注搬移来源），未改任何行为：

- SimilarAsinLimits            阈值/开关解析（parse 上限、chunk merge 上限、LLM batch/缓冲/flush）
- SimilarAsinPayloadSupport    解析载荷编解码与读取门面
- SimilarAsinPoisonTracker     毒行滑窗熔断状态（Service 从此无进程内可变状态）
- SimilarAsinChunkMergeSupport 行键族 + chunk 合并纯计算
- SimilarAsinResultTextSupport 结果行判定与用户可见文本渲染
- SimilarAsinChunkPayloadSupport chunk 载荷读取、读失败诊断、orphan 兜底
- SimilarAsinResultWorkbookAssembler 结果文件装配（xlsx/zip、POI、DISPIMG、并发）
- SimilarAsinTaskOwnershipSupport    实例归属判定与 per-task 分布式锁
- SimilarAsinTaskProgressSupport     文件构建进度、任务视图映射与计数
- LlmBatchContext              从内部 record 提为顶层，供归属与 LLM 流水线共用

顺带清理 7 处死代码（imageUrlCellValue、resolveResultDownloadUrl/Filename、
applyLlmToPersistedChunks、countCompletedLlmStates、hasPromptFields、
userFacingConclusion、@PreDestroy import）。

assembleExecutor 仍由 Service 持有，shutdownAssembleExecutor 语义不变（18 个测试未动）。
验证：在干净 HEAD worktree 上叠加本改动跑 similarasin 全量测试，结果与裸 HEAD 一致
（386 测试，仅 3 个 SimilarAsinSnapshotTest 既有失败），零新增失败。
 2026-09-14 01:30:11 +08:00
huangzd1997 db6869b77e perf(LLM任务): 首查短超时快速失败 + 退避抖动 + 标题失败跳过外观识别 
生产 24h 数据：外观专利任务 LLM 重试失败 93+82 次几乎全是超时，
终态 41 行降级为「外观识别异常」；成功调用 p99=34s、超 60s 仅 0.02%。
原策略每轮重试都挂满 90s（被全局 call-timeout 钳制），且 1.5s/3s
密集重试整批落在同一劣化窗口内。

- 第 1 次尝试改用 llm-first-attempt-read-timeout-millis（默认 60s）快速失败，
  重试走完整读超时，慢而成功的正常调用不被误杀
- 重试等待改 LlmRetryBackoff：2s/10s + ±30% 抖动，覆盖更长窗口并打散同批尖峰
- 外观专利标题识别失败时跳过外观请求（该行必走回退，外观结果本就会被丢弃）
 2026-09-14 00:28:40 +08:00
huangzd1997 864c22ffc7 fix(密钥检测): 直连失败重试一次，超时/网络提示中文化 
上游 ai.t8star.org 实测约 1/8 单请求完全不应答（主机 A 上 JDK 客户端
HTTP/1.1 与 HTTP/2 均复现），检测只有一次机会时用户会看到
「网络不可达：HttpTimeoutException: request timed out」。

- 传输层失败（超时/网络不可达）对直连最后一跳重试一次（800ms 间隔）；
  代理模块不重试——jikip 按提取次数计费，重试会多扣一次
- 失败文案中文化（新增 CODE_TIMEOUT），英文异常串只进服务端日志
- 探测提问改「你好」（最简一次调用）
- 检测面板标明检测对象（配置密钥 sk-**** / 输入值（未保存）），
  检测接口超时单独放宽（客户端 60s / 后台 180s），避免重试期间前端先超时
 2026-09-14 00:28:35 +08:00
huangzd1997 ff1ffbbfa3 feat(站内通知): 铃铛面板支持时间/内容搜索、按天分组与分页 
- 列表接口加 keyword（标题/内容模糊）与 startDate/endDate（年月日闭区间）参数，
  两端控制器透传，服务端补筛选日志
- 两端铃铛面板：搜索框（防抖 300ms）+ 日期区间 + 按年月日分组 + 翻页，
  面板改 Teleport 到 body（挂在顶栏时会被页面 el-select 压住，提 z-index 无效）
- 固化可见范围回归测试：超管全量/管理员只看本组/普通用户只看自己，
  含读写两侧的 user_id+audience 裁剪断言与两端控制器身份来源断言
 2026-09-13 23:59:06 +08:00
huangzd1997 b70557a077 feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统 
- 单设备登录：登录成功即 last-login-wins 绑定 users.machine；非超管旧 token
  在下一次受保护请求抛 4011 下线，超管豁免；仅认 token 内签名 deviceId，不用请求头。
  前端两端接入踢下线跳转（?kicked=1 提示），V118 清空历史 machine
- 站内通知：新增 notification 模块（任务失败扫描 / 密钥欠费 / 下游服务探测三类来源），
  前后台铃铛组件 + 轮询；后台列表按主管数据范围（UserDataScopeSupport）过滤；V116 建表

均已于 2026-09-13 部署上线，此次补提交源码（此前仅存在于已部署 JAR/构建产物中）
 2026-09-13 23:08:22 +08:00
huangzd1997 a0f6582914 feat(密钥管理): 代理配置后台明文展示 + 按次统计各密钥调用损耗 
- 后台密钥管理「代理设置」列改为完整明文展示（含账号密码），便于运维核对；
  新增 full 字段仅对代理模块下发，密钥两列保持脱敏
- 新增 biz_user_secret_usage_daily（V117）：用户 × 模块 × 天累计真实对外请求次数
- 计次口径：LLM 每次真实 HTTP 请求（含重试）计 1 次；代理每次成功提取计 1 次
- LLM 埋点走 SecretUsageContext 上下文（批次外设置、线程池内快照恢复）
- 新增内部上报接口 /api/internal/user-secret-usage（X-Internal-Token）
- 新增后台页「密钥用量统计」：日期范围 + 用户名 + 分组筛选，含范围内汇总
 2026-09-13 21:56:46 +08:00
huangzd1997 1066625078 feat(品牌服务): 内部接口按 uid 供用户代理提取链接；代理检测改真实提取+转发探测 
- 新增 /api/internal/user-proxy（X-Internal-Token 自校验，18080 公网可达必须校验），
  供主机 A 品牌检测服务（15126）按 uid 取用户代理提取链接，未配置返回空串
- 代理检测修复"假通过"：旧实现把提取链接直接当静态代理交给 HttpClientPool，
  链接无显式端口解析失败静默回退直连，检测到的是自家站点直连响应（40 个用户
  3-39ms 全 301 假通过）；现在先真实提取一次（余额不足/解析失败如实报），
  再经提取到的代理请求自家域名，兼容旧静态代理地址
 2026-09-13 21:21:48 +08:00
huangzd1997 fe052879bd fix(用户管理): 删除用户时级联清理服务端密钥，修已删账号留下孤儿密钥行 
biz_user_api_secret 按 uid 绑定且无外键，删除用户后密钥/代理配置成为无主行
（生产已出现 5 条孤儿）。deleteUser 内同步调用 adminClearByUser 并纳入同一事务，
删除失败（行不存在）时不触碰密钥。
 2026-09-13 21:21:45 +08:00
huangzd1997 a4f60ef21c fix(权限): 用户菜单权限“自己没掉”——分区落库时级联清理跨类型误删 + 编辑弹窗空授权提交 
- 级联清理的有效集改为按目标「完整直接授权」计算（读库，含 admin/app 全类型）。
  此前 admin/app 分区落库把本次提交的 id 当成完整有效集，员工持有的另一类型授权
  会整体被判越权删除；两次分区落库互相补刀，最终清空员工全部菜单权限
  （生产表现：保存某非超管的权限后，他直建员工的菜单隔三差五自己消失）
- AdminUserService 改为两类落库完成后再统一级联一次，新增 cascadeSubordinateOverreach 入口
- 后台「编辑用户」弹窗：授权未加载完成/失败时禁用保存并明确提示，
  避免以空 columnIds 整树清空该用户授权（改动密码等操作也会连带触发）
- 回归测试：deferredCascadeKeepsSubordinateGrantsOfOtherMenuType、
  perTypeReplacementDoesNotCascadeBeforeAllTypesWritten、edit_user_dialog_blocks_save_until_auth_loaded

已知既有红测试（与本次改动无关，干净 HEAD 上同样复现，未新增）：
ArchitectureBoundaryTest.taskToBusinessDependencyDoesNotGrow（110 > 基线 84）、
HttpClientTimeoutEffectiveTest.connectTimeoutFiresOnUnreachableHost（本机网络环境 60s）
 2026-09-13 14:18:01 +08:00
huangzd1997 0323f0bb7b fix(密钥管理): 分组口径改为「分组创建人名下用户」 
- 生产分组成员表 biz_shop_manage_group_member 基本未使用（仅 2 条老数据），导致分组列恒空
- 实际归属：分组 created_by_id/user_id 即主管，其组员为 users.created_by_id 指向该主管的用户
- 分组名批量查询与按分组圈人 SQL 均按此关系重写；按分组筛选含组长本人
- 无分组记录的用户分组列回退展示「所属主管（未建分组）」，避免空值
 2026-09-13 13:42:06 +08:00
huangzd1997 1b733b23b9 feat(密钥管理): 按数据权限分组隔离与筛选 
- 后台密钥列表改为按 biz_shop_manage_group 分组：主管只看自己带的分组成员，超管看全量可按 group_id 筛选
- 行数据补「所属分组」名称（批量查询）；列表接口带回分组筛选项
- 修复超管筛选不生效：前端筛选参数统一 snake_case（camel 被后端静默忽略）
- 列表列/筛选项文案由「所属管理员」改为「分组」
 2026-09-13 13:34:08 +08:00
huangzd1997 05ae0c62d6 feat(密钥管理): 后台分组过滤+欠费状态识别 
- 后台密钥列表：主管只看本组子账户(created_by_id=自己)，超管全量可按创建人筛选；行 VO 新增 createdById/createdByUsername
- 代理提取接口欠费(message=余额不足)识别为 insufficient_balance，不再静默回退直连
- 上游 LLM 网关欠费(code=insufficient_user_quota/预扣费额度失败)同样归为欠费并透传额度明细
- 前端：桌面设置面板显示"欠费"，admin 后台单格药丸显示"欠费"、新增所属管理员列与超管筛选
 2026-09-13 13:22:14 +08:00
huangzd1997 8cd8390d95 fix(健壮性): Java OOM 三处 + 双TE 502 根因 + admin-vue 403 白屏 
Java:
- similarasin Excel 解析改 EasyExcel 流式（原 WorkbookFactory 全量 DOM，大表 OOM）+ 魔数校验
- collectdata 结果组装改游标分批 + 导入改流式（原全量驻留内存）
- GlobalExceptionHandler 转发响应过滤逐跳头与实例标识头（双 Transfer-Encoding 导致 nginx 502 的根因）
admin-vue:
- 403（无后台权限，如工具号 token）与 401 同样跳登录页，修复后台白屏
- task-266 测试断言对齐 daily-files 端点演进
 2026-09-13 12:58:49 +08:00
huangzd1997 b7d4d325e0 feat(密钥管理): 列表按用户聚合三字段列 + 代理配置服务端上报 
- Java：后台列表一行一用户（货源查询密钥/外观专利密钥/代理设置），行级状态三项全通过才算通过；检测/清空改为按用户；搜索仅按用户名（去 UID）；新增代理检测（经用户代理请求自家域名）与代理掩码（隐去账密）
- 后台前端：三字段列改版 + 行级状态筛选 + 用户名筛选
- 桌面前端：登录加载密钥时补报本地代理（只填空缺不覆盖）、保存/清空代理实时上报
 2026-09-13 10:47:19 +08:00
huangzd1997 82a782550e feat(密钥): 用户 API 密钥服务端化——V115 按账号绑定存储 + 后台密钥管理页 + 桌面端全站拦截与配置引导 
- 新增 usersecret 模块：外观专利/货源查询密钥从本地 localStorage 迁移至 biz_user_api_secret（AES 加密、按 uid 绑定）
- 后台「密钥管理」页：脱敏展示、立即检测、清空；每日 04:30 分布式锁定时巡检
- 桌面端：密钥设置面板走服务端、未配齐引导 /setup-secrets、代理余量展示
- 删除专利汇令牌全链路与密钥保留时长选择器
 2026-09-13 10:03:59 +08:00
huangzd1997 db7cd22ed1 fix(鉴权/测试): 用户态工具鉴权改开关控制（默认关）+ 修复既有测试编译与断言 
- collect-data/price-track 兜底鉴权改由 aiimage.security.user-tool-guard-enabled
  控制，默认 false：老客户端直连不带认证头，先开启会让线上集采/跟价全线 401，
  待携带 X-Internal-Token 的新客户端铺开后再置 true
- 补齐 DistributedJobLockService 构造参数缺失的 6 个测试类（双活分布式锁
  commit 只改了主代码，测试已无法编译）；断言按"先删 DB 行再物理删"的现语义校正
 2026-09-11 18:03:54 +08:00
huangzd1997 47b2758fe8 fix(security): /debug/** 纳入兜底鉴权——修复 debug 端点可被匿名调用（含写操作） 
2026-09-11 实测确认（本机公网直连）：
  http://47.110.241.161:18080/debug/request-info        → 200 匿名返回实例元数据
  http://api.aishufu.top:18080/debug/request-info       → 200
  https://api.aishufu.top/debug/request-info            → 200
根因：SecurityConfig 是 anyRequest().permitAll()，唯一兜底过滤器 AdminApiGuardFilter 只覆盖
/api/admin/**（shouldNotFilter 对其它路径一律放行），而 modules/debug 两个控制器均无
@Profile/@ConditionalOn*/@PreAuthorize。其中 POST /debug/task-recovery/run-stale-finalize
是强制收尾指定 task 的写操作。

修法：不删端点（stale-task-finalize-guidelines.md 明确把该接口列为线上应急工具），
改为把 /debug 前缀纳入既有兜底过滤器——URL 不变、runbook 不破、复用已测鉴权逻辑，
应急调用方改用 X-Internal-Token 或管理员 JWT 即可通过。
另加 /debug 放行审计日志，便于事后追溯这类低频敏感调用。

单测 13 个全绿（新增 5 个）：匿名调 /debug/request-info 与 run-stale-finalize 均被 401 拒绝、
带内部令牌可直达 controller、/debug 裸前缀纳入保护、/debugging 与 /debug-tools 等
同前缀不同段的路径不被误伤。
 2026-09-11 01:33:58 +08:00
huangzd1997 b9768aac5e test(shop-data-crawl): 修复 ShopDataCrawlTaskServiceRetentionTest 因构造依赖漏 mock 导致的 NPE——Task 35 给 ShopDataCrawlTaskService 新增了 shopDataCrawlItemStoreService(行级明细落库)与 TaskProgressLightAssembler 两个构造依赖，而本测试的 @Mock 列表未同步更新；@InjectMocks 走构造注入时没有对应 @Mock 的构造参数会被传 null，于是 assembleDailyWorkbook 里的 saveShopBatchFromSnapshot 调用直接 NPE(11 用例 2 失败 5 错误，表现含'期望 IllegalStateException 实为 NullPointerException')。补两个 @Mock 后 11/11 通过，相关模块 310 用例全绿 2026-09-10 14:34:55 +08:00
huangzd1997 08e78ebe55 fix(shop-data-crawl): 累计档迁独立桶 shufu-shop-data 脱离默认桶30天过期规则＋修复批量下载zip恒失败——① 新增 aiimage.oss.shop-data-bucket(默认 shufu-shop-data)：上传侧 resolveBucket 按 SHOP_DATA_CRAWL、读取/删除/直链侧 bucketForObjectKey 按 result/shop_data_crawl/ 前缀双路路由（DB 里存的是裸 objectKey 不含桶名，key 不变故存量对象 mc mirror 即无缝切换），configuredBuckets 纳入新桶，启动自检未配置时告警 ② 批量下载 zip 原直接把 df.result_file_url 当绝对 URL(URI.create().toURL())，裸 objectKey 必抛 no protocol 导致整包 100% 失败，改由 loadDownloadRows 统一走 generateFreshDownloadUrl 拼直链 ③ 补 OssStorageServiceTest 5 用例覆盖此前零覆盖的上传选桶/裸key前缀路由 2026-09-10 14:31:00 +08:00
huangzd1997 b3f7b81b9c fix(similar-asin): 货源结果图回WPS DISPIMG并修正协议,WPS打开不再#REF/破损 
task-284 曾把图片协议改为 WPS DISPIMG(cellimages.xml),WPS 打开显示 #REF;
9/8 切回 Excel 365 richData 单元格图片后,WPS(用户主环境,12.1 实测)仍不识别,
单元格显示为 #VALUE! 错误值即图片破损。

根因:两套协议都只被单方支持——DISPIMG 是 WPS 私有协议,richData 是 Excel 365 私有协议。
本次回到 WPS DISPIMG(WPS 原生),并修复 WpsCellImageWriter 三处与 WPS 原生产物不一致的
协议细节(此前即 #REF 根因,已在 WPS 12.1.0.28505 实测三图渲染正常):
1. [Content_Types].xml 应为 application/vnd.wps-officedocument.cellimage+xml
2. workbook.xml.rels 关系类型应为 wps.cn/officeDocument/2020/cellImage
3. 公式格需 f t=shared ref + v=公式字符串(POI 输出裸 <f> 且引号转义为 &quot;,
   patch 阶段统一规范化;保留原格样式)
另 spPr 补 a:xfrm(原图尺寸)/a:noFill/a:ln w=9525(实测样本对齐);
patch 幂等(重复 patch 不再 duplicate entry);失败图留空不再写 URL 文本。
新增 WpsCellImageWriterProtocolTest 锁死协议契约防回归。
 2026-09-09 14:25:41 +08:00
huangzd1997 11d1951c7f fix(collect-data): 品牌检测查询失败不再写入无效品牌表，避免故障期误杀永久拉黑 
线上 task-27265 采集结果 0 行的根因：.env 缺 export 导致 Java 请求
16890 不带 X-Token 全线 422 -> 整批 queryFailed，而 filterByBrandCheck
把 queryFailed 与 rejected 一并写入 biz_invalid_asin_data，故障品牌被
永久拉黑，后续任务同品牌商品全部被 invalidFiltered 误杀（9-01 起所有
采集任务均 0 行）。改为仅真正判定无效的 rejected 才写表，rejected 为空
不触发写入；新增 2 个单测固化契约。
 2026-09-09 10:26:56 +08:00
huangzd1997 45fdd8a294 feat(software-version): 安装包改浏览器直传 MinIO，支持批量删除 
- 后端新增 /api/admin/version/presign、confirm、delete 端点；直传后服务端校验对象并写 web_config
- OSS 层新增软件版本对象 presign PUT/大小校验/删除与 client 桶 URL 识别
- 后台前端上传改 presign→PUT→confirm 三段式直传，带进度条；成功提示精简为"发布成功"
- 版本列表加勾选/表头全选、批量删除与单行删除；操作按钮样式对齐其他子菜单
 2026-09-08 23:51:18 +08:00
huangzd1997 197643a8fa fix: 商标查询失败自动重试、货源结果图切回Excel内嵌防WPS #REF、外观专利标题模型改gemini-3.8-flash 
- brand-check: 单品牌商标查询失败(异常/空响应/query_faild_data 非空)自动重试，
  次数与间隔可配(retry-times 默认3含首次 / retry-interval-millis 1000)，命中侵权不重试；
  collectdata 品牌过滤与外观专利商标核验两侧同时受益
- similarasin: 货源结果Excel图片由WPS DISPIMG 切回 Excel 365 richData 单元格内嵌，
  修复 WPS 打开 DISPIMG 显示 #REF 的兼容回归；下载失败单元格回退为URL文本
- appearance-patent: 标题商标提取模型由 deepseek-v4-flash 切 gemini-3.8-flash
 2026-09-08 19:01:08 +08:00
huangzd1997 f2906e8d6f fix(delete-brand): 分片缺失降级组装收尾+失败兜底生成可下载结果 
- 结果分片缺失 ≤ missingChunkFallbackLimit(默认20) 时降级组装，缺失行标「未回传」，任务不再整体白跑
- 超阈值失败/组装异常时通过 ResultFileJobHandler.fallbackAssembleOnFailure 兜底生成部分结果文件
- 组装失败文案带缺失分片号明细（如 缺失分片: [247]（已收 4283/4284））
- 新增 GET /api/delete-brand/tasks/{taskId}/missing-chunks，补传后自动恢复终态失败组装 job
- stale-check 失败文案改为含最后心跳时间与最近组装失败真实原因（修复误导性「回传长时间无响应」）
- 新增降级合并/缺失分片单测，Handler/Worker 日志审计 stage 白名单补 FALLBACK
 2026-09-08 13:18:58 +08:00
huangzd1997 abcfa5bef7 perf(similarasin): LLM 输入图转存前压缩,规避网关拉图超时 
- 主图/拼图转存 MinIO supply_images 前统一走 SimilarAsinImageEmbedder.resizeImage
  (长边 1280 / JPEG q0.75 / 迭代降质至 ≤150KB),体积 1~5MB → 100~300KB
- 根因:LLM 网关按 URL 拉取 OSS 图片,原图过大偶发 context deadline exceeded
  (convert_request_failed),27117 等任务 1 行 LLM 500 即整任务卡死
- 压缩失败降级原字节不阻断行处理;压缩前后字节数 INFO 日志便于线上排查
- SimilarAsinImageEmbedder.resizeImage 由包私有改 public 供复用
 2026-09-07 22:28:13 +08:00
huangzd1997 83e38d4278 fix(similarasin): LLM 切换 gemini-3.8-flash + 修复双实例 stale 判死盲区 
- 模型切换:glm-5.3-flash / gemini-3.7-flash(类目/合规/图片对比,appearancepatent)→ gemini-3.8-flash
  涉及 SimilarAsinProperties、AppearancePatentProperties、application.yml、TLS 探针与测试断言
- stale 判死盲区:finalizeStaleTasks 去掉 isOwnerCurrent 过滤,改由 job 锁持有实例全局判死
  (任务 27117 线上死因:客户端 done 信号被任务锁拒后断线,owner 过滤导致无人判死,
  被另一实例 job stuck 扫描误判为"文件生成任务运行超时";appearancepatent 同源盲区一并修复)
- 客户端回传重试:3x2s → 8 次,40902 锁忙固定等 15s(app_client/similar_asin.py,随客户端发包生效)
 2026-09-07 22:10:20 +08:00
huangzd1997 c5982dd900 feat(admin): 最低价ASIN列表操作列新增整条删除按钮——后端DELETE /skip-price-asins/{id}(权限校验+日志),前端确认弹窗+删空页回退,补单测与对齐测试 2026-09-07 16:05:57 +08:00
huangzd1997 6d6cfcb6ff fix(权限): 店铺数据重复检查仅勾菜单无「店铺数据记录」仍403——校验口径与自动补权对齐(任务/重复检查任一菜单+数据权限即可放行,镜像魏振峰反馈: 只勾103未勾94且数据权限已补仍被拒); 顺带修复 controller 直连 mapper 架构违规 resolveVisibleShopNameKeys 下沉 ShopDataCrawlAdminTasksService 2026-09-07 15:08:43 +08:00
huangzd1997 4994142a67 feat(需求): ①创建/编辑用户菜单权限勾选父菜单自动全选子菜单(el-tree去check-strictly走父子联动,提交前压缩为最小直接授权集,父勾选时后代不重复落库) ②修复管理员勾选店铺数据菜单仍提示'无权查看店铺数据任务'——admin分区授权后若有效授权含店铺数据任务/重复检查菜单(含经'店铺管理'分组展开),自动补内部数据权限 admin_shop_data_crawl_task_data(镜像V84惯例只增不删,回收仍走超管数据范围授权UI) 2026-09-07 14:22:53 +08:00
huangzd1997 5f8c469b8e feat(需求): 撞款重复检查改查数据库——①采集明细先落库再更新文件(V111 biz_shop_data_crawl_item行级明细,归档时countryResults展开,同店同日幂等替换) ②撞款扫描换源直接查明细表(不再解析OSS xlsx,修复旧文件表头差异致4家店静默丢弃) ③存量Excel数据自动迁移(日报快照row_payload优先+OSS宽松表头回退:ASIN码/小写兼容) ④移除84家店铺全量空态注入(重复检查基数=已采集店,超管口径8家) ⑤新增明细聚合/宽松解析单测6个 2026-09-07 02:43:37 +08:00
huangzd1997 26e062d32c task-284(收尾/在途批次): 页头按钮归位卡内toolbar+店铺数据记录改名+弹窗报错清除; Java page_size配对/按角色数据范围过滤/撞款导出XLSX/Excel图改WPS DISPIMG/V110查询索引 2026-09-07 02:43:36 +08:00
huangzd1997 898fae4cb3 align(用户菜单授权): 创建/编辑用户菜单权限补齐前端客户端(app)菜单并按类型分区落库 
用户管理菜单权限此前只含后台 admin(单类型)：前端授权树/回显仅拉 menuType=admin，
后端 replaceDirectPermissions 也固定用 ADMIN 作用域写。现改为同时覆盖 后台(admin)+前端客户端(app)：
- 前端 user-menu-auth 节点携带 type，api 并行拉取 admin/app 两类可授权树与已授权 id 合并去重，树内两类根并存(账号与权限/视频/前端工具/运营工具/后勤工具等)
- 后端 PermissionMenuService 新增 resolveMenuTypes(按 id 解析类型)；AdminUserService create/update 把勾选 id 拆 admin/app 分区整树替换(internal 不纳入)
- 前端 1556 测试全绿 + build 通过；后端单测(AdminUserServiceTest/PermissionMenuServiceTest/Controller/PermissionMenuResolveTypeTest) EXIT 0
- 本地 E2E：创建用户写入 admin=7+app=3 → 按类型回读 admin[7]/app[3]，删除正常
 2026-09-07 02:43:36 +08:00
huangzd1997 4c88964473 task-283(后台迁移收尾/发布): admin-vue 后台工程入库 + Flask 后台整体退役 
- 新后台 admin-frontend-vue 整工程入库(base=/admin-vue/、History 路由、Nginx 静态托管方案与 verify-dist 校验)
- Java AdminConsoleController 改为入口重定向: /admin|/admin.html、/login|/login.html -> /admin-vue/; 删除 classpath:static 旧 admin.html/login.html 单页与 admin.js 副本
- Flask 后台整体退役: 删除 admin_api/auth/main 蓝图、web_source 页面、static 脚本与 admin 相关测试; app.py 收敛为仅注册 version_bp(/api/version、/api/version/latest, 供桌面端更新检查)
- AdminApiGuardFilterTest 豁免样例路径 /admin.html -> /admin-vue/
 2026-09-06 10:41:47 +08:00
huangzd1997 ab787ceff7 task-280(验收反馈): 重复检测对齐reference P0(分组筛选生效/抽屉聚合+汇总徽章/台账计数预载/total_dup计数/矩阵表头吸顶;后端含工作区在途console化代码) 2026-09-06 02:41:44 +08:00
huangzd1997 6e2e4bf8e7 task-275(验收反馈): 菜单权限标识/路由后台自动生成(menu_auto_/auto/ 前缀),表单移除两项输入;编辑缺省保持原值 2026-09-06 01:57:17 +08:00
huangzd1997 5e5658b00d fix(backend-java): Flyway V100 撞号修复配套(迁移矩阵补全16键/测试引用改指V109) 2026-09-06 01:44:14 +08:00
huangzd1997 e45ab1da9e task-179(客户端公开版本接口兼容): Task179Test 契约测试 RED→GREEN。 2026-09-05 18:06:28 +08:00
huangzd1997 05d19626a1 task-178(客户端公开版本接口兼容): Task178Test 契约测试 RED→GREEN。 2026-09-05 18:06:28 +08:00
huangzd1997 cf750a26d4 task-177(客户端公开版本接口兼容): Task177Test 契约测试 RED→GREEN。 2026-09-05 18:06:28 +08:00
huangzd1997 656dc7ce2f task-176(客户端公开版本接口兼容): Task176Test 契约测试 RED→GREEN。 2026-09-05 18:06:27 +08:00
huangzd1997 37d3dc8a4c task-175(客户端公开版本接口兼容): Task175Test 契约测试 RED→GREEN。 2026-09-05 18:06:27 +08:00
huangzd1997 74691acdf9 task-174(客户端公开版本接口兼容): Task174Test 契约测试 RED→GREEN。 2026-09-05 18:06:27 +08:00
huangzd1997 46f1d27478 task-173(客户端公开版本接口兼容): Task173Test 契约测试 RED→GREEN。 2026-09-05 18:06:26 +08:00
huangzd1997 ea9b263af3 task-172(客户端公开版本接口兼容): Task172Test 契约测试 RED→GREEN。 2026-09-05 18:06:26 +08:00