Commit Graph

10 Commits

Author SHA1 Message Date
huangzd1997 64e94458c9 feat(credential): 凭据不可自愈 ⇒ 行失败 + 整单终态 + 用户端弹窗(服务端五面)
用户口径(2026-11-12,34061 取证后):没余额要退成失败、直接中断任务、并弹窗提示;
所有涉及代理 IP / LLM 密钥的特性都一样。范围=服务端全部特性,客户端下批。

- 判据唯一出处 common/retry/CredentialFatalClassifier(致命:LLM 欠费/密钥失效、
  代理未配置/套餐到期/余额不足/密钥无效;非致命:channel_busy、无空闲通道、冷却、
  超时、5xx、限流、出口被拒、技术性、上游不可用);落终态唯一出口
  modules/task/service/CredentialFatalTaskCloser(重读现状态、拒碰 TERMINAL、可重入)。
  外观专利与相似ASIN 原先逐字重复的 terminalizeOnFatalLlmFailure 改为委托,不留第二份。
- 五面接线:外观专利/相似ASIN、跟价 updateTaskStatusFromLatestRows、
  店铺采集 tryFinalizeTask、采集数据 submitResult。判死后回执一律回读库里状态
  (采集数据内存 task 停在 RUNNING 会让采集端继续为死路买出口 IP)。
- 行级诚实:凭据致命行不计入已判,回退路不再拿原始标题伪造「侵权/成功」。
- 用户端:credential-fatal-notice.ts(判据)+ credential-fatal-alert.ts(按 taskId:kind
  去重)+ CredentialFatalAlert.vue 挂 App.vue;轻量轮询不带文案 ⇒ 跟价/采集数据在失败
  终态补一次重型 batch,店铺 batch 补任务级 taskErrorMessage(只给 FAILED、截断 300 字)。
- 三处真死日志按巡检签名正形写「改判死」(scripts/_prod_watch.py 只认 改判死|接管判死),
  否则判死数不进账本。
- TaskFailureCategoryGuardrailTest:写点搬进收口器 ⇒ 登记 CredentialFatalTaskCloser,
  下限 47→46、updateById 总量 160→159(搬点,不是新增写法)。

判据:CredentialFatalClassifierTest(16)、CollectDataCredentialFatalTest(3)、
PriceTrackTaskServiceTest(8)、ShopDataCrawlScopeMergeTest(11)、
ShopDataCrawlProgressQueryTest(9)、credential-fatal-notice.test.ts(9)、
credential-fatal-alert.test.ts(6)。后端整量 5,464 例 / 0 失败 / 19 skipped。

未纳入本笔:BrandAppearancePatentTab.vue、BrandSimilarAsinTab.vue、TaskItemCard.vue
与两个 Tab 里的按钮/徽章 CSS —— 另一路会话在飞改动,按并发纪律不卷进来。
2026-11-12 18:10:10 +08:00
huangzd1997 b94555f411 feat(frontend): 客户端损耗保护弹窗与共享密钥提示
- 30 秒轮询损耗状态;暂停时红色弹窗/横幅并提供「继续任务」
- 共享密钥黄色提示条,按类型去重,不重复刷屏
- 通知铃铛登记 cost_guard / secret_shared 场景
2026-10-24 10:50:24 +08:00
huangzd1997 f6aa04d0f2 feat(代理): 多套餐余量预警与用户级 jikip 套餐配置
平台自费池由单个 planId/userId 改为 planId:userId 列表逐套餐探测,
套餐余量或账户余额低于阈值时推管理员预警;用户可在密钥设置里为自己
配置多个套餐,巡检跟随密钥检查按用户查余量并推站内通知,欠费状态在
客户端右上角常驻提示(V160 新建用户级套餐表)。

同时把测试里写死的真实代理 key 换成占位串,避免凭证随仓库扩散。
2026-10-21 13:32:56 +08:00
huangzd1997 fa11db59ee feat(用户端): 低于 4.0.52 的桌面装机进强制升级遮罩——存量装机只有线上 Web 这一条覆盖通道
后端那个版本地板闸门只会把请求挡成 code 4012,客户端业务代码里没有任何 4012 分支:只拦、不推;
而桌面窗口直载 app-web(APP_URL = config.WEB_HOME_URL),做在页面上才吃得到已经装出去的机器。

判定落在 shared/client-force-update.ts(纯函数,17 例含"换地板结论就翻面"的反例):判不出来一律不拦
(浏览器形态、读不到本机版本、版本串解析不出数字、没有可下的包、线上包并不比本机新)。
遮罩挂 App.vue 根=登录页与首页一起覆盖,自动开始下载,失败只给"重试(断点续传)",不再等第二次确认。
2026-10-13 21:37:08 +08:00
huangzd1997 3987b8d7fe 用户端(四面9分批次): 三条全局错误出口、URL 白名单收口、令牌键单点、uid 短路进门禁
- 此前全树 0 处全局错误处理器:装 app.config.errorHandler + window error + unhandledrejection,
  每条都留可诊断记录、界面只出中文、处理器自身异常不重抛也不白屏(9 例判据)。
- safeHttpUrl 未覆盖的 3 处(两个品牌 Tab 与 useVersionUpdate 直装服务端 file_url)收口;
  令牌键 aiimage_auth_token 由 4 处各自定义 + 2 处内联收成唯一定义点。
- 「localStorage 有 uid 就免校验」改走 auth-gate 单点,剩余例外台账化且同口径必须能抓到
  评审点名的原写法(6 例);卸载配对 3 处补齐 + 全树判据(7 例)。
- task-status-text 把 CANCELLED 显示成"执行中"改对,CANCELED/CANCELLED 两拼写都映射(4 例)。
- 主审计补的四处修复:新判据里两处拿数组和 0 比(怎么写都红);静默 catch 的"用户可见出口"
  符号表认不出本仓 userNotice 与注入式 notify,把真报了用户的 catch 判成静默;
  新错误出口带来的 2 个 try/catch 按棘轮合同写理由进基线(296→298,silent 一格没涨)。
- 验收:node --test 820 例 0 红、npx vue-tsc --noEmit rc=0。
2026-10-09 23:09:37 +08:00
huangzd1997 95e2318c42 feat(账号到期+公司超管): 级联过期判定、过期停任务巡检与两端续费提醒弹窗
需求两条:站点超管可开设其他公司的超级管理员(站点超管看全站、公司超管只看本公司、
组内管理员仍只看本组);账号要有过期时间,管理员过期后名下普通账户一并停用、
正在跑的任务也要停掉。落库只有 users.expires_at(V146,NULL=永不过期),级联一律现算,
不写"上级过期就把下级置成过期"那种续费也救不回来的数据。

- AccountExpiryService:生效到期 = min(自身, 本公司公司超管, 成员表组长, 创建人)。
  登录拦 403(文案给续费提示)、每次请求鉴权拦 401(前端按下线踢回登录页),super_admin
  永不适用。级联口径与数据可见范围同源(成员表基本未用、实际按 created_by_id 派生)。
- ExpiredAccountTaskStopService:每分钟把过期账号(含级联成员)名下 biz_file_task
  PENDING/SCHEDULED/RUNNING → FAILED,含未领取的 PENDING(防内部通道继续派发)。原因文案
  刻意不以「客户端异常中断」开头,否则会被 TaskResumeService 自动复活。品牌采集与跟价循环
  不在那张表上,经 ExpiredAccountTaskStopSpi 由各自模块停:品牌 pending/running→cancelled
  且 UPDATE 的 WHERE 二次核对状态(抢到行后被客户端推进成完成的行不得误杀),跟价循环只置
  stop_requested=1、沿用用户点「停止循环」那条收尾路径,绝不动 status。任务心跳接口保持匿名
  不走 requireUser,所以过期账号的客户端仍能拿到 alive=false 协作停止。
- 角色 company_super_admin:由站点超管开设(唯一要显式选公司的建号场景),建号/授菜单/改用户/
  看数据四条链路都按"本公司"收口;公司超管之间、以及公司超管与站点超管互相碰不得。
- 续费提醒:剩余 <5 天在数富后台与用户端弹窗,只能收起不能关闭(无关闭按钮,收起态是右下角
  浮标),续费到 ≥5 天自动消失。后台读 /api/admin/current-user 的 expiresAt/daysToExpire;
  用户端无 Pinia,走 localStorage 的 account_expires_at(登录/check_login 落键、被顶下线清键,
  换账号不残留)。只反映账号自身到期,弹窗不做任何级联推断。
- V146 撞掉了 V145 那批的一条护栏:它按"db/ 里不许出现 V146__ 前缀"编死号位,被一条正常的
  前向迁移占用就红。改成钉动作——剥注释后的可执行 SQL 不得写 flyway_schema_history(回滚
  一律是扫描路径外的人工补丁),并把盘点文档改 V146 时丢掉的 V145 文件名补回去。

验证(本会话亲跑,不是转述):后端定向 14 类 123/0(同一轮 mvn 里连批次③的 4 类 53 例、以及既有 ShopDataCrawl/SimilarAsin 两条回归对照 21 例一起跑,合计 197 例 0 红);admin-frontend-vue 本批定向 44/0(弹窗 7 +
公司建号/列表/入口/日期默认 21 + 角色 task-48/task-251 16),全量 1726 例里那 1 支红是另一条
会话刻意留的「公司 tab 接线缺口」尺子(点名 admin_task_center 等 6 页,与本批无关);
frontend-vue 弹窗 9/0、全量 710/0。变异自证两批共 34 点:弹窗语义 16 点全杀(阈值 5、只能收起
不能关闭、挂载点含"注释掉挂载"、落键/清键链路),本批 SPI+迁移护栏 17 点全杀(含 G2 反向:
前向迁移只在注释里提 flyway_schema_history 必须照样绿),注入文件还原 dirty=0、探针残留 0。
2026-10-05 11:51:33 +08:00
huangzd1997 7368322791 fix: 全维度审查修复(安全/正确性/性能/稳定性/客户端/前端)
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权(此前可匿名换取任意员工店铺登录令牌)
- 删除 Flask 遗留后门:默认密码建超管 + 每次启动写生产 users 表(服务端与客户端各一份)
- 进度/详情接口归属过滤:新增 TaskProgressOwnershipSupport,11 模块 progress/light 与
  /tasks/batch 接入,DTO 补 userId,前端 13 个查询封装补传(未传时后端不过滤,兼容旧端)
- 代理提取链接(含账密)不再明文入日志(新增 common/util/SecretMasking)
- 全局异常兜底不再回传原始异常信息;内部令牌比较改常量时间
- 登录加失败计数与锁定(10 次锁 15 分钟);品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15(开关默认 false,行为不变,为收紧做准备)
- 生产关闭 springdoc/knife4j(/doc.html 匿名可读全部接口定义)

正确性
- 40901/40902 拆分:锁竞争不再被伪装成 success=true(此前客户端停止重试、分片静默丢失)
- 假成功收敛:集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally(7 模块,失败路径不再留僵尸 RUNNING 任务)
- 状态机条件更新:跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB(Element Plus 改按需 + el-config-provider)
- 载荷引用计数按指针里的 taskId 收敛(原 JSON 列 IN 全表扫且逐行调用)
- 店铺明细多值批量 INSERT;快照 upsert 预载缓存;结果文件列改单条 UPDATE
- 新增迁移 V120(补 3 个缺失索引)/V121(删 4 个被覆盖的冗余索引)/V122(URL 前缀索引)

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列(防堆积 OOM)
- Redis 锁释放改 Lua 原子校验(原裸 delete 会误删他人已过期的锁)
- imagevideo 加死节点接管;锁续期失败重试;调度池 4→16;openStream 全部加超时
- 事务内远程对象删除移到提交后;启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe(改为按调试端口精准回收,不杀用户自己的浏览器)
- 密码检测不再无条件杀紫鸟进程;品牌检测加全局互斥(代理池不再互相覆盖)
- base_dir 统一到 exe 目录(原被 os.getcwd() 覆盖,日志/缓存会分裂两个目录)
- 缓存加定时清理;图片下载加超时;mkstemp 句柄托管

测试
- 同步更新受影响的契约测试(构造器签名/条件更新/方法改名/新增接口方法等)
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
2026-09-14 04:15:36 +08:00
huangzd1997 677c2677ec feat(web): 前端 SPA 化 + 工具页任务面板统一与历史批量删除
- SPA 化:22 个 MPA html 入口与 *-main.ts 合并为 index.html + vue-router(URL 无 .html 后缀),
  页面跳转全部 router-link,/new_web_source/xxx.html 旧路径归一为 /xxx
- 任务面板统一:共享 TaskCenterPanel/TaskItemCard/TaskStatCards/HistoryTaskLayer,
  16 个工具页右侧统一为统计卡 + 当前任务 + 历史任务弹层(任务ID/开始/结束/状态必展示)
- 历史记录支持单条删除 + 批量勾选删除(确认框/全选/失败提示)
- Java 7 模块(dedupe/convert/split/productrisk/shopmatch/pricetrack/deletebrand)
  history 接口补齐任务时间字段(VO+Service,复用 biz_file_task 列)
- 图片工作台/API 层(brand/permission/user)既有未提交改动一并提交
2026-09-08 10:02:55 +08:00
super 7efb86ed3a 打包项目 2026-03-20 18:13:47 +08:00
super 1e63ab291b 重构项目,方便开发 2026-03-19 13:15:47 +08:00