Commit Graph

71 Commits

Author SHA1 Message Date
huangzd1997 5ccf3c896f 收口(去重库): 五处比对与写入口按 company_id 认公司,不再跨公司去重
读侧(列表/导出)早已按公司收窄,但"去重"这个动作本身一直查全平台:
selectExistingDataValues 是 `WHERE data_value IN (...)`,一个租户条件都没有。
库里唯一键自 V145 起就是 uk_company_data_value(company_id, data_value)——
同值本来就允许归两家,是代码没跟上库的口径。

五处一起收口(第 5 处由编译器抓出,正是 V145 头注释 §1.2 点名的采集侧):
去重执行 ASIN 过滤 / 导入预检"已存在就跳过" / 手工新增与编辑的重名校验
(文案改「本公司已存在该数据」)/ 删除导入(超管不选分组时原先一次删掉全平台
同名行)/ 采集结果过滤(CollectDataBatchQuery 直连 mapper,改为经 dedupe 侧推导)。

超管代导入的归属分裂一并修掉:前端两个导入接口把公司 tab 发下去——原先
group_id 落别家的组、company_id 落超管自己那一家。公司身份一律在请求线程上由
DataReadScope.readCompanyIdOrOwn 解析后传入(导入与去重跑在虚拟线程,那时已无
请求上下文),service 侧 requireScopedCompanyId 只判空不兜底。

删两条零调用者的跨公司通道(selectAllDataValues/listComparableValues 全表读、
deleteFromExcel 两个同步重载)。反转一条反向钉:comparableValueLookupRemainsGlobal
原显式断言"比对不参与公司收窄"(多公司一期的半套遗留),现为 IsScopedToOneCompany。

三把尺子随之改动,均带出处:tsv 基准行搬家(三个标量双双不动)、前端发送口分母
17→18 组/21→22 处、CatchSilenceRatchet 重抛下限 387→386(随死代码离开树那处)。

验证:后端全量 4198 例 0 失败/0 错误/7 跳过;前端 1778 例全绿;变异自证
6/6 全部 KILLED,注入文件按 sha256 还原并复跑绿。
现网只读探针:misfiled=0、同值跨家=0 ⇒ 存量比对结果不变,行为改变只在将来
A 家导入 B 家已有 ASIN 那一刻;两口径差额 1,452 行(0.26%)全属公司 1、
全源于 10-05 账号硬删。
2026-10-09 17:57:37 +08:00
huangzd1997 603e08243f test(护栏基线): RETHROW 下限 388→387,出处点名到具体提交与方法
- 触发:pre-push 闸门拦下推送,CatchSilenceRatchetTest.fourNumbersMustNotGrow 报重抛 387 < 388
- 查证:6aa4f821「摘 13 处零引用私有方法」删掉 DeleteBrandRunService 一个无人调用的私有方法,其 catch 体是 throw new BusinessException(...) ⇒ RETHROW 形状随死代码离开;不重抛/只 log/空体三数未涨 ⇒ 没有一处"异常会往外走"被改回吞掉
- 所以是基线该跟着代码走,而不是代码该回滚;下调理由必须写成逐处出处,"总数变小了"不算——那种要看的是不重抛那一侧有没有涨
- 复跑:CatchSilenceRatchetTest 9 例全绿(BUILD SUCCESS)
2026-10-09 11:32:00 +08:00
huangzd1997 d1a3e8a214 fix(发布通道): 开机自检的用例不再依赖"测试 classpath 上恰好没有章"——这条前提每次正规出包都自己翻转
- 现象:mvn -o clean package 在 4138 例里报 1 红 BuildInfoLoggerTest.开机自检在没有章的classpath上会打missing(expected WARN but was INFO)
- 根因:发版通道要求打包前 _git_stamp.py write,写出的 git.properties 就落在 src/main/resources 下 ⇒ 监听器读到章念 INFO,用例的"没章"前提没了。等于"正规出包必红"
- 修法不是放宽断言:给 BuildInfoLogger 加 logOnBoot(Resource) 接缝,用例显式喂"不存在的资源名"(缺章必吵,级别仍是断言主体)
- 另加一条接线对撞:无参监听器读的资源名与字面量 git.properties 逐一比对——常量改名时监听器念"无章"而字面量仍读到章 ⇒ 红(两侧都用常量就永远测不出来)
- 两态各 9 例全绿:章存在(正规出包态)与章不存在(开发态)
2026-10-09 09:34:18 +08:00
huangzd1997 39fc5d537f test(护栏): 把"三类静默出口必须含 throw 或锚点"做成真判据,缺口 11 处/10 文件钉成只许减
§2 后端「静默出口成片」那行的断言写了两件事,尺子只实现了棘轮那一半就一直按达标计;
而 SilentCatchScanner.Site.hasAnchor() 是死代码、零调用者 —— 工具造好了但没接进判据。

- threeCategoriesMustRethrowOrCarryAnchor:按文件逐处点名 GAP_LEDGER(11 处/10 文件,
  Java 扫描器与一份独立 Python 普查对平:26 候选 / 15 带锚点 / 11 缺口),只许减。
  台账空即判红("一处都没扫到"与"确实一处都没有"必须可区分)。
- anchorAndThrowBothCloseTheGapOnlyWhenActuallyPresent:内存注入自证 —— throw 放过、
  带 [silent-degrade] 放过、两者都没有才记缺口,无关类别连进名单都不许进。

缺口里 8 处是逐行失败路径(把失败写进结果项,没有日志):往那儿加 log.warn 就是 10-07
通知放大的同族事故(逐行 × 每任务 × 扇出 16 人),所以本轮只做实判据、不硬塞日志。
锚点正则只认 ASCII \[[A-Za-z0-9_.-]{3,}\],任务书写的 [静默降级] 匹配不上,约定改为
[silent-degrade],命名偏差记在任务书 §2。

mvn -o test -Dtest=CatchSilenceRatchetTest:Tests run 9, Failures 0, Errors 0。
2026-10-09 02:10:48 +08:00
huangzd1997 97ca6810f7 fix(护栏自证): 切片桩不冒充产品端点;版本闸门少一处异常控制流,把 catch 棘轮记回原基线
把这期后端护栏类并进"实跑档"以后,一次 mvn 就当夜逼出两处真红。两处都是测试件/我自己
上一笔提交的问题,不是产品逻辑错,但都必须改代码而不是改基线:

1) 上一版切片的桩控制器写了 GET /api/admin/users,与真 AdminUserController#listUsers
   撞在同一条完整映射上。MappedPathProbe 把整棵 main 树的映射枚举进同一个
   RequestMappingHandlerMapping,于是 ApiGuardCoverageBreachTest 先炸 Ambiguous mapping
   (2 errors);把桩路径改成 /api/client/slice-ping、/api/admin/slice-probe 后又暴露第二层:
   测试桩本身被当成"新增未设防端点"进判定 ⇒ 探针改为不登记测试夹具里的控制器
   (按最外层类名 Test/Tests/IT 排除,main 树里这种命名的真控制器实测 0 个)。
   分母守卫照旧有效:mapped.size() > 300 那条断言仍在,排掉桩不会把清单清成空的。

2) CatchSilenceRatchetTest 红的是我自己 9d762c55(20:25 提交)里那处
   `catch (NumberFormatException overflow) { return null; }`:total 1002→1003、
   不重抛 559→560。也就是说**那笔提交是带着一支红的护栏类交进去的**——上一轮我只把切片
   纳入实跑分母,没把这支棘轮一起跑,所以"7 例绿"的读数过期了。
   修法不是抬基线:版本号的单段长度超过 18 位本来就该按"判不出来"处理,于是用
   MAX_SEGMENT_DIGITS 上限替掉 try/catch,判定走向逐字不变(仍是 return null ⇒ 不拒),
   total 与不重抛都记回 1002/559,验收基线一格没动。RETHROW 下限 388、logOnly 172、
   empty 56 三档本轮都没碰。
   顺手改掉失败文案里的错算式(原写"= 验收基线 1000 + 1 处",实际那 2 处各自有出处)。

版本闸门本身仍未上线(现网 jar 是 12:3x 那版,9d762c55 在 20:25)⇒ 本改动零现网影响。

实跑:mvn -o test -Dtest=ClientVersionGuardContextSliceTest,ApiGuardCoverageBreachTest,
ApiGuardCoverageAuditorTest,ApiGuardCoverageAuditorWiringTest,CatchSilenceRatchetTest,
ClientVersionGuardFilterTest,BuildInfoLoggerTest
⇒ Tests run: 53, Failures: 0, Errors: 0 / BUILD SUCCESS(逐类 6/10/8/2/7/12/8)。
2026-10-09 00:23:14 +08:00
huangzd1997 4e154e5318 test(后端切片): 不连库的 @SpringBootTest 装配切片,把 §2 那个 "0 例进容器" 变成 1
四面 9 分任务书 §2 后端一行的实测是「@Test 4035、@SpringBootTest=0、@MockBean=0」——
纯 mock 写法证不到两件版本硬地板的前提:properties 里的 aiimage.client-version.* 能不能
绑进闸门(@Value),以及闸门作为 bean 会不会真被挂进 servlet 过滤器链。任一件坏掉,
4,035 例照样全绿,现网是"闸门写了但没生效"。

本支切片把这两件事变成实跑判据:真容器 + MockMvc + 真实的 SecurityConfig 一起装,
不扫描业务包、不加载 DataSource/MyBatis/Redis/RocketMQ,所以本机无 Docker/无 MySQL
也能跑(任务书要的正是这个形状,真库用例一条都没写进来)。

踩到并写进注释的一个形状坑:一开始没装 SecurityConfig,切片落到 Boot 默认安全规则上,
POST 被 CSRF 打成 403、GET 被匿名打成 401,闸门根本没执行机会——那种红绿都不说明任何事。
现网是 csrf disable + anyRequest permitAll,闸门 @Order(LOWEST_PRECEDENCE) 排在它之后,
所以必须带上真实那一层,切片跑的才是同一条链。

实跑:mvn -o test -Dtest=ClientVersionGuardContextSliceTest ⇒ Tests run: 6, Failures: 0,
Errors: 0(本机 Java 21,无 Docker)。

变异自证(三刀,逐轮还原后 sha8=763e30cd 与原始字节相等并复跑 6/0/0):
  地板 4.0.40→4.0.1        ⇒ 1 例红(@Value 确实在从 properties 取值)
  @Import 摘掉闸门          ⇒ 2 failures + 1 error(闸门确实是容器里的,不是测试 new 的)
  enforce=true→false       ⇒ 2 例红(记账档与拒绝档真由属性决定)
没有这三刀,"6 例绿"和"6 例恒绿"是同一个读数。

覆盖面如实收窄:这一支只守版本闸门一例装配,鉴权拦截器/幂等闸门还没进容器,
不是"容器化已铺开"。本文件是纯测试,现网行为零变更。
2026-10-08 23:53:10 +08:00
huangzd1997 9d762c552a feat(版本硬地板): ClientVersionGuardFilter 双模式闸门,默认惰性+只记账
口径出处:四面 9 分文档 §2 后端最后一项。此前全仓唯一的 minClientVersion 在 digitalhuman
里,且 DigitalHumanVersionService:86 写入、:258 读出两处都是**透传**,全树没有一处比较过它
(grep getMinClientVersion 只有这两处命中)——对桌面客户端 API 面零约束。

新增 backend-java/src/main/java/com/nanri/aiimage/config/ClientVersionGuardFilter.java:
读 X-Client-Version,与 aiimage.client-version.min-supported-version 比较,三档开关:
- min 留空(默认)= 闸门整条惰性,逐请求等价于没装;
- enforce=false(默认)= 只记账:Counter aiimage.client.version.floor{verdict,version,enforce}
  + 每个 (verdict,version) 至多一条 [版本地板] WARN(日志去重不吞计数,与 10-06 通知放大同口径);
- enforce=true 才拒,响应体沿用项目约定 HTTP 200 + {success:false, code:4012, message, data}。
另有一条 reject-unreported=false:4.0.46 及更早的装机不知道有这个头,光翻 enforce 就把它们
判死等于用一次配置变更打停全线存量,所以"未上报"默认只进 unreported 桶;报不出格式的
(4.x.6)永不拒。

受管前缀**复用** AdminApiGuardFilter.USER_TOOL_PREFIXES(同一份"桌面客户端直连的用户态前缀"
口径,改成包级可见,不复制清单),另补 /api/client(取凭据第一跳)。/api/version/** 明确不在
名单内——被拒的老客户端必须永远能拿到升级信息,否则闸门把自己变成砖。

ClientVersionGuardFilterTest 12 例(mvn -o test -Dtest=ClientVersionGuardFilterTest:
Tests run: 12, Failures: 0, Errors: 0):两种模式各钉一条正断言(记账必须"响应体一个字节都
不许多"、执法必须"chain 不前进"),另钉默认态零行为、三类非客户端面零判定、unreported 与
unparsable 分桶、名单逐条继承 + 三个排除项、版本解析/比较边界(4.0==4.0.0、4.0<4.0.1、
4.0.46.2>4.0.46、v4.0.6/4..6/4.x.6 判不出)、WARN 去重与计数不相干、min 配置写坏时不拒任何人。

不出包、不重启、不改任何 yml(默认值即现网态)。
2026-10-08 20:25:59 +08:00
huangzd1997 520044c8a4 feat(取证): 开机自报这份 jar 出自哪笔 commit
制品名自始没 bump 过(aiimage-backend-0.0.1-SNAPSHOT.jar),pom 也没有 git-commit-id,
所以出问题时光看线上机器答不出"在跑的是哪版代码"——10-07 那次是靠"哪个类只有那笔才有"人工认的。

不用 git-commit-id 插件:现网出包是 mvn -o 离线,新插件当场解析失败,等于给发布通道加一根
只有联网才通的管子。改成打包前由 scripts/_git_stamp.py 生成 src/main/resources/git.properties
(已加进 .gitignore,入库就成孤儿构建产物,target/classes 里那个孤儿 V148 就是这么来的),
开机念 [build-info];念不到时打 [build-info-missing] 而不是静默当干净构建。

拒绝的职责不在这里:一个元数据文件读不到不该把在跑实例打死,那是发布闸门的事。
2026-10-08 17:36:32 +08:00
huangzd1997 305441b0bd feat(护栏): catch 静默形状做进代码出口 + 待处理行缓冲不再谎报"已暂存"
整棵 src/main 有 1002 个 catch 块,其中 559 个不重抛、172 个块内只有 log、55 个空体——
约三成是"记一条日志就往下走"。这没法一次清扫,先把形状钉成只许减的棘轮:扫描器自己数分母,
并与一把独立口径(原始文件里 "catch (" 出现次数)逐文件对平,两者不等就红——词法若把真代码
当字符串吃掉,total 会变小而"≤ 基线"照样绿,这一步就是防那个。

两处按三类高危出口点名改成重抛:待处理行入缓冲失败原先静默返回,等于向调用方谎报"已暂存",
装配阶段少这一行却照样把任务标成 SUCCESS;取 pending 行数失败原先返回 0,而 0 在调用方眼里
是"缓冲区空了",真实含义是"Redis 没答话"。

RETHROW 那一格刻意钉成下限(388)而非上限:把吞异常改成重抛会让这一格上涨,钉成"只许减"
就等于拦住别人做正确的事。
2026-10-08 17:36:22 +08:00
huangzd1997 f325f88bc3 feat(护栏): 鉴权覆盖审计从"只 WARN"升级为增量即拒绝启动
SecurityConfig 是 anyRequest().permitAll(),方法级 require* 只有 82 处对 401 个 handler,
所以"某个端点没被任何守卫前缀覆盖"这件事只能靠启动自检发现。审计器原先对 uncovered 只打一行
WARN,等于谁忘了登记也不会有人被打断。

改成:存量 uncovered 落 29 条快照进版本控制,profile=server 下**增量**非空即 IllegalStateException
(锚点 [api-guard-coverage-breach])。只拦增量、不拦存量,是为了不重演 10-07 那种"两台起不来"的
41 分钟宕机;判 server profile 复用 JwtService 的同一口径,不另立一套。
2026-10-08 17:36:10 +08:00
huangzd1997 4d2f3fc754 feat(鉴权自检): 现网首报 5 条逐条定性——补"方法级已设防"一格与 4 条重定向壳
jar 60bd8430 上线后主机B 报出 API_GUARD_UNCOVERED count=5:
/、/admin、/admin.html、/login.html 都是 AdminConsoleController 的 sendRedirect 兜底(不读库、不回数据),
进 PUBLIC_BY_DESIGN;/api/client/credentials 的处理器第一行就是 adminAuthSupport.requireUser(request),
它是"第二道门已到位、只欠进第一道门(前缀名单)",不是匿名可达。

自检原本只认前缀名单这一道门,所以整格缺失会把已设防的端点报成欠账——报警不可信,比不报更糟。
新增 METHOD_GUARDED_PATHS 第五格,并要求每条由测试回到源码逐处理器方法体核对确实带 require*:
同一支抽取器在 /admin.html(纯重定向)上必须判"没有 require",
否则"整类里出现过 adminAuthSupport"就能喂饱这条判据、清单就成了自我豁免。

顺带修判据自己的两处取样错误:方法级正则在 @GetMapping({...}) 的数组里只抓第一条
(于是 /admin、/admin.html、/login.html 被误判成"没人映射"),以及根路径 "/" 被裁尾斜杠裁成空串。
2026-10-08 11:06:00 +08:00
huangzd1997 903ea61df7 fix(鉴权自检): 审计器按类型注入撞 actuator 第二候选,改显式构造器带 @Qualifier
2026-10-08 把上一版 jar 推到主机B 后容器 CrashLoop 5 次:RequestMappingHandlerMapping
在容器里有两个候选(WebMvc 的 + actuator 的 ControllerEndpointHandlerMapping,后者是前者
子类),按类型注入直接 NoUniqueBeanDefinitionException,而 4044 例单测全绿——因为本仓库
没有一例真正装配过 Spring 容器。

补 ApiGuardCoverageAuditorWiringTest 正反两钉:同一个容器里复现那对 bean,正钉审计器装配
成功且拿到 MVC 那个(拿错会在"0 个端点"上假绿),反钉不带限定符的注入必须真失败
(不钉反例,第二支 bean 一旦不再继承,正例就退化成恒真)。摘掉 @Qualifier 变异实测变红。
2026-10-08 10:32:29 +08:00
huangzd1997 207225eb86 feat(护栏三面): 鉴权盲区启动自检 + SQL 分层口径落码 + 六页等待循环合一
后端
- AdminApiGuardFilter 增 guardedPrefixes()/matchesPrefix() 公开入口(原 private,
  自检抄一份清单迟早与守卫脱钩);行为零变化
- 新增 ApiGuardCoverageAuditor:启动期把"已映射端点既不在守卫前缀名单、也不在
  公开/待收清单里"打成 API_GUARD_UNCOVERED 一行 WARN,供现网巡检 grep;
  PUBLIC_BY_DESIGN 与 PENDING_CONVERGENCE 两张清单逐条写理由(只读不拦)
- SQL 分层按新口径落码:AsinResultCacheMapper 的两条动态 SQL(<foreach> 批量 +
  ON DUPLICATE KEY UPDATE + 逐列 COALESCE)迁到 resources/mapper/asincache/,
  注解摘干净(注解+XML 同名会让启动期抛重复语句)
- 判据:SqlLayeringConventionTest(注解写 SQL 基线 16 接口/29 条只减不增、
  @Select 65 条/16 文件、wrapper 夹带函数级 SQL 4 文件/15 条,last("LIMIT n")
  205 处显式豁免并反向钉住豁免面)、ApiGuardCoverageAuditorTest(含清单腐烂与
  欠账/名单重叠两类反向失明)、AsinResultCacheMapperXmlTest(真解析 XML 向
  BoundSql 断言 28 个占位符与 5 个 COALESCE 列)

用户端 frontend-vue
- 终态集合合一:实测六页里 PriceTrack/ProductRisk 只认 SUCCESS|FAILED,
  而 COMPLETED≡SUCCESS 早有出处(task-status-text 两者都译「已完成」,
  后端 TaskCenterQueryMapper SUCCESS_STATUSES_ORDERED 也含 COMPLETED)
  ⇒ 窄集合页收到 COMPLETED 会空转到瞬断预算耗尽,PriceTrack 的轮询摘除路径
  同样窄 ⇒ 任务永不退出轮询、列表卡在"执行中"
- 新增 shared/utils/task-terminal.ts 循环骨架(disposed/瞬断预算/恢复提示/
  每轮 sleep/非瞬断上抛),六页全部接上;取数、文案、快照合并、DELETED 语义
  留在各页回调,没有顺手统一
- 判据两支:骨架 8 例契约 + 六页源码窄集合回归钉(含"判据自己先自证"一例,
  loop-run 的 STOPPED 词表不误报)
2026-10-08 09:20:41 +08:00
huangzd1997 7c7a7f2665 fix(鉴权): 任务归属身份从会话推导,user_id 与不符即 403
客户端任务接口原先把"这单是谁的"交给调用方自报:请求体/查询串带 user_id,服务端拿它当范围
条件。身份应只信会话(JWT),桌面执行器与内部代理通道也不例外:

- AdminAuthSupport 增加 mayActForOtherUsers / resolveOwnershipUserId /
  requireOwnershipUserId / bindOwnershipUserId:会话身份与请求 user_id 不一致直接 403,
  只有平台超管与被授权管理员能代他人;
- 上架(PublishController/PublishTaskService)先接:user_id 缺失即 401,
  仅两个桌面执行器端点允许留空;外观专利/相似 ASIN 的归属谓词补上
  Objects.equals(userId, task.getUserId()),不再只比 moduleType;
- AdminApiGuardFilter 把入口口径与新helper 对齐,护栏测试 AdminAuthSupportOwnershipTest +
  PublishOwnershipGuardrailTest 双向钉(放行面与拒绝面都有样本)。

同族的进度类模块(原先仍以请求体 user_id 为范围)在 cp-item7 一次接完;这一支只管会改状态/花钱的出口。
另外 resolveOwnershipUserId 的 [ownership-anonymous] 日志按 URI 限流也在这支——桌面执行器 4.0.44
不带凭据,只有分得清是哪个端点在打匿名请求,才敢逐支把它们从 resolve 换成 require。
2026-10-07 20:01:10 +08:00
huangzd1997 2b7c377e7e fix(多租户): V152 摘 columns/biz_shop_key 的 company_id 列默认值,去重库写侧显式带归属
- V152:两条裸 ALTER COLUMN DROP DEFAULT(纯元数据、可重跑)。依据 V150 §6「合并成一版」
  与 migration-inventory 取号;前提=V149/150/151 已于 10-06 17:32:29 落库、写侧三条通道
  (PermissionMenuService create/copyTreeFromTemplate、ShopKeyService)均显式落列。
- 去重库:DedupeTotalDataMapper/Entity/Service 的 INSERT 显式写 company_id,不再靠列
  DEFAULT 1 兜底(第二家公司开通后静默归错)。biz_dedupe_total_data 的 DEFAULT 摘除排在
  本批上线并验证写入之后,不在本版。
- CompanyDefaultDropV152Test 9 例(含 V149/150/151 已应用字节的 CRC 冻结)+ dedupe 两支测试
  + rollback-V152 人工补丁(默认档可直接执行)+ 盘点文档同步(取号起点改 V153)。
2026-10-07 04:26:43 +08:00
huangzd1997 b7acfc0eef feat(菜单权限): 每家公司一套菜单树(V149)+ 公司 tab 只在注册表页渲染
本批两件事,加上随本批一起入仓的并行会话在制品:

一、菜单权限按公司隔离(批次 6)
- V149 给 columns 加 company_id:先可空加列(末位、ALGORITHM=INSTANT)→ 回填公司 1 →
  MODIFY 收紧 NOT NULL;三段式缺一即撞 1048。同时建 (company_id, column_key) 复合键、
  把公司 2 的 16 笔授权按 column_key 改指向它自己的副本,三类 menu_type 全复制,
  admin_companies 作为角色内生闸门行不复制(D3)。
- 第三道归属门 PermissionMenuService.resolveScopeCompanyId:站点超管可带 company_id
  读写任意公司,非超管锁本公司、越界 403。它注册进 CompanyIdParamGoesThroughReadScopeTest
  的 SCOPE_DOORS,四条判据与 readScope / readCompanyIdOrOwn 共用——护栏在代码出口,不靠清单。
- 旁路种子 PermissionMenuSchemaInitializer 只种公司 1:31 段种子逐条钉公司,
  按 column_key 点查的 14 段全部带 company_id,否则摘了 DEFAULT 就是跨公司串写。
- CompanyService.create 同一次写入里给新公司复制模板树(D4)。

二、公司 tab 收口(批次 b)
tab 条挂在壳层,对 22 页全画;改为按正列表 companyTabAppliesTo(menuKey) 判定,
只有注册表页渲染。护栏钉在用户看见的那个出口。

三、并行会话在制品(控制方「全部提交」,未单独拆分——见下)
- V150 店铺密钥 biz_shop_key 按公司(readCompanyIdOrOwn + writeCompanyId 两道门)
- V151 品牌库/商品类目推翻为全平台共享:只退唯一键、company_id DEFAULT 保留为
  NOT NULL 承重约束(摘了每条 1364);删掉 ProductCategoryControllerCompanyScopeTest
  那支"按公司隔离"的旧护栏,readCompanyId 方法一并移除
- invalidasin 字段与外观专利合批的连带改动

为什么不拆笔:后端 3891 例 / 0 红、前端 1731 例 / 0 红这两个读数是"合起来的树"的读数,
拆成多笔会让每一笔落到从未一起验过的组合上,而这一版要直接上两台。

回滚脚本在 backend-java/docs/rollback-V149/V150/V151-*.sql,不放进 Flyway 扫描路径。
设计记录:docs/ops/menu-company-tree-design-2026-10-06.md
2026-10-06 17:17:14 +08:00
huangzd1997 16583f578d feat(公司tab): 批次 2/3/4 再接 8 页,注册表收到 16 页——用户页回流 company_id 按新边界改写反向钉
「切 tab 数据还一样」的根因一直是分母小于现实:批次 1 只登记 8 页,本轮按控制方
三次点名扩到 16 页(company-scope.ts 是唯一清单,routes.ts 的 companyScoped 逐页对平)。

批次 2(五页 ASIN 中心):去重总数据 / 不符合ASIN / 查询ASIN / 最低价ASIN / 商品类目。
批次 3(两页店铺中心):撞款监控、店铺数据记录。这两页没有归属列可筛,归属口径是
「本公司账号名下的店铺」——后端由 DataReadScope 推公司 → 成员账号 → biz_shop_manage.
created_by_id,前端只把 activeId 当 company_id 送下去。空成员集必须交空集合,绝不能
退化成 null(null 在这里=全量,那样第二家会看到全部数据)。
批次 4(用户管理):后端早就认 company_id(只对站点超管生效,公司超管恒锁本公司),
断的是前端——UserListQuery 里连这个字段都没有,三家 tab 看的是同一份全量列表。

三处口径改动,逐条说明:
1)company-user-list.test.ts 的反向钉被改写。2026-10-04 定案把公司维度从用户页整体摘掉,
   那条钉的原文是「列表查询/筛选/行渲染不允许出现公司维度」。控制方 2026-10-05 明确要
   用户管理区分公司 tab,所以钉的边界收窄成两半:渲染层(行级公司列、「所属公司」标签、
   筛选状态、顶栏公司名)仍不得回流;请求层的 company_id 是这次加回来的,尺子换成
   「取值口唯一」——页面每处 companyId 都必须等于 companyTab.requestCompanyId,且
   normalizeUserPageParams/toUserListQuery 两只白名单构造器体内不许出现公司值。
   新增一支行为钉:往归一化里传 companyId 必须被丢掉,这是 users.ts 读原始入参的全部理由
   (写成 normalized.companyId 时 TS 照样绿、运行时恒 undefined)。
2)align-dup-console 那条 watch 看守的 token 扩到含 reload。变异自证里「删掉 void
   loadConsole()」当场全绿:体里的清筛选项守住了,重新取数那半没人守。批次 3/4 三对
   token 一起写到 reload 为止(批次 1/2 的老条目不动)。
3)公司管理页补正/反向两把尺子:company-config-entry-super-only 新增「吃公司 tab 的页面
   集合恰好等于 COMPANY_SCOPED_PAGES 的 pageFiles」——按代码真值比,不按清单比,所以
   清单不改一字而往 CompaniesPage.vue 里塞 store 也会红。谓词带括号,否则 import 行也算消费者。

菜单权限(admin_columns)本轮不动:MenusPage 只消费 /api/admin/permission-menus 这一份全局
菜单字典,切 tab 一样是数据本身全局,不是筛选坏了。真问题在写侧——PermissionMenuService
create/update/delete 只有 ensureAdminOperatorIfPresent(isAdmin 即放行),公司管理员改的是
全平台的菜单行。收窄为仅站点超管 vs 给 permission_menu 加归属列,两种改法代价差一个量级,
留给控制方定档。

护栏:G1 发送口 22 个 / 页面分组 17、watch 体看守 10 对、operation-guide 的 tab 文案 15 页
(撞款监控是显式豁免,另有一条自检盯「豁免落空」)。
变异自证 12/12 全杀(前端 10 + 公司管理反向钉 2),分母钉死在 27 例。
门禁:后端全量 3823 例 / 0 失败 / 0 错误 / 7 skipped,BUILD SUCCESS;admin-frontend-vue
1741 例 / 0 红;vue-tsc rc=0。首轮后端 4 红是另一路 task_partial 改动与本轮编译抢跑,
单跑 13 例已绿,本笔不含他们的任何文件。

未上线:jar 与 admin-vue 都没出包,V147 未在生产执行。
2026-10-06 02:32:59 +08:00
huangzd1997 05ecc57f2a fix(回归): 超时用例的尺子改成"在配置超时附近失败",不再绑死 JDK 异常子类
全量回归负载下这支用例连红两轮,根因是 IOException: connection closed locally
(超时掐断的第三种 JDK 表现,历史 e68... 已为前两种放宽过一次)。补上耗时下界后
"读超时被钳成即时"这类真缺陷反而会判红,所以这是收紧不是放水。
2026-10-05 17:35:40 +08:00
huangzd1997 95e2318c42 feat(账号到期+公司超管): 级联过期判定、过期停任务巡检与两端续费提醒弹窗
需求两条:站点超管可开设其他公司的超级管理员(站点超管看全站、公司超管只看本公司、
组内管理员仍只看本组);账号要有过期时间,管理员过期后名下普通账户一并停用、
正在跑的任务也要停掉。落库只有 users.expires_at(V146,NULL=永不过期),级联一律现算,
不写"上级过期就把下级置成过期"那种续费也救不回来的数据。

- AccountExpiryService:生效到期 = min(自身, 本公司公司超管, 成员表组长, 创建人)。
  登录拦 403(文案给续费提示)、每次请求鉴权拦 401(前端按下线踢回登录页),super_admin
  永不适用。级联口径与数据可见范围同源(成员表基本未用、实际按 created_by_id 派生)。
- ExpiredAccountTaskStopService:每分钟把过期账号(含级联成员)名下 biz_file_task
  PENDING/SCHEDULED/RUNNING → FAILED,含未领取的 PENDING(防内部通道继续派发)。原因文案
  刻意不以「客户端异常中断」开头,否则会被 TaskResumeService 自动复活。品牌采集与跟价循环
  不在那张表上,经 ExpiredAccountTaskStopSpi 由各自模块停:品牌 pending/running→cancelled
  且 UPDATE 的 WHERE 二次核对状态(抢到行后被客户端推进成完成的行不得误杀),跟价循环只置
  stop_requested=1、沿用用户点「停止循环」那条收尾路径,绝不动 status。任务心跳接口保持匿名
  不走 requireUser,所以过期账号的客户端仍能拿到 alive=false 协作停止。
- 角色 company_super_admin:由站点超管开设(唯一要显式选公司的建号场景),建号/授菜单/改用户/
  看数据四条链路都按"本公司"收口;公司超管之间、以及公司超管与站点超管互相碰不得。
- 续费提醒:剩余 <5 天在数富后台与用户端弹窗,只能收起不能关闭(无关闭按钮,收起态是右下角
  浮标),续费到 ≥5 天自动消失。后台读 /api/admin/current-user 的 expiresAt/daysToExpire;
  用户端无 Pinia,走 localStorage 的 account_expires_at(登录/check_login 落键、被顶下线清键,
  换账号不残留)。只反映账号自身到期,弹窗不做任何级联推断。
- V146 撞掉了 V145 那批的一条护栏:它按"db/ 里不许出现 V146__ 前缀"编死号位,被一条正常的
  前向迁移占用就红。改成钉动作——剥注释后的可执行 SQL 不得写 flyway_schema_history(回滚
  一律是扫描路径外的人工补丁),并把盘点文档改 V146 时丢掉的 V145 文件名补回去。

验证(本会话亲跑,不是转述):后端定向 14 类 123/0(同一轮 mvn 里连批次③的 4 类 53 例、以及既有 ShopDataCrawl/SimilarAsin 两条回归对照 21 例一起跑,合计 197 例 0 红);admin-frontend-vue 本批定向 44/0(弹窗 7 +
公司建号/列表/入口/日期默认 21 + 角色 task-48/task-251 16),全量 1726 例里那 1 支红是另一条
会话刻意留的「公司 tab 接线缺口」尺子(点名 admin_task_center 等 6 页,与本批无关);
frontend-vue 弹窗 9/0、全量 710/0。变异自证两批共 34 点:弹窗语义 16 点全杀(阈值 5、只能收起
不能关闭、挂载点含"注释掉挂载"、落键/清键链路),本批 SPI+迁移护栏 17 点全杀(含 G2 反向:
前向迁移只在注释里提 flyway_schema_history 必须照样绿),注入文件还原 dirty=0、探针残留 0。
2026-10-05 11:51:33 +08:00
huangzd1997 e6c4c9e7cf feat(公司隔离): V145 给两张规则库表补归属,唯一键改每公司一套
品牌库/去重库原本没有公司这一列、唯一键是全局的,所以"每公司一套"无从谈起。
V145 破例物化 company_id(含品牌库的 uploader_user_id 审计锚点),并把
uk_data_value / uk_data_value_brand 换成带 company_id 前缀的新键(先 ADD 后 DROP)。

按生产实查改写了计划里的写法:biz_dedupe_total_data 507,306 行 / MySQL 8.4.8,
非末位加列与 MODIFY 收 nullability 都要重建表,故三条加列显式钉 ALGORITHM = INSTANT、
列直接建成 NOT NULL DEFAULT 1、四条索引操作钉 INPLACE, LOCK = NONE,
回填换成由 users 驱动、带 d.company_id = 1 幂等限定的反推 UPDATE。

DEFAULT 1 是为混合版本窗口留的(批量写失败只 log.warn,缺列会静默丢数),
摘它必须用 ALTER COLUMN ... DROP DEFAULT——MODIFY 会按当时列默认值物化 instant 列,
把反推好的归属洗回 1。启动期哨兵据此从只探 users 扩成探三张表。

第二家公司已于 10-04 14:55 开通,历史行的实际上传者从此不可追溯,这笔不能再等。
回滚走 docs/rollback-V145-company-scope.sql 人工补丁,不编成 V146(Flyway 扫描路径会自己跑)。
2026-10-04 16:14:57 +08:00
huangzd1997 94f160b316 feat(多公司): V144 摘掉 users.company_id 的默认值,并把「已应用迁移不许原地改」做成护栏
V143 已于 2026-10-04 10:48:54 应用到生产库(校验和 1539570901),而
spring.flyway.validate-on-migrate=true 是硬编码 —— 想摘 DEFAULT 就不能原地改 V143,
否则下一次启动校验失败、两台 java 都起不来。所以按前向修复写成 V144,并让
CompanyMigrationV144Test 按 Flyway 的 CRC32 复算 V142/V143 与生产存量校验和比对,
把这件事从口头纪律变成 mvn test 阶段能咬红的护栏。

取舍:宁可让绕过 createUser 的写入撞 MySQL 1364 炸在日志里,也不要被静默塞进
厦门米椿花(users 全仓只有 1 条 INSERT,且它恒显式赋值,故不会新增失败面)。

- V144:ALTER TABLE users MODIFY COLUMN company_id bigint NOT NULL(不带 DEFAULT),
  头注释含模板六项 + 验证 SQL(期望 Default = NULL)+ 人工回滚步骤
- CompanyMigrationV144Test 8 例,变异自证 7/7 被咬死(含「原地改 V143」那条)
- CompanyMigrationV143Test 删掉「V143 必须是当前最大版本」——V144 落盘后它是假前提,
  号段连续性仍由 MigrationInventoryTest 把守
- migration-inventory.md:文件数 143、范围 V1..V144、取号起点 V145、新增存量校验和表
2026-10-04 11:49:14 +08:00
huangzd1997 5633898a0d feat(多公司): V143 建 company 与 users.company_id,配 12 例迁移护栏
一期只做账号归属:company 主表 + users.company_id,57 张业务表零 DDL、零回填,
公司维度全部由 user_id → users.company_id 派生。存量账号在迁移里归入「厦门米椿花」,
不需要另外拿脚本对着生产库 UPDATE。

两个不落进代码就会丢的判断:

1) 每条语句都写成幂等。MySQL 的 DDL 不进事务,NOT NULL 闸门失败时前面的建表/插数/加列
   已经落库,而 repair + 重启会让 Flyway 从第一条语句重跑整个文件;写成裸 CREATE TABLE /
   裸 INSERT 的话,恢复路径自己撞 1050/1060/1062,"补数据后重启"就变成"必须手工清库"。
2) 回滚是 docs/rollback-V143-company.sql,不是一条 V144 迁移。放进 src/main/resources/db/
   等于让 Flyway 在下次启动时自动执行回滚。这两条口径一并写进 migration-inventory.md 的
   约束段,供后续所有迁移引用。

闸门留 DEFAULT 1 只为混合版本窗口存在(旧 jar 建号不带 company_id),摘除时机改由启动期
巡检盯(下一步实现),不靠人记。

CompanyMigrationV143Test 12 例,断言打在剥掉注释后的可执行 SQL 上(否则"注释里写了这句话"
就算通过);16 条变异全部被抓到。全量 mvn test 3515 例 0 红。

后端 modules/company、两端前端、DEFAULT 摘除巡检尚未开始。
2026-10-04 03:27:27 +08:00
huangzd1997 31d3c0857d fix(安全): X-Internal-Token 不再绕开用户态接口的 user_id 归属绑定
守卫里"令牌可信即在 shouldNotFilter 整体放行"把刚上线的绑定又开了一个洞:这把
X-Internal-Token 是硬编码在分发出去的桌面客户端里的静态共享密钥(amazon/tool.py:20、
crawler_core/log_uploader.py:38),它能证明"走了内部通道",证明不了"这个 user_id 是谁"。
带 JWT + 这把钥匙的请求因此完全不参与绑定,等于给别人令牌就能读任意 user_id。

改法只拆语义不加开关:令牌继续豁免"要不要凭据"(否则仅凭令牌即鉴权的
/api/admin/shop-manages/credential 会被误拦 401),不再豁免"归属归谁"。
管理员/超管代客操作豁免照旧。

对现网零影响的取证:全工作区 .py 里 operatorId/operator_id 出现 0 处,所以纯令牌请求
进 requireUserOrInternal 后无 JWT→resolveToken 即抛→identity=null→绑定不触发;
不带 user_id 的按 task_id 回调仍然整体跳过守卫(新用例用 verify(never()) 守住)。

AdminApiGuardFilterTest 30 个用例全绿;新增 4 个,其中 internalTokenDoesNotBypassOwnershipBinding
在改代码前是红的,就是那个洞的可执行证明。
2026-09-28 18:45:46 +08:00
huangzd1997 b3472dbd8a feat(安全): 用户态接口的 user_id 归属改由令牌身份判定
带 JWT 的请求若 user_id 参数与登录身份不符直接 403,管理员/超管豁免(后台代客查任务是本职),
匿名与 X-Internal-Token 调用不参与绑定——按 2026-09-28 取证,桌面端 15 个调用文件只有 4 个带凭据
且全走内部令牌,所以现网客户端零影响;网页端 uid 与令牌主体同源于 AuthService.buildResult。
"要求凭据"仍留在 user-tool-guard-enabled 开关后面,新增 user-tool-guard-prefixes 支持按前缀分批收。
2026-09-28 02:31:23 +08:00
huangzd1997 67f28c5b4f refactor(队列): coze 残留改名到 task-queue / LLM,直连改造后不再出现第三方平台名
货源查询与外观专利早已改成直连 LLM,但配置键、指标名、类名与注释里的 "coze" 还留着,
排查线上问题时按平台名 grep 到的是已经不参与调用的历史命名。

对外可见的两处改名(运维需同步):
- 配置键 aiimage.coze-task.{max-concurrent,max-waiting} -> aiimage.task-queue.*
- 指标 aiimage.coze-task.submit.rejected.total / .execution.duration / .queue.wait.duration
  -> aiimage.task-queue.*   (Grafana 面板与告警表达式要一起改,否则曲线断流)
SimilarAsinTaskServiceCozeBufferScopeTest 随之改名(git 识别为 R)。
OSS 签名域名测试改用 example-cdn.com 占位,不再依赖真实 coze.cn 域名形态。
SimilarAsinTaskServiceTest 补上 result.notice 两条口径的测试:缺必填字段的行显示「未检测」
而不是留白(28551:790/1000 行空白仍报成功),404 行优先显示「ASIN未找到」。
2026-09-27 11:27:27 +08:00
huangzd1997 c27a1e26c4 chore(迁移): 新增 V136 版本表 is_latest、V137 隐藏 20 个冗余索引;登记 V132/V133 退役空号
两个迁移原本按 V132/V133 取号,但生产 flyway_schema_history 已执行到 V135(V134/V135 于
2026-09-25 落库),应用没开 out-of-order,低号新迁移会让 validate-on-migrate 直接报
"Detected resolved migration not applied to database" 并启动失败,因此顺排到 V136/V137。
空号无法回收,MigrationInventoryTest 的「1..N 连续」断言改为显式登记 RETIRED_HOLES,
并要求迁移清单文档记录空号来历——否则后来人会试图回填这两个号。

V136:web_config 只追加、从不记录哪条是最新版,读取侧靠 ORDER BY created_at DESC 现场算;
一旦有人补插 created_at 较早的行,/api/version/latest 会把全体客户端指回旧包且不报错。
回填语句按同一排序取一行、不写死 id,迁移前后接口返回值逐字节一致。
V137:20 个「列是另一索引严格左前缀」的二级索引置 INVISIBLE 而非 DROP——前缀规则只保证
可用性不保证代价相同,且 aiimage 账号读不了 performance_schema(1142),没法先量出哪些查询
真在做覆盖扫描,所以先隐藏观察,一条语句即可还原。
2026-09-27 11:25:23 +08:00
huangzd1997 bc8dce0fa3 test(鉴权): 兜底过滤器用例改用不存在的样例豁免前缀
exemptPrefixes 是配置化操作出口(aiimage.security.admin-guard-exempt-prefixes,
默认空、生产未配置任何值),原用例拿已下线的 /api/admin/shop-credential-checks
当样例路径,容易被误读成「该端点已配好豁免」——那条路径是 2026-09-04 引入
豁免机制时随手取的,并非真的配过。换成显然不存在的 /api/admin/example-exempt,
并注明不要改成真实业务端点。
2026-09-17 00:13:27 +08:00
huangzd1997 8c95f053f5 feat(A1/A3): 三个客户端零调用前缀立即无条件收紧
实测桌面端 Python 侧调用面:/api/image-video、/api/task-file-jobs、/api/ziniao 为 0 次调用
(只有带 JWT 的网页端在用),因此从 user-tool-guard-enabled 开关名单移入无条件守卫名单,
不必等客户端铺开即完成收紧;其余 14 个前缀的客户端调用面与令牌携带情况已逐一实测,
仍在开关后面(老客户端不带身份,提前打开会 401)。

新增 2 个守卫测试:开关关闭时这三组前缀对匿名同样 401、带用户令牌仍放行。
2026-09-14 10:46:05 +08:00
huangzd1997 d538935146 feat(A1/A3+C8): 客户端令牌链路打通(按人鉴权就绪)+ 快照 JSON 写入节流
A1/A3 客户端令牌链路(服务端守卫已能按 JWT 鉴权,缺口在客户端不带身份)
- 前端:新增 user-token-bridge(纯逻辑,值变化才推送)+ user-token-sync(启动安装,
  pywebviewready/storage/60s 轮询补推),main.ts 接入;桥接口补 set_user_token
- 客户端:新增 crawler_core/user_token.py(持有 + 对自家 Java 端点注入
  Authorization: Bearer <jwt>,Session.request 包装,第三方域名不注入、已有头不覆盖、
  登出清空、SHUFUAI_DISABLE_USER_TOKEN_HOOK 可关);main.py 暴露桥方法并在启动安装钩子
- 服务端:守卫契约测试补 5 个用户态前缀用例(开关关闭放行 / 打开后匿名 401 /
  用户令牌通过 / 内部令牌仍放行 / /api/ziniao 第二层)
- 翻开关的前置条件(客户端铺开后置 aiimage.security.user-tool-guard-enabled=true)写入报告

C8 快照 JSON 写入节流
- 读端改以 biz_task_result_item 行为准、JSON 仅兜底(历史任务 JSON 仍是唯一副本时可用)
- 整档 JSON 改 30s 节流写,终态路径 force 立即写;新增 2 个契约测试钉住语义

验证:mvn test 2888 全绿;npm test 741 全绿;user_token 钩子自测(注入/归一/第三方跳过/不覆盖/登出)通过
2026-09-14 10:20:15 +08:00
huangzd1997 96800a2c88 refactor(boundary): 跨模块循环依赖清零(8 对 → 0),task→业务 依赖归零
共享内核下沉(跨模块共享的"身份/组织/安全"类型进 common)
- AdminUserEntity/AdminUserMapper、ShopManageGroupEntity/ShopManageGroupMapper → common
- AdminAuthSupport(33 文件 17 模块引用)、JwtService、AuthProperties、DeviceSessionPolicy
  → common/security(原先放在 admin/auth 里,任何模块用一次就多一条跨模块边)

端口化(消费方声明接口、数据方实现)
- task/spi:ResultFileJobHandler 新增 resolveResultFileUrl 钩子(BRAND 特例从 Worker 收回);
  Worker 改为调用 handler.onSuccess(该钩子历史上从未被调用,withdraw 的收尾靠 Worker 里的
  WITHDRAW 特判硬编码——现两者都归位,task 侧不再 import withdraw/brand)
- admin/spi/UserSecretCleanupPort(删除用户级联清理密钥)、notification/spi/ProxyBalancePort
  (代理余额探测)、shopdatacrawl/spi/ManagedShopNamesPort(可管店铺名)
- shopkey/spi/GroupDeletionGuardPort:分组删除守卫改由各业务模块实现(invalidasin/dedupe 两个实现),
  shopkey 不再直连它们的 Mapper

棘轮与量化(2026-09-14 实测)
- ArchitectureBoundaryTest:task→业务 119 → **0**(基线钉死为 0,新增跨模块动作必须走 task/spi)
- 跨模块 import 行数 650 → 605;双向依赖对 8 → **0**(usersecret/permission/shopkey 三向环、
  task↔withdraw、task↔brand、admin↔permission、admin↔usersecret、dedup↔shopkey、
  invalidasin↔shopkey、notification↔usersecret、shopdatacrawl↔shopduplicatecheck 全部拆解)

测试同步:接口契约 8→9、品牌 Handler 钩子契约、worker 的 10 个测试构造实参、通知/管理测试端口化。
mvn test 2881 全绿。
2026-09-14 10:05:04 +08:00
huangzd1997 7368322791 fix: 全维度审查修复(安全/正确性/性能/稳定性/客户端/前端)
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权(此前可匿名换取任意员工店铺登录令牌)
- 删除 Flask 遗留后门:默认密码建超管 + 每次启动写生产 users 表(服务端与客户端各一份)
- 进度/详情接口归属过滤:新增 TaskProgressOwnershipSupport,11 模块 progress/light 与
  /tasks/batch 接入,DTO 补 userId,前端 13 个查询封装补传(未传时后端不过滤,兼容旧端)
- 代理提取链接(含账密)不再明文入日志(新增 common/util/SecretMasking)
- 全局异常兜底不再回传原始异常信息;内部令牌比较改常量时间
- 登录加失败计数与锁定(10 次锁 15 分钟);品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15(开关默认 false,行为不变,为收紧做准备)
- 生产关闭 springdoc/knife4j(/doc.html 匿名可读全部接口定义)

正确性
- 40901/40902 拆分:锁竞争不再被伪装成 success=true(此前客户端停止重试、分片静默丢失)
- 假成功收敛:集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally(7 模块,失败路径不再留僵尸 RUNNING 任务)
- 状态机条件更新:跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB(Element Plus 改按需 + el-config-provider)
- 载荷引用计数按指针里的 taskId 收敛(原 JSON 列 IN 全表扫且逐行调用)
- 店铺明细多值批量 INSERT;快照 upsert 预载缓存;结果文件列改单条 UPDATE
- 新增迁移 V120(补 3 个缺失索引)/V121(删 4 个被覆盖的冗余索引)/V122(URL 前缀索引)

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列(防堆积 OOM)
- Redis 锁释放改 Lua 原子校验(原裸 delete 会误删他人已过期的锁)
- imagevideo 加死节点接管;锁续期失败重试;调度池 4→16;openStream 全部加超时
- 事务内远程对象删除移到提交后;启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe(改为按调试端口精准回收,不杀用户自己的浏览器)
- 密码检测不再无条件杀紫鸟进程;品牌检测加全局互斥(代理池不再互相覆盖)
- base_dir 统一到 exe 目录(原被 os.getcwd() 覆盖,日志/缓存会分裂两个目录)
- 缓存加定时清理;图片下载加超时;mkstemp 句柄托管

测试
- 同步更新受影响的契约测试(构造器签名/条件更新/方法改名/新增接口方法等)
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
2026-09-14 04:15:36 +08:00
huangzd1997 41674d1adb feat(密钥管理): 代理配置后台明文展示 + 按次统计各密钥调用损耗
- 后台密钥管理「代理设置」列改为完整明文展示(含账号密码),便于运维核对;
  新增 full 字段仅对代理模块下发,密钥两列保持脱敏
- 新增 biz_user_secret_usage_daily(V117):用户 × 模块 × 天累计真实对外请求次数
- 计次口径:LLM 每次真实 HTTP 请求(含重试)计 1 次;代理每次成功提取计 1 次
- LLM 埋点走 SecretUsageContext 上下文(批次外设置、线程池内快照恢复)
- 新增内部上报接口 /api/internal/user-secret-usage(X-Internal-Token)
- 新增后台页「密钥用量统计」:日期范围 + 用户名 + 分组筛选,含范围内汇总
2026-09-13 21:56:46 +08:00
huangzd1997 193b6ba6c0 fix(security): /debug/** 纳入兜底鉴权——修复 debug 端点可被匿名调用(含写操作)
2026-09-11 实测确认(本机公网直连):
  http://47.110.241.161:18080/debug/request-info        → 200 匿名返回实例元数据
  http://api.aishufu.top:18080/debug/request-info       → 200
  https://api.aishufu.top/debug/request-info            → 200
根因:SecurityConfig 是 anyRequest().permitAll(),唯一兜底过滤器 AdminApiGuardFilter 只覆盖
/api/admin/**(shouldNotFilter 对其它路径一律放行),而 modules/debug 两个控制器均无
@Profile/@ConditionalOn*/@PreAuthorize。其中 POST /debug/task-recovery/run-stale-finalize
是强制收尾指定 task 的写操作。

修法:不删端点(stale-task-finalize-guidelines.md 明确把该接口列为线上应急工具),
改为把 /debug 前缀纳入既有兜底过滤器——URL 不变、runbook 不破、复用已测鉴权逻辑,
应急调用方改用 X-Internal-Token 或管理员 JWT 即可通过。
另加 /debug 放行审计日志,便于事后追溯这类低频敏感调用。

单测 13 个全绿(新增 5 个):匿名调 /debug/request-info 与 run-stale-finalize 均被 401 拒绝、
带内部令牌可直达 controller、/debug 裸前缀纳入保护、/debugging 与 /debug-tools 等
同前缀不同段的路径不被误伤。
2026-09-11 01:33:58 +08:00
huangzd1997 c5341c7138 fix(delete-brand): 分片缺失降级组装收尾+失败兜底生成可下载结果
- 结果分片缺失 ≤ missingChunkFallbackLimit(默认20) 时降级组装,缺失行标「未回传」,任务不再整体白跑
- 超阈值失败/组装异常时通过 ResultFileJobHandler.fallbackAssembleOnFailure 兜底生成部分结果文件
- 组装失败文案带缺失分片号明细(如 缺失分片: [247](已收 4283/4284))
- 新增 GET /api/delete-brand/tasks/{taskId}/missing-chunks,补传后自动恢复终态失败组装 job
- stale-check 失败文案改为含最后心跳时间与最近组装失败真实原因(修复误导性「回传长时间无响应」)
- 新增降级合并/缺失分片单测,Handler/Worker 日志审计 stage 白名单补 FALLBACK
2026-09-08 13:18:58 +08:00
huangzd1997 1ba21fb7eb task-283(后台迁移收尾/发布): admin-vue 后台工程入库 + Flask 后台整体退役
- 新后台 admin-frontend-vue 整工程入库(base=/admin-vue/、History 路由、Nginx 静态托管方案与 verify-dist 校验)
- Java AdminConsoleController 改为入口重定向: /admin|/admin.html、/login|/login.html -> /admin-vue/; 删除 classpath:static 旧 admin.html/login.html 单页与 admin.js 副本
- Flask 后台整体退役: 删除 admin_api/auth/main 蓝图、web_source 页面、static 脚本与 admin 相关测试; app.py 收敛为仅注册 version_bp(/api/version、/api/version/latest, 供桌面端更新检查)
- AdminApiGuardFilterTest 豁免样例路径 /admin.html -> /admin-vue/
2026-09-06 10:41:47 +08:00
huangzd1997 c219675c56 fix(module_type): 对齐 module_type 规范大写并加防回归守卫(防 similarasin/SIMILAR_ASIN 之类漂移)
- heartbeat 夹具 moduleType 改规范大写 SIMILAR_ASIN 并加断言锁定
- ModuleTypeAlignmentTest:扫描 src/main——MODULE_TYPE 常量须大写下划线、setModuleType("小写") 禁止(仅允许 legacy collectdata)——守卫写入/常量/夹具三者一致
- 全量扫描结果:生产代码写入均用常量大写,无存量漂移
2026-09-05 08:54:06 +08:00
huangzd1997 dca6e60d14 fix(task-173 test): 超时根因断言兼容 HttpTimeoutException/TimeoutException 两种 JDK 行为(全量回归暴露的偶发类型) 2026-09-05 02:10:17 +08:00
huangzd1997 993af16b50 task-202: Python-contract 夹具准备(heartbeat/items/result/parsed_payload schema-fixture,字段取自真实 DTO、全脱敏、README 说明)+ 9 条测试 2026-09-05 02:10:16 +08:00
huangzd1997 addd45b7db 收尾冒烟: 离线 Spring 装配切片(ConfigWiringSmokeTest)——模块10/11 新增 @ConfigurationProperties/@Component/可选 MeterRegistry 在真实容器装配验证 + 8 条测试
为上线前排除 bean 装配/属性绑定类启动崩溃;全量真实启动需在非生产环境(本配置默认值会连生产 MySQL/Redis)执行
2026-09-05 00:34:45 +08:00
huangzd1997 3664b4bff7 task-201: 迁移演练 runbook(docs/flyway-migration-drill.md:clean migrate/validate/验证SQL/回滚/锁窗口/校验和/幂等重跑/不动历史)+ 8 条测试
on-DB 的 migrate 执行需在副本库按 runbook 进行(本环境无数据库,仓库内以静态检查+清单兜底)
2026-09-05 00:09:37 +08:00
huangzd1997 007779d266 task-199: 超保留期活跃 job 巡检 SQL(06_over_retention_active_job.sql,RUNNING 超24h 候选,清理走 stuck 扫描)+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 40069cf390 task-198: 终态任务活跃 job 巡检 SQL(05_terminal_task_active_job.sql)+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 bf2d49d80e task-197: 结果缺文件候选巡检 SQL(04_result_missing_file.sql,OSS 对象存在由 Java 反查)+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 3f14d6c7c1 task-196: 终态任务缺结果巡检 SQL(03_task_missing_result.sql,SUCCESS/FAILED 无结果)+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 6909f8f13f task-195: 孤儿结果(payload) 巡检 SQL(02_orphan_result.sql,biz_file_result 无父任务)+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 a5cecb5489 task-194: 孤儿 task_file_job 巡检 SQL(01_orphan_job.sql,只读 SELECT 反连无任务/结果;base 提供 8 项静态契约)+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 a3468b496a task-193: 历史迁移盘点(docs/migration-inventory.md + 只读审计:整数版本 1..108 连续、无重复、识别 V25_1 历史小版本、命名合规、校验和可复算)+ 8 条测试 2026-09-05 00:02:57 +08:00
huangzd1997 ec6cdc8c15 task-192: 迁移规范模板(docs/flyway-migration-template.md,六项必填头注释:目的/影响表数据量/锁表风险/验证SQL/回滚/窗口)+ 8 条测试 2026-09-05 00:01:24 +08:00
huangzd1997 627688f8f8 task-190: 日志脱敏契约(StructuredLog.maskToken 统一 Token 部分脱敏,ImageVideo maskForLog 委托;URL query/异常消息体不入日志、防注入)+ 8 条测试 2026-09-04 23:53:23 +08:00
huangzd1997 bf870eb027 task-180: Worker 日志字段对齐规范(TaskResultFileJobWorker 关键阶段补 stage=/errorType=,保留 [task-file-job] 前缀)+ 8 条测试
- dispatch/success/failure/orphan/heartbeat/requeue/defer/waittxllm/finalize 日志追加规范 stage 字面量
- 失败/孤儿分支追加 errorType={}(exception 类名);保留 jobId/taskId/moduleType 与既有语义,仅消息文本追加、无逻辑改动
- 审计测试锁定字段名一致、阶段字面量白名单、无敏感字段
2026-09-04 23:44:39 +08:00