huangzd1997
|
16583f578d
|
feat(公司tab): 批次 2/3/4 再接 8 页,注册表收到 16 页——用户页回流 company_id 按新边界改写反向钉
「切 tab 数据还一样」的根因一直是分母小于现实:批次 1 只登记 8 页,本轮按控制方
三次点名扩到 16 页(company-scope.ts 是唯一清单,routes.ts 的 companyScoped 逐页对平)。
批次 2(五页 ASIN 中心):去重总数据 / 不符合ASIN / 查询ASIN / 最低价ASIN / 商品类目。
批次 3(两页店铺中心):撞款监控、店铺数据记录。这两页没有归属列可筛,归属口径是
「本公司账号名下的店铺」——后端由 DataReadScope 推公司 → 成员账号 → biz_shop_manage.
created_by_id,前端只把 activeId 当 company_id 送下去。空成员集必须交空集合,绝不能
退化成 null(null 在这里=全量,那样第二家会看到全部数据)。
批次 4(用户管理):后端早就认 company_id(只对站点超管生效,公司超管恒锁本公司),
断的是前端——UserListQuery 里连这个字段都没有,三家 tab 看的是同一份全量列表。
三处口径改动,逐条说明:
1)company-user-list.test.ts 的反向钉被改写。2026-10-04 定案把公司维度从用户页整体摘掉,
那条钉的原文是「列表查询/筛选/行渲染不允许出现公司维度」。控制方 2026-10-05 明确要
用户管理区分公司 tab,所以钉的边界收窄成两半:渲染层(行级公司列、「所属公司」标签、
筛选状态、顶栏公司名)仍不得回流;请求层的 company_id 是这次加回来的,尺子换成
「取值口唯一」——页面每处 companyId 都必须等于 companyTab.requestCompanyId,且
normalizeUserPageParams/toUserListQuery 两只白名单构造器体内不许出现公司值。
新增一支行为钉:往归一化里传 companyId 必须被丢掉,这是 users.ts 读原始入参的全部理由
(写成 normalized.companyId 时 TS 照样绿、运行时恒 undefined)。
2)align-dup-console 那条 watch 看守的 token 扩到含 reload。变异自证里「删掉 void
loadConsole()」当场全绿:体里的清筛选项守住了,重新取数那半没人守。批次 3/4 三对
token 一起写到 reload 为止(批次 1/2 的老条目不动)。
3)公司管理页补正/反向两把尺子:company-config-entry-super-only 新增「吃公司 tab 的页面
集合恰好等于 COMPANY_SCOPED_PAGES 的 pageFiles」——按代码真值比,不按清单比,所以
清单不改一字而往 CompaniesPage.vue 里塞 store 也会红。谓词带括号,否则 import 行也算消费者。
菜单权限(admin_columns)本轮不动:MenusPage 只消费 /api/admin/permission-menus 这一份全局
菜单字典,切 tab 一样是数据本身全局,不是筛选坏了。真问题在写侧——PermissionMenuService
create/update/delete 只有 ensureAdminOperatorIfPresent(isAdmin 即放行),公司管理员改的是
全平台的菜单行。收窄为仅站点超管 vs 给 permission_menu 加归属列,两种改法代价差一个量级,
留给控制方定档。
护栏:G1 发送口 22 个 / 页面分组 17、watch 体看守 10 对、operation-guide 的 tab 文案 15 页
(撞款监控是显式豁免,另有一条自检盯「豁免落空」)。
变异自证 12/12 全杀(前端 10 + 公司管理反向钉 2),分母钉死在 27 例。
门禁:后端全量 3823 例 / 0 失败 / 0 错误 / 7 skipped,BUILD SUCCESS;admin-frontend-vue
1741 例 / 0 红;vue-tsc rc=0。首轮后端 4 红是另一路 task_partial 改动与本轮编译抢跑,
单跑 13 例已绿,本笔不含他们的任何文件。
未上线:jar 与 admin-vue 都没出包,V147 未在生产执行。
|
2026-10-06 02:32:59 +08:00 |
|
huangzd1997
|
764ac21d30
|
test(公司tab): Task 13 变异自证收尾——前端 11/11、后端 15/15 全杀,并记下这份台账没证明的东西
BG3-a 首轮存活(不是注入没跑到):adminPassingForeignCompanyGetsEmptyNot403 从没桩
memberUserIds(2L),而 Mockito 对未桩、返回 List 的方法默认交空表 ⇒「删掉 foreign 分支、
按本公司重算」这条注入交出的也是空集,isEmpty() 会因为错误的理由通过。本公司两列都桩成
非空后复跑:R0 先绿(tests=63 rc=0,DataReadScopeTest=7/0/0)⇒ BG3-a KILLED ⇒ BG3-b 仍 KILLED。
新增 G1 守卫「发送口的第二实参」(1b ④):task-center 五处 http.get 必须把 query 交给带
params 的第二实参——G1 原来按文件文本查 company_id = companyId,看不见"参数收下却没发出去、
接口照样 200"这一形。
backend-java/docs/mutation-company-tab.md:26 支注入(前端 11 + 后端 15)、被作废的那一整轮
(15 支全 tests=None=解析没抓到本轮 XML,而控制轮照样报 GREEN)、1b⑤ 的 @Test↔surefire 逐类
对平(2+7+7+3+9+3+13+19=63=分母),以及这份台账明确没证明的东西(另一路的第二道门 readCompanyId
的变异、八条人工实跑、live E2E)。
设计文档补一段线上现状:8e80dfc2..HEAD 唯一未上线的功能提交是 965e9690(看板五端点按公司筛,
2 支 src/main),区间新增迁移 0 支 ⇒ 下一版 jar 不动 Flyway 版本。
门禁:后端全量 3760 例 / 0 失败 / 0 错误 / 7 skipped、BUILD SUCCESS(450 个本轮 surefire XML
独立复算同数);admin-frontend-vue 1739/1739/0、vue-tsc rc=0。
本笔刻意**不含** DataReadScopeTest 里那 3 支 readCompanyId 用例——它们要的实现在另一路的未提交
改动里,一起提交会让别人 checkout 到这支提交时编译不过。
|
2026-10-06 00:15:58 +08:00 |
|
huangzd1997
|
0e6e844929
|
fix(角色叫法): 管理员就叫管理员、normal 档统一「普通账号」
同一角色此前有两套叫法:admin 档在界面叫「管理员」、在后端 6 条 403 与 Swagger 说明里叫
「普通管理员」;normal 档在界面叫「普通用户」。清到第四轮才清净,所以把口径做进源码出口:
新增 task-048 的旧词扫描用例,两棵源码树(admin-frontend-vue/src 216 文件、
backend-java/src 1415 java 文件)里出现「普通管理员」「普通用户」即红,分母与出口文件成员
一起钉死,防"扫了个空集合"式假绿。
- 后端 6 条用户可见文案:PermissionMenuService 两判、ShopManageGroupService 一判、
ShopManageController 三条 @Operation 说明
- company_menu_grant_gate_mutation.py 的 DENIED_THROW 锚同步改,16 条锚命中数逐条复算=1
- 注释与 javadoc 同批收口(等长替换不动排版);NotificationControllerTest 那句讲的是
非后台账号,按本意改写而不是套「普通账号」
|
2026-10-05 23:15:57 +08:00 |
|
huangzd1997
|
e0e1edcfd1
|
test(公司tab): G2 补断言 D——公司参数必须真进 readScope/resolveScope 的实参列表
A/B/C 三条判据都只看"收了参数、调了出口、结果交出去了",对 readScope(operator, null)
这一形全部放行:参数照样绑、出口照样调、返回值照样用,tab 却一动不动、接口还是 200。
D 咬的是入口那一侧——用 @RequestParam 绑到的那个变量名必须作为整词出现在出口调用的
实参列表里(射程与 A/B/C 同源:同一个 takesCompanyParam 谓词、同一份 READ_SCOPE_ALLOWLIST,
一条豁免同时免四条,不另起第二张表)。四条探针接进同一支跑探针的 @Test,null 形必红、
经 helper 转手的正形必绿,且已实测 A/B/C 对 null 探针三条前提全绿(D 才有鉴别力)。
|
2026-10-05 18:30:23 +08:00 |
|
huangzd1997
|
95e2318c42
|
feat(账号到期+公司超管): 级联过期判定、过期停任务巡检与两端续费提醒弹窗
需求两条:站点超管可开设其他公司的超级管理员(站点超管看全站、公司超管只看本公司、
组内管理员仍只看本组);账号要有过期时间,管理员过期后名下普通账户一并停用、
正在跑的任务也要停掉。落库只有 users.expires_at(V146,NULL=永不过期),级联一律现算,
不写"上级过期就把下级置成过期"那种续费也救不回来的数据。
- AccountExpiryService:生效到期 = min(自身, 本公司公司超管, 成员表组长, 创建人)。
登录拦 403(文案给续费提示)、每次请求鉴权拦 401(前端按下线踢回登录页),super_admin
永不适用。级联口径与数据可见范围同源(成员表基本未用、实际按 created_by_id 派生)。
- ExpiredAccountTaskStopService:每分钟把过期账号(含级联成员)名下 biz_file_task
PENDING/SCHEDULED/RUNNING → FAILED,含未领取的 PENDING(防内部通道继续派发)。原因文案
刻意不以「客户端异常中断」开头,否则会被 TaskResumeService 自动复活。品牌采集与跟价循环
不在那张表上,经 ExpiredAccountTaskStopSpi 由各自模块停:品牌 pending/running→cancelled
且 UPDATE 的 WHERE 二次核对状态(抢到行后被客户端推进成完成的行不得误杀),跟价循环只置
stop_requested=1、沿用用户点「停止循环」那条收尾路径,绝不动 status。任务心跳接口保持匿名
不走 requireUser,所以过期账号的客户端仍能拿到 alive=false 协作停止。
- 角色 company_super_admin:由站点超管开设(唯一要显式选公司的建号场景),建号/授菜单/改用户/
看数据四条链路都按"本公司"收口;公司超管之间、以及公司超管与站点超管互相碰不得。
- 续费提醒:剩余 <5 天在数富后台与用户端弹窗,只能收起不能关闭(无关闭按钮,收起态是右下角
浮标),续费到 ≥5 天自动消失。后台读 /api/admin/current-user 的 expiresAt/daysToExpire;
用户端无 Pinia,走 localStorage 的 account_expires_at(登录/check_login 落键、被顶下线清键,
换账号不残留)。只反映账号自身到期,弹窗不做任何级联推断。
- V146 撞掉了 V145 那批的一条护栏:它按"db/ 里不许出现 V146__ 前缀"编死号位,被一条正常的
前向迁移占用就红。改成钉动作——剥注释后的可执行 SQL 不得写 flyway_schema_history(回滚
一律是扫描路径外的人工补丁),并把盘点文档改 V146 时丢掉的 V145 文件名补回去。
验证(本会话亲跑,不是转述):后端定向 14 类 123/0(同一轮 mvn 里连批次③的 4 类 53 例、以及既有 ShopDataCrawl/SimilarAsin 两条回归对照 21 例一起跑,合计 197 例 0 红);admin-frontend-vue 本批定向 44/0(弹窗 7 +
公司建号/列表/入口/日期默认 21 + 角色 task-48/task-251 16),全量 1726 例里那 1 支红是另一条
会话刻意留的「公司 tab 接线缺口」尺子(点名 admin_task_center 等 6 页,与本批无关);
frontend-vue 弹窗 9/0、全量 710/0。变异自证两批共 34 点:弹窗语义 16 点全杀(阈值 5、只能收起
不能关闭、挂载点含"注释掉挂载"、落键/清键链路),本批 SPI+迁移护栏 17 点全杀(含 G2 反向:
前向迁移只在注释里提 flyway_schema_history 必须照样绿),注入文件还原 dirty=0、探针残留 0。
|
2026-10-05 11:51:33 +08:00 |
|
huangzd1997
|
265f31681f
|
test(公司tab): 两把尺子补洞——范围"算过"要"用出去",company_id 要写明取值口
评审用变异证明现有护栏各有半个洞,而这两个洞接下来会被 Task 9–12 六页照抄,
所以在本任务收口,不留到批次尾。
- G2 断言 C:handler 里 `readScope(` 的结果必须先赋给变量、再出现在另一条方法调用的
实参列表里。原来只断"体内出现了 readScope(",于是 `listHistory(…, scoped)` 改成
`listHistory(…, null)` 时 20 支用例一支不红(控制方实测 rc=0)——范围算了又丢掉,
页面照样看全量。`if (scoped != null) throw` 这类装饰不算接住。带 2 支负探针 + 1 支
正探针 + 第二形探针,分母三条自检(取样集非空 / 走完两步的支数为正 / 射程必须覆盖
已接线的两页),不许恒绿也不许恒红。
- G1 取值口登记表:`/company_id\s*[:=]/` 对"右半边从哪个对象读"是瞎的,
`= normalized.companyId` 与 baseline 缺口清单逐字相同(normalizeHistoryParams 是
白名单构造,运行时恒 undefined)。每页登记该页 api 函数自己的入参形状;8 页全覆盖、
缺条目红、接了线没登记同样红——没有"未登记就退回宽松判据"的默认分支。
- helpers.readSource 归一行尾:仓库 autocrlf=true,新检出是 CRLF 而源码 blob 是 LF,
`[\s\S]{0,N}` 这类有界窗口会被多出来的 `\r` 挤红——同一份 company-tab store
(LF 3565B / CRLF 3629B,内容等价)在干净检出树上多红一条无关用例。归一后实测
CRLF 树回到 6/5/1(只剩批次那条刻意留红)。
读数:后端全量 3663/0/0 Skipped 7 BUILD SUCCESS(最终字节亲跑);定向 9/0,变异
`scoped`→`null` 后 1 Failures 红在 CompanyIdParamGoesThroughReadScopeTest:393;
前端全量 1726/1725/1、`vue-tsc` rc=0;`= normalized.companyId`(连守卫一起换的静默变体)
实测红且点名 admin_history。产品码一支未动。
|
2026-10-05 10:11:08 +08:00 |
|
huangzd1997
|
1f20d7e68c
|
test(公司范围): G2 块边界改由括号差算,handler 之间不再互借证据
Task 6 修复轮 3 的四条 finding:文档行不得判成绑定行(含 @RequestParam 的行
先归绑定)、方法体开界用 parenDelta 跳过字符串字面量里的括号、闭界按 mapping
行缩进找同级 },text() 只截到块尾——否则下一支 handler 的 readScope 会被当成
这一支的证据,正是「新请求无失败出口」那一型。
全量后端在 detached worktree 跑:3653 例 0 红、Skipped 7、BUILD SUCCESS。
|
2026-10-05 07:06:01 +08:00 |
|
huangzd1997
|
e43203c878
|
test(公司范围): G2 断言 B 走同源参数谓词,公司参数判定改声明窗口,豁免降到 handler 级
Fix round 2 补 round 1 自留的三条缺口(生产代码与其它测试一字未改,只动这一支):
- N1 断言 B 触发键从下划线字面量换成与 A 同源的 handler.takesCompanyParam(),
"驼峰参数名+真调 readScope+全文不出现 company_id" 那记静默绿现会被 B 咬红。
- N2 公司参数判定从"同行"改成"声明窗口"(mapping 行到第一个以 { 结尾的行),
覆盖折行签名;并把 request.getParameter("company*") 同族纳入触发;
窗口取不到判红并报块名,不再"窗口取不到就当没公司参数"。
- N3 豁免键从整文件降到 handler 级(路径#@GetMapping(...)),hasSize(1) 保留;
liveness 语义跟改准,既咬僵尸条目也咬被豁免文件里没点名的第二记公司 id handler。
|
2026-10-05 05:28:13 +08:00 |
|
huangzd1997
|
95c7b2d15e
|
test(公司范围): 补齐内层求交与 >0 看守,G2 扫描降到 handler 粒度
评审 5 条 Important + 3 条 Minor 的修复,生产语义一字未改(ReadScope.java 只加一句 javadoc):
- adminIsAlwaysPinnedToOwnCompany 补 userIdsOr(null),看守 DataReadScope:40 的内层求交
(删掉内层求交时原用例 6/0/0 全绿,组长范围会被放大成整公司)
- 新增 zeroCompanyIdIsNormalizedToNoFilter:>0 归一化支此前无人喂
- G2 断言改打在可执行行上(注释里写 readScope( 不算),沿用 CompanyReadPathMenuGateTest 口径
并自带"注释确被剔掉、滤完不空"自检
- G2 断言粒度从文件降到 handler(按 mapping 注解切块),一文件多 handler 只接一个不再蒙混;
切不进 handler 的残块显式判红,不静默跳过
- 白名单键改为相对 src/main/java 的路径(同名不同包不再自动豁免)+ 加 liveness 断言
- 取样键加"@RequestParam 与 companyId 同行"的驼峰形状(今天新样本 0 支,零假阳性)
- 删掉 DataReadScopeTest 未使用的 static import eq
|
2026-10-05 04:05:46 +08:00 |
|
huangzd1997
|
a5a9df650b
|
feat(公司范围): DataReadScope 唯一读范围出口 + G2 扫 company_id 端点
- ReadScope/DataReadScope 落在 common/service:超管不选公司=不筛、选公司=成员集替换、
选不存在公司=空页(不 403 不全量);非超管永远锁本公司且与分组可见集求交(只能收窄),
传别家得空结果,没公司归属则炸
- G2 护栏逐文件扫"含 company_id 的 controller 必须走 readScope( 且显式 name=",
带取样非空自检;白名单点名只放先于本计划存在的 AdminUserController,
且只豁免 readScope 那一条、不豁免取样与显式 name=
|
2026-10-05 03:03:06 +08:00 |
|
huangzd1997
|
fb407bdaee
|
test(公司范围): 排他断言钉住 memberUserIds 不加 LIMIT,LIMIT 变异不再存活
review 的唯一 Important:spec §3.2(docs/ops/company-tab-design-2026-10-04.md:69)明写
memberUserIds 不加 LIMIT,而这条不变式零覆盖——干净 worktree 里注入 .last("LIMIT 500")
后本类 11 支全绿=变异存活。既有三条 wrapper 断言都拦不住尾部追加:getSqlSelect() 的
isEqualTo("id") 只管 select 列、getSqlSegment() 的 contains("company_id =") 对拼在后面
的 LIMIT 免疫、getParamNameValuePairs() 照过。且这一刀连带哑掉哨兵:截断后 ids.size()
恰好 = 500,而 shouldWarn 是 > 500。
修法只在 memberUserIdsSelectsOnlyIdColumn 加一条排他断言
getSqlSegment() doesNotContainIgnoringCase("limit")。先实证过它咬得住再定稿:本仓
MP 3.5.7 的 AbstractWrapper.getSqlSegment() = expression.getSqlSegment() + lastSql
(javap 反编译确认),注入后串里渲染出 "(company_id = #{...MPGENVAL1}) LIMIT 500",
断言在 CompanyScopeSupportTest:182 红——不是恒真。AssertJ 3.25.3 有
doesNotContainIgnoringCase(javap 确认,实跑编译通过)。
变异自证(验证件 D:/tmp-wt-19ct @2b7bc3e7;主树 test-compile 被并发会话未提交改动打断):
- 对照轮(未注入):Tests run: 11, Failures: 0, Errors: 0, Skipped: 0
- 注入轮(.last("LIMIT 500")):Tests run: 11, Failures: 1,红在新那条,其余 10 支仍绿
- 还原只认注入前存盘的字节:cp /tmp/fix1/pristine-CompanyScopeSupport.java 回写后
md5 938f3fc8abc08bd92086a4c052a65286 与 pristine 一致、该文件 git status 为空;
全程未用 git checkout/restore/stash/clean,锚点命中数 1(≠1 即作废)。
实现、阈值 500、marker 串与其余 5 支用例一字未动;纯追加 7 insertions / 0 deletions。
|
2026-10-05 02:10:24 +08:00 |
|
huangzd1997
|
2b7bc3e74c
|
docs(公司范围): 用例注释里指向 gitignore 报告的指针改成自足说法
27c83d5e 的阈值断言注释写了"见 task-5-report.md 的变异表",而 .superpowers/sdd/ 整目录
被 .superpowers/sdd/.gitignore 排除——提交进去就是个查不到的指针(本计划一直在修的那类过期引用)。
变异实证的事实本身留在原句(抬到 5000 后本类 11 条全绿,补上字面断言才红),只是不再指向不存在的文件。
纯注释改动,单类复跑 Tests run: 11, Failures: 0。
|
2026-10-05 01:09:45 +08:00 |
|
huangzd1997
|
27c83d5e64
|
feat(公司范围): memberUserIds 按公司枚举成员,只投影 id + 500 成员倒计时哨兵
Step 0 分母(2026-10-04 生产只读取证,controller 实跑;本任务零 SSH、零写库):
全库 users = 142 行 / 最大一家公司 = 140 成员 / company_id IS NULL = 0 行 / 公司数 = 2。
三个数各兑现一件事:140 对阈值 500 是约 3.6 倍余量(哨兵要在 500 元素 user_id IN(...)
劣化之前红在日志里,按 brief 那句"余量小于 5 倍=阈值太高"反过来定到 700+ 等于护栏永不响,
故维持 500 并在 javadoc 写死理由);游离账号 0 行是"按公司等值查不把人从每个 tab 丢掉"的前提;
公司数 2 与 spec §1 对账一致。brief 正文那句"今天全库 140 行"是过期读数,已按实跑改写。
出口 List<Long> memberUserIds(Long companyId):只 select id(users 带 password_hash,
整行投影是 2026-09 那轮优化摘掉的东西);非法 companyId 抛 BusinessException 而非返回空集
(调用方把空集读成"这家公司查不到行",两种语义不能互冒充);越阈值打 WARN
marker COMPANY_MEMBER_SET_LARGE。本轮只做后端能力,无 controller/前端/UI 暴露。
测试:CompanyScopeSupportTest 追加 6 支,本类 11/11 绿。G6 按本仓 idiom 用 logback
ListAppender 断真实 WARN 事件(不是只断包内布尔),反例里带正对照防空转。
变异自证 5 项,其中"阈值抬到 5000"第一跑 11 支全绿=变异存活(用例都按常量±1 造数据),
补一条字面断言 isEqualTo(500) 后才变红——这条正是"哨兵等于不存在"的合入路径。
|
2026-10-05 00:58:05 +08:00 |
|
huangzd1997
|
0311f9fa2a
|
feat(公司隔离): 加 CompanyScopeSupport 与二期实施计划
取不到公司一律抛 BusinessException,不返回 null:null 进实体会被 MyBatis-Plus
跳过该列,落库时由 V145 的列 DEFAULT=1 静默兜住,第二家公司开通后每个漏传都
会归错公司且不报错。同时把 18 号实施计划入库(docs/plans 已不再 gitignore)。
|
2026-10-04 15:09:05 +08:00 |
|
huangzd1997
|
fd9aa2caa5
|
test(安全): 内部令牌判据收口为单点,补结构护栏用例
- 新增 InternalTokenSingleOutletTest:5 例,检查全仓唯一比较点仍是
AdminAuthSupport、读头位置全部委派、过渡期属性与 yml 键仍存在
- 自带防恒绿自检(读取点少于 6 处即判扫描失效)
|
2026-10-03 03:22:40 +08:00 |
|
huangzd1997
|
4f03ea1808
|
feat(安全): 内部令牌支持过渡期新旧两把并行接受
换 AIIMAGE_INTERNAL_TOKEN 会让没升级的老客户端立刻全部失败(这把令牌有 4 个客户端字面量
点位并已分发到用户机器)。照仓内 shop-credential-key-previous 的惯例加 internal-token-previous:
逗号分隔的旧值与当前值并入同一接受集合,置空即关窗。
原先 8 处各自持有 @Value 字段并重复实现比较,其中 2 处用的是 equals 而非常量时间比较;
判断收进 AdminAuthSupport.isTrustedSuppliedToken 一处,controller 改为委派。
|
2026-10-03 01:49:13 +08:00 |
|
huangzd1997
|
8812a3b64a
|
feat(安全): 店铺凭据解密支持历史密钥,为轮换留出双密钥窗口
换 shop-credential-key 会让 435 行历史密文全部解不开,而调用方拿到解不开的串
是当明文口令往外发(紫鸟账号、1688 店铺、第三方 api_key 都这样用)。
现在新增 aiimage.security.shop-credential-key-previous(逗号分隔),解密按
当前→历史的顺序回试,加密只用当前密钥;全部不中时 WARN 写明"这串密文会被
当成明文口令发出去",不再静默回退。与当前密钥相同的历史项自动丢弃。
previous 留空时行为与改动前逐字节一致(6 例单测盯着这一条)。
轮换设计与取证见 docs/ops/credential-rotation-design-2026-10-02.md(只含长度与
sha8 指纹,无明文值);轮换本身与存量重加密脚本仍未做。
|
2026-10-02 11:01:18 +08:00 |
|
huangzd1997
|
5ad0f5f685
|
fix(任务判死): 外观/货源判死文案按证据陈述,不再断言 Python 中断
2026-10-01 三条外观任务被心跳判死时一行业务结果都没回传过(Linux worker 一次领 5 条却只有
2 个采集槽,多出来的任务零心跳零分片直到钟面走完),而文案固定写 "Python interrupted before
uploading final result",把「没开跑」说成「跑挂了」,排查方向被带偏过一次。现在按已落库分片数、
最后回传/心跳时间、客户端最后一次上报的位置分述;结果文件作业重试耗尽也不再写成客户端中断。
|
2026-10-02 09:21:11 +08:00 |
|
huangzd1997
|
266c5fc0b8
|
fix(实例路由): 转发失败不再伪装成「任务不存活」
归属节点滚动重启时跨节点转发会连接失败,原来返回 ApiResponse.fail(40903) ——
HTTP 200 + data:null。客户端把「拿不到数据」解析成 alive=false,于是把健康的长
任务主动停掉(2026-09-18 任务 28616:跑到 66/253 被自杀,只跑到第 2/6 页)。
改为 503 + 空 body:新客户端按状态码判未知继续跑;老客户端因 body 不是 JSON、
resp.json() 抛异常也落到未知——两边都不会再把未知当成死。顺带让这类故障在
HTTP 指标里可见(原先记成 200,滚动重启期间丢了多少心跳监控完全看不到)。
|
2026-09-18 16:25:33 +08:00 |
|
huangzd1997
|
96800a2c88
|
refactor(boundary): 跨模块循环依赖清零(8 对 → 0),task→业务 依赖归零
共享内核下沉(跨模块共享的"身份/组织/安全"类型进 common)
- AdminUserEntity/AdminUserMapper、ShopManageGroupEntity/ShopManageGroupMapper → common
- AdminAuthSupport(33 文件 17 模块引用)、JwtService、AuthProperties、DeviceSessionPolicy
→ common/security(原先放在 admin/auth 里,任何模块用一次就多一条跨模块边)
端口化(消费方声明接口、数据方实现)
- task/spi:ResultFileJobHandler 新增 resolveResultFileUrl 钩子(BRAND 特例从 Worker 收回);
Worker 改为调用 handler.onSuccess(该钩子历史上从未被调用,withdraw 的收尾靠 Worker 里的
WITHDRAW 特判硬编码——现两者都归位,task 侧不再 import withdraw/brand)
- admin/spi/UserSecretCleanupPort(删除用户级联清理密钥)、notification/spi/ProxyBalancePort
(代理余额探测)、shopdatacrawl/spi/ManagedShopNamesPort(可管店铺名)
- shopkey/spi/GroupDeletionGuardPort:分组删除守卫改由各业务模块实现(invalidasin/dedupe 两个实现),
shopkey 不再直连它们的 Mapper
棘轮与量化(2026-09-14 实测)
- ArchitectureBoundaryTest:task→业务 119 → **0**(基线钉死为 0,新增跨模块动作必须走 task/spi)
- 跨模块 import 行数 650 → 605;双向依赖对 8 → **0**(usersecret/permission/shopkey 三向环、
task↔withdraw、task↔brand、admin↔permission、admin↔usersecret、dedup↔shopkey、
invalidasin↔shopkey、notification↔usersecret、shopdatacrawl↔shopduplicatecheck 全部拆解)
测试同步:接口契约 8→9、品牌 Handler 钩子契约、worker 的 10 个测试构造实参、通知/管理测试端口化。
mvn test 2881 全绿。
|
2026-09-14 10:05:04 +08:00 |
|
huangzd1997
|
f4ee7e16f0
|
refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)
性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引
安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)
容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
(该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
|
2026-09-14 06:46:27 +08:00 |
|
huangzd1997
|
67b10b8665
|
perf(LLM任务): 首查短超时快速失败 + 退避抖动 + 标题失败跳过外观识别
生产 24h 数据:外观专利任务 LLM 重试失败 93+82 次几乎全是超时,
终态 41 行降级为「外观识别异常」;成功调用 p99=34s、超 60s 仅 0.02%。
原策略每轮重试都挂满 90s(被全局 call-timeout 钳制),且 1.5s/3s
密集重试整批落在同一劣化窗口内。
- 第 1 次尝试改用 llm-first-attempt-read-timeout-millis(默认 60s)快速失败,
重试走完整读超时,慢而成功的正常调用不被误杀
- 重试等待改 LlmRetryBackoff:2s/10s + ±30% 抖动,覆盖更长窗口并打散同批尖峰
- 外观专利标题识别失败时跳过外观请求(该行必走回退,外观结果本就会被丢弃)
|
2026-09-14 00:28:40 +08:00 |
|
huangzd1997
|
da0eaccf3b
|
task-98: 移除 similar-asin/appearance-patent 模块 Coze,状态机与共享组件改名 LLM
- similarasin/appearancepatent 模块全部 Coze 工作流调用改走 direct-LLM(已确认唯一运行路径)
- 共享组件改名:CozeTaskQueueGate→TaskQueueGate、CozeGroupResultPropagator→GroupResultPropagator
- 状态机改名:biz_task_scope_state 的 coze_* 列→llm_*、stateJson coze 键→llm(V100 迁移已应用生产)
- 删除 biz_coze_credential 表、CozeCredential* 类、SimilarAsinCozeClient、AppearancePatentCozeClient→LlmClient
- 前端 brand 页 Coze 文案→LLM;Python 后端删除 cozepy 依赖与死配置
- 修复 TaskResultFileJobWorker 启动失败:TaskFileJobConfig 注册 ResultFileJobHandlerRegistry 与 13 个 handler bean(含 validateCoverage 启动校验)
|
2026-09-01 02:20:50 +08:00 |
|
super
|
e540d8e765
|
feat: update task routing and coze handling
|
2026-06-03 17:14:50 +08:00 |
|
super
|
76695a31c6
|
提交一些更改
|
2026-05-20 09:05:28 +08:00 |
|