Commit Graph

16 Commits

Author SHA1 Message Date
huangzd1997 a5a9df650b feat(公司范围): DataReadScope 唯一读范围出口 + G2 扫 company_id 端点
- ReadScope/DataReadScope 落在 common/service:超管不选公司=不筛、选公司=成员集替换、
  选不存在公司=空页(不 403 不全量);非超管永远锁本公司且与分组可见集求交(只能收窄),
  传别家得空结果,没公司归属则炸
- G2 护栏逐文件扫"含 company_id 的 controller 必须走 readScope( 且显式 name=",
  带取样非空自检;白名单点名只放先于本计划存在的 AdminUserController,
  且只豁免 readScope 那一条、不豁免取样与显式 name=
2026-10-05 03:03:06 +08:00
huangzd1997 fb407bdaee test(公司范围): 排他断言钉住 memberUserIds 不加 LIMIT,LIMIT 变异不再存活
review 的唯一 Important:spec §3.2(docs/ops/company-tab-design-2026-10-04.md:69)明写
memberUserIds 不加 LIMIT,而这条不变式零覆盖——干净 worktree 里注入 .last("LIMIT 500")
后本类 11 支全绿=变异存活。既有三条 wrapper 断言都拦不住尾部追加:getSqlSelect() 的
isEqualTo("id") 只管 select 列、getSqlSegment() 的 contains("company_id =") 对拼在后面
的 LIMIT 免疫、getParamNameValuePairs() 照过。且这一刀连带哑掉哨兵:截断后 ids.size()
恰好 = 500,而 shouldWarn 是 > 500。

修法只在 memberUserIdsSelectsOnlyIdColumn 加一条排他断言
getSqlSegment() doesNotContainIgnoringCase("limit")。先实证过它咬得住再定稿:本仓
MP 3.5.7 的 AbstractWrapper.getSqlSegment() = expression.getSqlSegment() + lastSql
(javap 反编译确认),注入后串里渲染出 "(company_id = #{...MPGENVAL1}) LIMIT 500",
断言在 CompanyScopeSupportTest:182 红——不是恒真。AssertJ 3.25.3 有
doesNotContainIgnoringCase(javap 确认,实跑编译通过)。

变异自证(验证件 D:/tmp-wt-19ct @2b7bc3e7;主树 test-compile 被并发会话未提交改动打断):
- 对照轮(未注入):Tests run: 11, Failures: 0, Errors: 0, Skipped: 0
- 注入轮(.last("LIMIT 500")):Tests run: 11, Failures: 1,红在新那条,其余 10 支仍绿
- 还原只认注入前存盘的字节:cp /tmp/fix1/pristine-CompanyScopeSupport.java 回写后
  md5 938f3fc8abc08bd92086a4c052a65286 与 pristine 一致、该文件 git status 为空;
  全程未用 git checkout/restore/stash/clean,锚点命中数 1(≠1 即作废)。

实现、阈值 500、marker 串与其余 5 支用例一字未动;纯追加 7 insertions / 0 deletions。
2026-10-05 02:10:24 +08:00
huangzd1997 2b7bc3e74c docs(公司范围): 用例注释里指向 gitignore 报告的指针改成自足说法
27c83d5e 的阈值断言注释写了"见 task-5-report.md 的变异表",而 .superpowers/sdd/ 整目录
被 .superpowers/sdd/.gitignore 排除——提交进去就是个查不到的指针(本计划一直在修的那类过期引用)。
变异实证的事实本身留在原句(抬到 5000 后本类 11 条全绿,补上字面断言才红),只是不再指向不存在的文件。
纯注释改动,单类复跑 Tests run: 11, Failures: 0。
2026-10-05 01:09:45 +08:00
huangzd1997 27c83d5e64 feat(公司范围): memberUserIds 按公司枚举成员,只投影 id + 500 成员倒计时哨兵
Step 0 分母(2026-10-04 生产只读取证,controller 实跑;本任务零 SSH、零写库):
全库 users = 142 行 / 最大一家公司 = 140 成员 / company_id IS NULL = 0 行 / 公司数 = 2。
三个数各兑现一件事:140 对阈值 500 是约 3.6 倍余量(哨兵要在 500 元素 user_id IN(...)
劣化之前红在日志里,按 brief 那句"余量小于 5 倍=阈值太高"反过来定到 700+ 等于护栏永不响,
故维持 500 并在 javadoc 写死理由);游离账号 0 行是"按公司等值查不把人从每个 tab 丢掉"的前提;
公司数 2 与 spec §1 对账一致。brief 正文那句"今天全库 140 行"是过期读数,已按实跑改写。

出口 List<Long> memberUserIds(Long companyId):只 select id(users 带 password_hash,
整行投影是 2026-09 那轮优化摘掉的东西);非法 companyId 抛 BusinessException 而非返回空集
(调用方把空集读成"这家公司查不到行",两种语义不能互冒充);越阈值打 WARN
marker COMPANY_MEMBER_SET_LARGE。本轮只做后端能力,无 controller/前端/UI 暴露。

测试:CompanyScopeSupportTest 追加 6 支,本类 11/11 绿。G6 按本仓 idiom 用 logback
ListAppender 断真实 WARN 事件(不是只断包内布尔),反例里带正对照防空转。
变异自证 5 项,其中"阈值抬到 5000"第一跑 11 支全绿=变异存活(用例都按常量±1 造数据),
补一条字面断言 isEqualTo(500) 后才变红——这条正是"哨兵等于不存在"的合入路径。
2026-10-05 00:58:05 +08:00
huangzd1997 0311f9fa2a feat(公司隔离): 加 CompanyScopeSupport 与二期实施计划
取不到公司一律抛 BusinessException,不返回 null:null 进实体会被 MyBatis-Plus
跳过该列,落库时由 V145 的列 DEFAULT=1 静默兜住,第二家公司开通后每个漏传都
会归错公司且不报错。同时把 18 号实施计划入库(docs/plans 已不再 gitignore)。
2026-10-04 15:09:05 +08:00
huangzd1997 fd9aa2caa5 test(安全): 内部令牌判据收口为单点,补结构护栏用例
- 新增 InternalTokenSingleOutletTest:5 例,检查全仓唯一比较点仍是
  AdminAuthSupport、读头位置全部委派、过渡期属性与 yml 键仍存在
- 自带防恒绿自检(读取点少于 6 处即判扫描失效)
2026-10-03 03:22:40 +08:00
huangzd1997 4f03ea1808 feat(安全): 内部令牌支持过渡期新旧两把并行接受
换 AIIMAGE_INTERNAL_TOKEN 会让没升级的老客户端立刻全部失败(这把令牌有 4 个客户端字面量
点位并已分发到用户机器)。照仓内 shop-credential-key-previous 的惯例加 internal-token-previous:
逗号分隔的旧值与当前值并入同一接受集合,置空即关窗。

原先 8 处各自持有 @Value 字段并重复实现比较,其中 2 处用的是 equals 而非常量时间比较;
判断收进 AdminAuthSupport.isTrustedSuppliedToken 一处,controller 改为委派。
2026-10-03 01:49:13 +08:00
huangzd1997 8812a3b64a feat(安全): 店铺凭据解密支持历史密钥,为轮换留出双密钥窗口
换 shop-credential-key 会让 435 行历史密文全部解不开,而调用方拿到解不开的串
是当明文口令往外发(紫鸟账号、1688 店铺、第三方 api_key 都这样用)。
现在新增 aiimage.security.shop-credential-key-previous(逗号分隔),解密按
当前→历史的顺序回试,加密只用当前密钥;全部不中时 WARN 写明"这串密文会被
当成明文口令发出去",不再静默回退。与当前密钥相同的历史项自动丢弃。
previous 留空时行为与改动前逐字节一致(6 例单测盯着这一条)。
轮换设计与取证见 docs/ops/credential-rotation-design-2026-10-02.md(只含长度与
sha8 指纹,无明文值);轮换本身与存量重加密脚本仍未做。
2026-10-02 11:01:18 +08:00
huangzd1997 5ad0f5f685 fix(任务判死): 外观/货源判死文案按证据陈述,不再断言 Python 中断
2026-10-01 三条外观任务被心跳判死时一行业务结果都没回传过(Linux worker 一次领 5 条却只有
2 个采集槽,多出来的任务零心跳零分片直到钟面走完),而文案固定写 "Python interrupted before
uploading final result",把「没开跑」说成「跑挂了」,排查方向被带偏过一次。现在按已落库分片数、
最后回传/心跳时间、客户端最后一次上报的位置分述;结果文件作业重试耗尽也不再写成客户端中断。
2026-10-02 09:21:11 +08:00
huangzd1997 266c5fc0b8 fix(实例路由): 转发失败不再伪装成「任务不存活」
归属节点滚动重启时跨节点转发会连接失败,原来返回 ApiResponse.fail(40903) ——
HTTP 200 + data:null。客户端把「拿不到数据」解析成 alive=false,于是把健康的长
任务主动停掉(2026-09-18 任务 28616:跑到 66/253 被自杀,只跑到第 2/6 页)。

改为 503 + 空 body:新客户端按状态码判未知继续跑;老客户端因 body 不是 JSON、
resp.json() 抛异常也落到未知——两边都不会再把未知当成死。顺带让这类故障在
HTTP 指标里可见(原先记成 200,滚动重启期间丢了多少心跳监控完全看不到)。
2026-09-18 16:25:33 +08:00
huangzd1997 96800a2c88 refactor(boundary): 跨模块循环依赖清零(8 对 → 0),task→业务 依赖归零
共享内核下沉(跨模块共享的"身份/组织/安全"类型进 common)
- AdminUserEntity/AdminUserMapper、ShopManageGroupEntity/ShopManageGroupMapper → common
- AdminAuthSupport(33 文件 17 模块引用)、JwtService、AuthProperties、DeviceSessionPolicy
  → common/security(原先放在 admin/auth 里,任何模块用一次就多一条跨模块边)

端口化(消费方声明接口、数据方实现)
- task/spi:ResultFileJobHandler 新增 resolveResultFileUrl 钩子(BRAND 特例从 Worker 收回);
  Worker 改为调用 handler.onSuccess(该钩子历史上从未被调用,withdraw 的收尾靠 Worker 里的
  WITHDRAW 特判硬编码——现两者都归位,task 侧不再 import withdraw/brand)
- admin/spi/UserSecretCleanupPort(删除用户级联清理密钥)、notification/spi/ProxyBalancePort
  (代理余额探测)、shopdatacrawl/spi/ManagedShopNamesPort(可管店铺名)
- shopkey/spi/GroupDeletionGuardPort:分组删除守卫改由各业务模块实现(invalidasin/dedupe 两个实现),
  shopkey 不再直连它们的 Mapper

棘轮与量化(2026-09-14 实测)
- ArchitectureBoundaryTest:task→业务 119 → **0**(基线钉死为 0,新增跨模块动作必须走 task/spi)
- 跨模块 import 行数 650 → 605;双向依赖对 8 → **0**(usersecret/permission/shopkey 三向环、
  task↔withdraw、task↔brand、admin↔permission、admin↔usersecret、dedup↔shopkey、
  invalidasin↔shopkey、notification↔usersecret、shopdatacrawl↔shopduplicatecheck 全部拆解)

测试同步:接口契约 8→9、品牌 Handler 钩子契约、worker 的 10 个测试构造实参、通知/管理测试端口化。
mvn test 2881 全绿。
2026-09-14 10:05:04 +08:00
huangzd1997 f4ee7e16f0 refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
  业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
  CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)

性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
  BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
  行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
  TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引

安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)

容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
  (该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
2026-09-14 06:46:27 +08:00
huangzd1997 67b10b8665 perf(LLM任务): 首查短超时快速失败 + 退避抖动 + 标题失败跳过外观识别
生产 24h 数据:外观专利任务 LLM 重试失败 93+82 次几乎全是超时,
终态 41 行降级为「外观识别异常」;成功调用 p99=34s、超 60s 仅 0.02%。
原策略每轮重试都挂满 90s(被全局 call-timeout 钳制),且 1.5s/3s
密集重试整批落在同一劣化窗口内。

- 第 1 次尝试改用 llm-first-attempt-read-timeout-millis(默认 60s)快速失败,
  重试走完整读超时,慢而成功的正常调用不被误杀
- 重试等待改 LlmRetryBackoff:2s/10s + ±30% 抖动,覆盖更长窗口并打散同批尖峰
- 外观专利标题识别失败时跳过外观请求(该行必走回退,外观结果本就会被丢弃)
2026-09-14 00:28:40 +08:00
huangzd1997 da0eaccf3b task-98: 移除 similar-asin/appearance-patent 模块 Coze,状态机与共享组件改名 LLM
- similarasin/appearancepatent 模块全部 Coze 工作流调用改走 direct-LLM(已确认唯一运行路径)
- 共享组件改名:CozeTaskQueueGate→TaskQueueGate、CozeGroupResultPropagator→GroupResultPropagator
- 状态机改名:biz_task_scope_state 的 coze_* 列→llm_*、stateJson coze 键→llm(V100 迁移已应用生产)
- 删除 biz_coze_credential 表、CozeCredential* 类、SimilarAsinCozeClient、AppearancePatentCozeClient→LlmClient
- 前端 brand 页 Coze 文案→LLM;Python 后端删除 cozepy 依赖与死配置
- 修复 TaskResultFileJobWorker 启动失败:TaskFileJobConfig 注册 ResultFileJobHandlerRegistry 与 13 个 handler bean(含 validateCoverage 启动校验)
2026-09-01 02:20:50 +08:00
super e540d8e765 feat: update task routing and coze handling 2026-06-03 17:14:50 +08:00
super 76695a31c6 提交一些更改 2026-05-20 09:05:28 +08:00