Commit Graph

932 Commits

Author SHA1 Message Date
huangzd1997 7557cdb27a test(权限): 三处出口的闸门扫描改成只数可执行行,补超管仍可见公司那一半与剪目录的反向钉
Fix round 1(review-898a8e22..3f0f1064),行为一字未改,只补护栏:
- Important 1:扫描不再数"全文出现 ≥4 次"(1 处定义 + 3 处 javadoc 就凑得满,三处过滤器全删照样绿),
  改成剔注释后的逐口锚点:负向 filter ×2(出口 1 list、出口 2 getUserColumnPermissions)
  + 正向 ×1(出口 3 superAdminOnlyMenuIds),并自带取样集非空自检(约束 #15)。
- Important 2:B2 补超管那一半——getUserColumnPermissions(31L) 必须仍含 109,
  钉住出口 2 的过滤排在超管早返回之后(变异 R9:提到前面就剪掉超管自己的「公司管理」)。
- Important 3:运维合同按 marker 串 GRANT_SUPER_ADMIN_ONLY_STRIPPED 断言,不再是 log.warn。
- Minor 5:字面量正则标注为"字面量依赖、惰性",真护栏改成切片 ensureGrantable 方法体,
  钉"SUPER_ADMIN_ONLY_KEYS 挨着 BusinessException"这一未来作者会写的形状(变异 R13 只有它接得住)。
- Minor 9:新增 B2b 夹具(受控 key 当分组、下面挂两个子页面),变异 R12 连层级查找表一起剪时
  只有它红——叶子夹具接不住这一向。
- Minor 10:变异自证脚本从 git-ignored 的计划目录搬进 backend-java/scripts/(与 n1_scan.py 同处)并纳入跟踪,
  轮次从 8 记加到 13 记,八条硬规矩不变(pristine 重写、只认内存字节还原、CRLF 对齐锚、
  本轮 Tests run 当分母、跑前删旧 surefire 报告、R0 不绿则后面不作数)。
2026-10-04 22:33:34 +08:00
huangzd1997 3f0f106447 docs(权限): 用例计数说准(实跑四支:B1/B2/B3 两种操作者各一支) 2026-10-04 21:12:37 +08:00
huangzd1997 aeaa39ab4e docs(公司配置): 修正被 898a8e22 说反的 OpenAPI 摘要与两条陈旧类注释 2026-10-04 20:56:06 +08:00
huangzd1997 5717efac92 feat(权限): admin_companies 从可见/可授予集合摘掉,提交时剥离不报错 2026-10-04 20:55:43 +08:00
huangzd1997 898a8e2258 feat(公司配置): 公司目录读侧收成角色内在闸门,非超管一律403 2026-10-04 19:42:59 +08:00
huangzd1997 3432232ee1 perf(外观专利): 品牌校验整批共用一次查询与一个超时预算
checkTitleText → checkTitleTexts:一批 10 行原先各带一个 total-timeout-millis(90s)
预算串行,上游 16890 劣化时批间隔被拉到分钟级;改成跨行去重一次查询、整批共用
deadline、结论按行归因、返回与入参同序同长。真正的价值是把爆炸半径从"行"收回"批"。

改动比预估大了一圈:三个回退点(标题缺失 / 标题识别失败 / 外观识别失败)原先也在
逐行发品牌查询,而回退行查的是整条原始标题,splitTitleText 能切出十几个词,逐行发
反而最贵。现在回退行只造结论不写行,与正常行汇进同一条 (row, LlmResult) 队列,
出口收敛到 applyLlmRowsInOneBatch 一处;pending.isEmpty() 的早退分支同样要刷,
否则回退行连品牌结论都拿不到。单参 applyResult 重载已删(零调用方 + 编译验证)。

行数不变、LLM 请求次数不变、代理提取次数不变 ⇒ 零成本。语义变化只有当初拍过的那条:
同批同品牌共享一次结论。

护栏 AppearancePatentBrandBatchTest 3 例 + BrandCheckClientTitleBatchTest 4 例,
断言各守一个坑:times(1)+never(checkTitleText) 证明合批真发生、两行结论不同证明
批内归因停在行;变异自证 6/6。后端全量 3631 例 Failures 0 Errors 0。
2026-10-04 18:38:27 +08:00
huangzd1997 e6c4c9e7cf feat(公司隔离): V145 给两张规则库表补归属,唯一键改每公司一套
品牌库/去重库原本没有公司这一列、唯一键是全局的,所以"每公司一套"无从谈起。
V145 破例物化 company_id(含品牌库的 uploader_user_id 审计锚点),并把
uk_data_value / uk_data_value_brand 换成带 company_id 前缀的新键(先 ADD 后 DROP)。

按生产实查改写了计划里的写法:biz_dedupe_total_data 507,306 行 / MySQL 8.4.8,
非末位加列与 MODIFY 收 nullability 都要重建表,故三条加列显式钉 ALGORITHM = INSTANT、
列直接建成 NOT NULL DEFAULT 1、四条索引操作钉 INPLACE, LOCK = NONE,
回填换成由 users 驱动、带 d.company_id = 1 幂等限定的反推 UPDATE。

DEFAULT 1 是为混合版本窗口留的(批量写失败只 log.warn,缺列会静默丢数),
摘它必须用 ALTER COLUMN ... DROP DEFAULT——MODIFY 会按当时列默认值物化 instant 列,
把反推好的归属洗回 1。启动期哨兵据此从只探 users 扩成探三张表。

第二家公司已于 10-04 14:55 开通,历史行的实际上传者从此不可追溯,这笔不能再等。
回滚走 docs/rollback-V145-company-scope.sql 人工补丁,不编成 V146(Flyway 扫描路径会自己跑)。
2026-10-04 16:14:57 +08:00
huangzd1997 0311f9fa2a feat(公司隔离): 加 CompanyScopeSupport 与二期实施计划
取不到公司一律抛 BusinessException,不返回 null:null 进实体会被 MyBatis-Plus
跳过该列,落库时由 V145 的列 DEFAULT=1 静默兜住,第二家公司开通后每个漏传都
会归错公司且不报错。同时把 18 号实施计划入库(docs/plans 已不再 gitignore)。
2026-10-04 15:09:05 +08:00
huangzd1997 49c3fc1491 docs(仓库): 规划文档改为入库,落盘品牌库/去重库每公司一套二期方案
`.gitignore` 原先把 docs/plans/ 与 backend-java/docs/plans/ 记成「本地不入库」,
代价有两头:干净 worktree 出包时这些文件根本不存在(门禁要读它们的用例先假红),
跨会话的实施计划也没有留存通道。改为入库,本批把 34 个 md 落进仓库。
2026-10-04 13:51:16 +08:00
huangzd1997 3f223f045b fix(多公司): 公司目录读端点摘掉菜单闸门,别再把它当数据可见性用
GET /api/admin/companies 同时是「用户管理」页公司下拉的数据源,而它第一行查的是
admin_companies 菜单权限 —— V143 只插了 columns 那一行、一笔 user_column_permission
都没发,于是 15 个公司内管理员一打开用户管理页就吃 403。收窄本来已由 role + companyId
完成,本公司管理员能读到的那一行就是登录响应和 /current-user 里本来就回带的自己的公司名,
这道闸门一个字节都没多守住,却把整个页面挡住了。

写入口(create/update)继续走 ensureSuperAdmin 不变;MENU_KEY 与 PermissionMenuService
依赖随闸门一起删净,护栏 CompanyReadPathMenuGateTest 用源码扫描钉住"公司服务不查菜单",
并自检取样集非空(闸门在用户管理、生成记录两处仍是正当手段,必须扫得到)。
2026-10-04 12:57:49 +08:00
huangzd1997 48aad3f2fd feat(看板): 删净在跑店铺看板,进度文案对齐客户端,加国家列,默认筛「在跑」
- 店铺看板整条移除(面板/`/shops`/`shops()`/`TaskCenterShopVo`),汇总卡「在跑店铺」保留;
- 采集数据行进度改成客户端那句「关键词进度:第 N/总 个」(只改文字,数字口径与夹取不变),
  其余无进度条的模块仍显示「—」;
- 列表加「国家」列:值来自 request_json 的 7 条路径(线上实测顺序与覆盖 315/451=69.8%),
  按页内主键点查、不进列表 UNION,以免把大 JSON 列拉回已知慢查询;品牌行不发查询;
  只展示不筛选,无迁移;
- 状态默认「在跑」= PENDING∪RUNNING∪SCHEDULED,前端下发 ACTIVE 哨兵、只在服务层 statusFilter
  一处展开,成员与 ACTIVE_STATUS_SET/ACTIVE_STATUSES 同源钉死;
- 护栏:后端 task-center 77 例(新增状态 IN 渲染、7 路径顺序、归一两形态、品牌不查国家等)、
  前端 21 例;4 个变异点(路径顺序/哨兵不展开/归一截断/文案分支)全部被抓到并字节级还原。
2026-10-04 12:48:18 +08:00
huangzd1997 94f160b316 feat(多公司): V144 摘掉 users.company_id 的默认值,并把「已应用迁移不许原地改」做成护栏
V143 已于 2026-10-04 10:48:54 应用到生产库(校验和 1539570901),而
spring.flyway.validate-on-migrate=true 是硬编码 —— 想摘 DEFAULT 就不能原地改 V143,
否则下一次启动校验失败、两台 java 都起不来。所以按前向修复写成 V144,并让
CompanyMigrationV144Test 按 Flyway 的 CRC32 复算 V142/V143 与生产存量校验和比对,
把这件事从口头纪律变成 mvn test 阶段能咬红的护栏。

取舍:宁可让绕过 createUser 的写入撞 MySQL 1364 炸在日志里,也不要被静默塞进
厦门米椿花(users 全仓只有 1 条 INSERT,且它恒显式赋值,故不会新增失败面)。

- V144:ALTER TABLE users MODIFY COLUMN company_id bigint NOT NULL(不带 DEFAULT),
  头注释含模板六项 + 验证 SQL(期望 Default = NULL)+ 人工回滚步骤
- CompanyMigrationV144Test 8 例,变异自证 7/7 被咬死(含「原地改 V143」那条)
- CompanyMigrationV143Test 删掉「V143 必须是当前最大版本」——V144 落盘后它是假前提,
  号段连续性仍由 MigrationInventoryTest 把守
- migration-inventory.md:文件数 143、范围 V1..V144、取号起点 V145、新增存量校验和表
2026-10-04 11:49:14 +08:00
huangzd1997 e832418f4b feat(看板): 变体采集只看在跑,进度列改客户端同源口径
两件事,都是用户当场指出的读数误导:

1. 变体采集页签徽章 106 是麦象历史全量。console 代理一次只接受一个 status,
   故 status 缺省时服务端合并 0(等待)∪1(处理中),按 createTime 倒序后内存切片;
   单状态各拉 200 条,触顶打 warn。前端状态下拉去掉「已完成/处理失败」两个入口。

2. 进度列的「已完成 0 / 总 1」来自 source_file_count(采集/跟价都是单文件任务),
   与客户端进度条不同源。改为按模块分档:COLLECT_DATA 取 result_json 的
   $.totalRows/$.processedRows(与客户端「关键词进度:第 X/N 个」同一对数),
   PRICE_TRACK/SHOP_MATCH 这类客户端本来没有进度条的返回 0,前端 progressTotal<=0
   显示「—」且不再画 0% 进度轨;PUBLISH/DELETE_BRAND/品牌行保持文件数/品牌行数。

护栏:Mapper SQL 渲染 26 例、QueryService 34 例、VariantService 8 例、
ScopeService 7 例;前端 node:test 1653 例。docs/specs/16-client-task-console.md
的「进度口径」一节按新规则重写。
2026-10-04 10:27:09 +08:00
huangzd1997 061147c603 feat(多公司): 第二批 —— 登录带出公司身份、移人仅超管、启动期 DEFAULT 哨兵、列表公司列
company 模块落地(目录读写收窄 + 菜单闸门),并把公司维度接进四个已有出口:
- 登录/current-user 回包带 companyId/companyName,且取名失败不得挡住登录;
- 移人仅超管,且校验「创建人同公司或为超管」不变式(二期免改 77 处过滤点的前提);
- users.company_id 的 DEFAULT 由启动期哨兵盯着,多公司已上线仍未摘则打
  COMPANY_DEFAULT_STILL_PRESENT(ASCII 标记串,供 docker logs grep);
- 账号列表加 company_id/company_name 与可选按公司筛选:超管可筛任意公司,
  公司内 admin 传别家公司视为无结果(不报错也不越权)。

39 例护栏,29 条变异自证(首轮 25/28 咬死,两条存活都是用例侧的洞:
namesByIds 被 mock 掉所以内部去重从未被证明、contains("公司") 分不清闸门与
不变式;修补后 4/4 KILLED)。业务表零 DDL、零回填。
2026-10-04 07:11:13 +08:00
huangzd1997 5633898a0d feat(多公司): V143 建 company 与 users.company_id,配 12 例迁移护栏
一期只做账号归属:company 主表 + users.company_id,57 张业务表零 DDL、零回填,
公司维度全部由 user_id → users.company_id 派生。存量账号在迁移里归入「厦门米椿花」,
不需要另外拿脚本对着生产库 UPDATE。

两个不落进代码就会丢的判断:

1) 每条语句都写成幂等。MySQL 的 DDL 不进事务,NOT NULL 闸门失败时前面的建表/插数/加列
   已经落库,而 repair + 重启会让 Flyway 从第一条语句重跑整个文件;写成裸 CREATE TABLE /
   裸 INSERT 的话,恢复路径自己撞 1050/1060/1062,"补数据后重启"就变成"必须手工清库"。
2) 回滚是 docs/rollback-V143-company.sql,不是一条 V144 迁移。放进 src/main/resources/db/
   等于让 Flyway 在下次启动时自动执行回滚。这两条口径一并写进 migration-inventory.md 的
   约束段,供后续所有迁移引用。

闸门留 DEFAULT 1 只为混合版本窗口存在(旧 jar 建号不带 company_id),摘除时机改由启动期
巡检盯(下一步实现),不靠人记。

CompanyMigrationV143Test 12 例,断言打在剥掉注释后的可执行 SQL 上(否则"注释里写了这句话"
就算通过);16 条变异全部被抓到。全量 mvn test 3515 例 0 红。

后端 modules/company、两端前端、DEFAULT 摘除巡检尚未开始。
2026-10-04 03:27:27 +08:00
huangzd1997 03f087f3cd feat(通知): 保留期收成 7 天一条线,独立成凌晨分批清理任务
- readRetentionDays=90 / unreadRetentionDays=180 两档合并为 retentionDays=7,
  两个旧 env 键随字段一起删(全仓已无引用)。按天扇出的告警表留半年只服务于一件没人做的事。
- 删除动作从 5 分钟一轮的 NotificationScanScheduler 里摘出来:原先它跟着 scan-enabled 一起被关,
  生产为降噪停扫描就等于悄悄停掉保留期;同时去掉 NotificationService 上两条无 LIMIT 的清理方法。
- 新建 NotificationRetentionService(04:05 + notification:retention job 锁 + 每轮 20 批 × 2000 行),
  与 DeviceLogRetentionService 同一范式。分批是因为这张表每 60 秒被铃铛 COUNT(*) 一次,
  首轮要把按 90/180 攒下的存量删掉,单条大 DELETE 会直接放大锁等待;宁可连续几天收敛。
- 不补索引:两条删除都走建表即有的 idx_created_at,保留窗口外的行几乎全部命中删除条件。
- NotificationRetentionServiceTest 8 例(变异自证 7/7 转红):其中一条锁注解 SQL 的谓词与 LIMIT——
  mock 掉 mapper 的那几条看不见「已读写成未读条件」,而线上表现是某一侧永远删不掉。
2026-10-04 01:20:11 +08:00
huangzd1997 ea1b1909b2 feat(日志管理): 列表改按上报用户精确筛选,去掉设备/文件名模糊搜索与设备列
- /api/admin/device-logs/files 的 keyword LIKE 换成 uid 等值过滤:device_log_file 只有 uid 没有
  username,模糊匹配设备名会跨用户串结果,而下拉里选中的用户必须是精确命中。
- 采集配置弹窗的 keyword(终端覆盖搜索)与查看器标题里的设备名保留:那是设备维度唯一还有用的地方。
- 新增护栏 tests/device-logs-user-filter.test.ts(5 例,变异自证 5/5 转红):表头回出现「设备」、
  占位行 colspan 与列数不符、接口带回 keyword、下拉没绑上、用户选项没在 onMounted 加载,都会红。
- 上一笔提交里 DeviceLogsPage 已按 uid 传参,本笔补齐 api 层与后端,故单独 checkout 上一笔时 vue-tsc 不过。
2026-10-04 01:19:55 +08:00
huangzd1997 e1f1aa8b16 feat(看板): 客户端任务管理从设备维度改为店铺维度全局在跑看板
原「在线设备」卡按日志上报窗口统计,把 89 台算成在线,与实际在跑的客户端数差一个
量级,且设备维度并不能回答"哪台机器上有任务卡住"。改为:

- 汇总卡:总店铺 / 在跑店铺 / 进行中任务 / 今日完成 / 疑似卡住
- 新增「在跑店铺看板」:当前所有进行中任务按店铺归组(在跑数、卡住数、业务分布、
  最近上报),点店铺行下筛该店铺任务;不落店铺的任务归「不挂店铺」桶
- 卡片与面板同源(同一个 aggregateShops),杜绝口径分裂
- 店铺只认两个真来源:上架结果文件 + 逐店落行的结果文件名;
  biz_task_progress_snapshot.current_scope_key 是实例锁不是店铺,已从口径中剔除
- 设备号退为详情附注,花名册 /devices 与在线判定整条链删除
- 上报口径只留一个 10 分钟窗口(进行中且超 10 分钟无上报 = 疑似卡住)

后端 3487 例全绿;新增反射护栏断言设备维度查询与快照当店铺的来源已彻底移除。
2026-10-03 22:41:29 +08:00
huangzd1997 e3541a7aa7 fix(客户端凭据): 模块包名 modules.client → modules.clientcredential,避让架构护栏
ArchitectureBoundaryTest.controllersDoNotDependOnExternalClient 用 `..client..` 圈定
「外部系统 Client 细节(ZiniaoClient/LLM Client 等)不得被 Controller 直接依赖」;
本模块是"桌面客户端凭据"的领域包,名字撞上该模式后规则把 Controller 依赖自身 VO 也
判成违规(7 处)。让位的是包名而不是护栏:护栏保持零豁免,领域名改为 clientcredential。
2026-10-03 16:59:54 +08:00
huangzd1997 56ac8f635e feat(客户端凭据): 新增 /api/client/credentials 下发口,客户端不再随包携带凭据
4.0.43 客户端因 exe 内置默认值被清空而断供(zn_password/mysql_password/
internal_token 三把同时缺)。这三把不再进客户端静态副本,改为登录态按需领取:

- ClientCredentialProperties(aiimage.client-credentials.*)+ PropertiesConfig 注册;
- GET /api/client/credentials:requireUser(JWT),返回 internalToken + 紫鸟账号 +
  mysqlPassword;服务端未配紫鸟账号时显式 500 并点名配置项,不返回空值让客户端猜;
- AdminAuthSupport.currentInternalToken():下发的必须是当前值(不含过渡期旧值);
- /api/admin/shop-manages/credential 放行登录态通道(令牌通道原样保留,存量客户端不受影响)。

本批无数据库迁移;单测 ClientCredentialControllerTest(6) + ShopManageCredentialAuthTest(3)。
2026-10-03 16:47:20 +08:00
huangzd1997 4b7405895d feat(更新链路): web_config 加 sha256(V142),/api/version/latest 回带包摘要
客户端自更新过去只验 zip 结构:桶里的包被换掉时,结构完整的恶意 zip 会直接交给
update.exe 解压执行。摘要必须由服务端给出才与下载来源无关——能替换对象的人替换不了这个接口。

- V142 加 sha256 列(可空、不回填历史行,列缺失时客户端行为不变);
- /latest、公开列表、后台上传响应都回带摘要;multipart 上传按真正落盘的字节算;
- 直传确认路径不重算摘要(那要把 100MB 对象拉回来),这类行留空由发布脚本回填。

盘点文档同步:V1..V142、141 个文件、后续从 V143 取号。
2026-10-03 15:41:49 +08:00
huangzd1997 37592a3b62 perf(代码审查落地): 后端 A1-A8 与前端 C1-C8 加固,retention 清理补索引(V141)
A 组(backend-java):
- A1 载荷引用计数不再无条件回落全表 COUNT
- A2 结果行读取由 LIMIT 1 改整页
- A3 ziniao 索引缓存过期判断下推 SQL
- A4 循环子任务认领改 CAS,失败一律抛
- A5 建单事务里不碰外部 IO
- A6 连接池补网络层超时(connectTimeout/socketTimeout,env 可覆盖)
- A7 日志留现场 + 异步落盘
- A8 其余:货源图片预取、结果工作簿装配等
- V141:三条 retention DELETE 的可用索引,其中 biz_price_track_loop_run
  用 STORED 生成列承载 COALESCE 时间线(该表实测 881 行/17MB,COPY 秒级)

C 组(frontend-vue):URL 取值走 safe-url、行号取值走 row-id、
交付视频任务状态抽成 delivery-video-task-state.ts,各补用例。
2026-10-03 12:24:16 +08:00
huangzd1997 fd9aa2caa5 test(安全): 内部令牌判据收口为单点,补结构护栏用例
- 新增 InternalTokenSingleOutletTest:5 例,检查全仓唯一比较点仍是
  AdminAuthSupport、读头位置全部委派、过渡期属性与 yml 键仍存在
- 自带防恒绿自检(读取点少于 6 处即判扫描失效)
2026-10-03 03:22:40 +08:00
huangzd1997 4f03ea1808 feat(安全): 内部令牌支持过渡期新旧两把并行接受
换 AIIMAGE_INTERNAL_TOKEN 会让没升级的老客户端立刻全部失败(这把令牌有 4 个客户端字面量
点位并已分发到用户机器)。照仓内 shop-credential-key-previous 的惯例加 internal-token-previous:
逗号分隔的旧值与当前值并入同一接受集合,置空即关窗。

原先 8 处各自持有 @Value 字段并重复实现比较,其中 2 处用的是 equals 而非常量时间比较;
判断收进 AdminAuthSupport.isTrustedSuppliedToken 一处,controller 改为委派。
2026-10-03 01:49:13 +08:00
huangzd1997 005cda9379 feat(采集数据): 品牌检测失败自动补测队列,限流窗口后自动重查并补结果(V140)
WIPO 限流窗口内 queryFailed 的品牌按任务排队(biz_collectdata_brand_recheck,同任务同品牌幂等),Scheduler 按指数退避自动补测:补出无侵权→行补进结果文件,判出侵权→落无效品牌表,连续耗尽→EXHAUSTED 并通知。只存品牌不存行,注入按 payload_hash 幂等。
2026-10-03 00:22:07 +08:00
huangzd1997 68b19f22b3 perf(货源): 分类匹配批量分块,类目树文本整批只随一次请求发送
分类判定按 llmCategoryBatchSize(默认10)分块、每块一次 LLM 调用:formatTwoLevels 的两层类目树此前随每行请求重复发送,是分类链路最大的 token 开销(10 行/块省约九成)。块内缺编号/坏编号的行、整块调用失败的行回退逐行单调用,行级失败语义不变。env: AIIMAGE_SIMILAR_ASIN_LLM_CATEGORY_BATCH_SIZE,设 0/1 回退旧行为。
2026-10-02 23:41:28 +08:00
huangzd1997 a83f7f51bd perf(货源): 分片载荷判空与建行图共用一次 GET,merge 与候选收集各省一遍对象存储读取 2026-10-02 13:13:13 +08:00
huangzd1997 8812a3b64a feat(安全): 店铺凭据解密支持历史密钥,为轮换留出双密钥窗口
换 shop-credential-key 会让 435 行历史密文全部解不开,而调用方拿到解不开的串
是当明文口令往外发(紫鸟账号、1688 店铺、第三方 api_key 都这样用)。
现在新增 aiimage.security.shop-credential-key-previous(逗号分隔),解密按
当前→历史的顺序回试,加密只用当前密钥;全部不中时 WARN 写明"这串密文会被
当成明文口令发出去",不再静默回退。与当前密钥相同的历史项自动丢弃。
previous 留空时行为与改动前逐字节一致(6 例单测盯着这一条)。
轮换设计与取证见 docs/ops/credential-rotation-design-2026-10-02.md(只含长度与
sha8 指纹,无明文值);轮换本身与存量重加密脚本仍未做。
2026-10-02 11:01:18 +08:00
huangzd1997 b728bb3f4d perf(外观专利): LLM 批循环按 payload_hash 复用分片行索引,不再每批重读对象存储
一次 submitLlmBatches 有 N 批,每批落库前都要知道「哪些行属于哪个分片」,此前这份索引
是每批现做:把该任务全部分片的载荷重读重解析一遍,读的量是 (批数+1)×分片数,全在 LLM
请求的串行路径上。改成收集候选那一遍就把行键记进一次性的索引,后续批次只对 payload_hash
变过的分片重读;载荷哈希与载荷内容在所有写入点都是同一条 UPDATE 落的,可作新鲜度锚。

落库路径一行未改:mergeChunkPayload 仍自己 selectOne + 重读最新载荷再做 CAS,索引只用于
「行属于哪一片」的匹配,不作为合并基底。

测试 AppearancePatentChunkRowIndexTest 三例,逐个做过变异验证:去掉哈希比较只咬住
「变过必须重读」,命中缓存返回空集只咬住「复用后行仍要匹配得上分片」;
全量 3413 例通过。
2026-10-02 10:35:23 +08:00
huangzd1997 87a306458c fix(货源): 品牌检测部分结果文案只写可观测事实,不再指认猜测的故障原因
通知里那句「(品牌检测服务超时或被限流)」是本层代码推断出来的,真实原因
只有 BrandCheckClient 的 brand-check warn 日志知道(本轮实际是代理取不到 IP)。
把猜测写进用户通知,会把排查方向从「代理/账号余额」带到「品牌服务」上去。
新增 CollectDataPartialResultNoticeTest 3 例:驱动真 processResultFileJob,
断言文案含可核对的语义、不含「超时/限流」,且任务已被判失败时不推这条。
2026-10-02 10:35:17 +08:00
huangzd1997 0fd0ee17ee fix(通知): 聚合去重键从小时桶改自然日,刷新不再把已读点亮回未读
后台「通知」被刷屏的两个乘数:一条告警一天最多重发 24 次(小时桶换键),
以及刷新时 set read_at=null 把用户已读过的红点重新点亮。现在 task_failed /
service_down / maixiang_anomaly 五类键统一按「用户×模块×自然日」聚合,
pushOrRefresh 只更新文案不动 read_at;桶的日期取事件自身的 updatedAt,
跨零点轮询不会把昨天的失败挪进今天的桶。
2026-10-02 10:35:06 +08:00
huangzd1997 7772854352 fix(货源): LLM 密钥去掉平台公费兜底,任务没带自己的密钥就不检而不代付
`llm-api-key` 这条回落链(配置 → 公费 key)此前是账目对不上的一个来源:用户没配密钥时
货源任务照样跑完 LLM,花费记在平台头上。现在只认任务自带的 api_key,为空即跳过检测、
保留原始行。两台线上都未设置 AIIMAGE_SIMILAR_ASIN_LLM_API_KEY,本批发布对现网行为零变化。
2026-10-02 09:21:40 +08:00
huangzd1997 a4391de6fa perf(用户密钥): 探测与告警按密钥值收敛,共用同一把 key 的账号不再各付一次提取费
实测 314 条配置只有 33 种密钥(一把平均挂 9.5 个账号):定时巡检按「模块+密文」分组后一轮只
真实探测一次;后台「立即检测该用户」的 90s 新鲜期缓存键去掉 uid、改为按密钥值指纹共享,
管理员连点 N 个共用 key 的账号只付 1 次费。管理员侧告警按密钥组合并成一条(受众仍按数据权限
过滤,正文不列 uid——同 key 账号常分属不同主管),单账号组保持原文案与原去重键。
2026-10-02 09:21:25 +08:00
huangzd1997 5ad0f5f685 fix(任务判死): 外观/货源判死文案按证据陈述,不再断言 Python 中断
2026-10-01 三条外观任务被心跳判死时一行业务结果都没回传过(Linux worker 一次领 5 条却只有
2 个采集槽,多出来的任务零心跳零分片直到钟面走完),而文案固定写 "Python interrupted before
uploading final result",把「没开跑」说成「跑挂了」,排查方向被带偏过一次。现在按已落库分片数、
最后回传/心跳时间、客户端最后一次上报的位置分述;结果文件作业重试耗尽也不再写成客户端中断。
2026-10-02 09:21:11 +08:00
huangzd1997 fa4bd57016 refactor: 第二批收敛——公共 Excel 写出器 + 任务收尾零件下沉 + 前端上传区/任务面板抽取 2026-10-01 15:00:52 +08:00
huangzd1997 4b29a150f3 refactor: 第一批低风险收敛——任务缓存服务泛型化 + 前端死代码清理与状态映射统一 2026-10-01 14:05:30 +08:00
huangzd1997 f05960659f feat(模型): 密钥检测模型也切换至 gemini-3.1-flash-lite-preview-thinking-medium,弃用 doubao
- aiimage.user-secret.check-model 默认值由 doubao-seed-2-0-lite-260215 改为
  gemini-3.1-flash-lite-preview-thinking-medium(application.yml 与 Properties 同步)
- 检测与业务同款模型:同为便宜档,且"密钥能过但目标模型在中继不可路由"能在巡检时更早暴露
- 已实测核实生产两节点容器无任何 MODEL 环境变量覆盖(docker exec java-server env),
  改默认值即生效;密钥检测每日 04:30 巡检,部署次日见新模型

测试:UserApiSecretCheckServiceTest 23 例全绿。
2026-10-01 12:23:59 +08:00
huangzd1997 19fbc0c9bd feat(模型): 外观专利 / 货源查询切换至 gemini-3.1-flash-lite-preview-thinking-medium
两个模块 5 个模型开关统一替换(原 gemini-3.8-flash):
- 外观专利:商标提取(title-model)、外观检测(appearance-model)
- 货源查询:类目匹配、合规检查、图片对比(llm-category / conform / image-compare-model)

application.yml 默认值、Properties 类默认值、本地配置样例、测试断言与网关探测脚本
一并同步。生产两节点无环境变量覆盖,走 yml 默认值,随下次 JAR 部署生效。

测试:AppearancePatentLlmClientHttpTest 16 例全绿。
2026-10-01 12:19:13 +08:00
huangzd1997 629fdfab79 feat(ASIN缓存): 新增 ASIN 采集结果跨任务缓存(asincache 模块 + V139)
同一个 (国家, ASIN) 的详情页被反复重采:单任务内 62.9 倍重复(43,504 行只有 692 个
不同 ASIN)、8 天跨任务 6.7 万行重复(2026-10-01 实测),每条重复都意味着重开一次页、
可能重买一次代理 IP。关键词链与变体链的结果分别落在两处互相看不见,只有 Java 侧能同时
收到两条链的结论,所以缓存放服务端、由服务端判新鲜度。

- 新表 biz_asin_result_cache(V139):一个 (国家, ASIN) 一行,重采覆盖;只收两种可复用
  结论 —— OK(页面正常且有价格,复用 60 分钟)、NOT_FOUND(详情页 404,复用 7 天);
  空价 / 风控拦截页 / 采集异常一律不入库,避免把瞬时故障锁成永久结论
- 新鲜度只在服务端判(按 observed_at 真正开页时间);采集端拿不到 / 看不懂一律照常开页
  (fail-open),任何情况下不许让缓存导致漏行、错行
- 新增内部接口 /api/internal/asin-cache/query|write(X-Internal-Token 自校验,与
  InternalBrandTaskController 同口径),供采集端开页前先问、采完回写
- 关键词采集链在任务锁外旁路写入:缓存写失败的代价只是"下次多开一次页",只记 warn,
  不影响 chunk 提交
- migration-inventory.md 快照更新至 V139,「V137 冗余索引 DROP」待办顺延 V140

测试:AsinResultCacheServiceTest(13)/ InternalAsinCacheControllerTest(5)/ 采集链
4 个测试类(35)共 53 例全绿。
2026-10-01 12:19:05 +08:00
huangzd1997 40df9319cd 品牌任务判死文案不再提「前端」,带真实超时分钟数
「前端长时间无响应,任务已自动失败」是 Flask 时代遗留文案(任务心跳
早已由服务端记录),对用户误导大;改为「任务超时(N 分钟无进度上报),
已自动失败」,N 取 brandProgressProperties 配置(默认 30)。
2026-09-30 15:35:56 +08:00
huangzd1997 943cf2d622 移除外观专利转 Linux 后台后的废弃代码
- Java:删除无调用方的 parsed-payload/queue-payload/parsed-groups 三个 HTTP 端点、service 的 parsedPayload/parsedGroupPage 方法与 AppearancePatentParsedGroupPageDto;service.queuePayload 保留(内部认领 SPI 仍在用)
- 前端:删除 getAppearancePatentParsedPayload/getAppearancePatentQueuePayload/activateAppearancePatentTask 封装与 endpoints 条目、ParsedPayloadDto 类型,以及外观专利页永远为空的 queuePayloadText 模板/声明/清零/样式
2026-09-30 13:54:46 +08:00
huangzd1997 f4be12c5f9 外观专利转 Linux 后台主力执行:activate 不再推送客户端浏览器
- activateTask 改为状态校验:PENDING 保持等 Linux 内部认领,旧前端点启动给出明确提示并中止入队,任务不会重复执行
- 内部认领新增独立等待窗口 internal-min-pending-minutes(默认2分钟),任务创建后快速自动开始
- 客户端兜底拉取默认白名单移除 APPEARANCE_PATENT,防止未来误开时客户端抢抓
- 前端「启动」按钮改「提交后台执行」:不再 enqueue_json 推客户端队列,直接进入轮询
2026-09-30 13:41:26 +08:00
huangzd1997 27a7cd0f82 fix(任务兜底拉取): 认领转交 owner_instance_id 且归属校验改读列 —— 认领在 server-121 而任务 parse 落 server-110 时, 组装载荷被归属校验拒绝并误标失败; resultJson 里的 ownerInstanceId 只是 parse 快照, 转交后不同步 2026-09-30 12:14:54 +08:00
huangzd1997 279c1641ea fix(任务兜底拉取): 候选 cutoff 显式用北京时间 —— 容器默认 UTC, LocalDateTime.now() 与 DB 北京时间字面值比较错位 8 小时, 候选查询恒空(内部认领上线实测踩中) 2026-09-30 11:40:00 +08:00
huangzd1997 881d35acfa fix(任务终态): 店铺级部分失败不再静默SUCCESS——四模块按失败原因如实标FAILED
- ProductRiskTaskService: 新增结果组装守卫(isResultAwaitingFileAssembly),部分店铺失败→FAILED; 补ProductRiskTaskServiceTest
- PriceTrackTaskService: 部分店铺失败→FAILED
- DeleteBrandRunService: failedCount>0→FAILED(不再"有成功就算成功"),预览行与计数反映组装终态
- ShopMatchTaskService: 同模式
2026-09-30 11:07:45 +08:00
huangzd1997 c0492f7c86 feat(任务兜底拉取): 新增服务端内部认领端点 /api/internal/tasks/pull-pending —— Linux 后台 worker 专用(X-Internal-Token), 不限用户认领长期 PENDING 任务, 独立开关 internal-enabled 与客户端兜底解耦; 外观专利详情页抓取迁 Linux 前置 2026-09-30 11:00:34 +08:00
huangzd1997 76954280b1 feat(通知): 新增「采集机掉线」告警,并把队列积压判据改成「有活没人干」
背景(2026-09-29):麦象采集机 15:19 起整机停摆 6 小时(5 个 worker 全没,机器
无开机自启),现有告警完全没发现 —— 五类检查全靠「任务 update_time 不新鲜」间接
推断,一次停摆被摊成几十条"任务失败";队列积压又卡在 pending≥300 的阈值上
(当时停在 210),用户看到的是大面积业务失败,误导排查方向。

- 新增第 6 项检查「采集机掉线」:读 18960 新接口 /api/console/workers 的
  machineIdleSeconds(采集端打点,见 maixiang_run_task 同批提交),超阈值(默认 10
  分钟)推一条管理员告警,文案含逐信号静默时长便于定位。
  * 按**机器级**判活而不是逐 worker:变体采集领到长任务后不再调 /batch/task/get,
    逐 worker 判会在长任务正常运行时误报「vc 掉线」(实测踩到)。
  * machineIdleSeconds=null(从未上报)视为未知并跳过,避免刚上线误报一次。
- 队列积压判据改为 pending≥阈值 **且 processing=0**,阈值默认 300→100:
  只看 pending 两边都不讨好(低了误报"一时来不及",高了真出事也不报)。
  单 worker 死掉(机器还活着)由这条覆盖。
- 配置:新增 AIIMAGE_NOTIFICATION_MAIXIANG_SILENT_MINUTES(默认 10)。
2026-09-29 21:45:16 +08:00
huangzd1997 ac8b34afcc docs(运维): §十九/§二十 发版记录(看板 c6ee759d)与 SQL 空跑发现的 collation 热修(8c9141d6 待发布)
§十九 记录 Java 双机 + 麦象接口 + admin-vue 三处同批上线与回读口径;
§二十 记录把 21 条 @Select 渲染进生产库只读空跑发现设备页 3 条语句 ERROR 1271、
修复与验证数字、以及"授权菜单前必须先发热修"的顺序约束。
顺带把盘点里的取号提示 V138 → V139。
2026-09-29 00:22:13 +08:00
huangzd1997 8c9141d661 fix(taskcenter): 设备花名册 UNION 显式统一 device_id 排序规则
device_log_file.device_id 是 utf8mb4_0900_ai_ci,两张任务表是 utf8mb4_general_ci,
三个 UNION 分支混排规则在运行期直接报 ERROR 1271(生产库空跑 21 条语句时发现,
设备页 4 条 SQL 全挂)。日志侧显式 COLLATE utf8mb4_general_ci 归一,并加回归测试钉住。
2026-09-29 00:14:11 +08:00
huangzd1997 4f414b46e6 feat(taskcenter): 变体采集接口(麦象代理,多 uid + res_mes) 2026-09-28 23:22:41 +08:00