Commit Graph

117 Commits

Author SHA1 Message Date
huangzd1997 ba20f5ed42 feat(workbench-client): 新增数富AI工作台客户端包管理独立更新渠道
后台上传安装包,confirm 阶段由服务端从 MinIO 实物流式复算 sha256 后落库,
客户端经 /api/workbench-client/version/latest 自动检查更新;与 ShuFuAI 桌面端
的 nanri-image/versions/ 渠道隔离,包体落 client 桶 workbench-client/versions/。
2026-10-24 12:49:51 +08:00
huangzd1997 9c4905c94e feat(cost-guard): 代理/LLM 损耗监控与账号级任务暂停
- 每分钟扫描用量增量/日累计,异常置暂停闸并推站内通知
- 品牌补测、跟价派发、外观激活、品牌检测与两个 LLM 客户端统一接闸
- 同一代理/LLM 密钥被 3 个以上账号共用时给出用户提示
- 品牌检测出口拒绝批级熔断;LLM 同 key 共享并发/间隔/429 惩罚
- V170 新增 biz_user_task_guard
2026-10-24 10:50:20 +08:00
huangzd1997 68ec48b573 revert(permission): V166 删除品牌Gating库菜单行与授权
V164 落库的 admin_brand_gating 菜单与全部直授由新迁移摘除;V164 文件保留
(Flyway validate-on-migrate 要求已应用迁移可解析)。种子默认项同步去掉,
避免 permission-schema-init 打开时把该菜单重新种回来。
2026-10-24 09:20:36 +08:00
huangzd1997 4a97725e2a revert(permission): V165 删除常用工具菜单行与授权
回滚 V163 落库的 brand_common_tools 组与三个工具子菜单、全部账号直授;
V163 文件保留(Flyway validate 要求已应用迁移可解析),种子默认项同步移除。
2026-10-24 01:43:49 +08:00
huangzd1997 6d9d4b98b2 feat(permission): 常用工具与品牌Gating库菜单权限落库
- V163:APP 一级分组 brand_common_tools(105,排前端工具之前)+三工具子菜单
  pricing-calc / five-asin / keyword-share,按公司复制树,全量账号默认授组行
  (读侧展开子孙,管理员可收组、可按工具单独授)
- V164:admin 菜单 admin_brand_gating(admin_group_data 组,sort 36),
  按公司复制树,不预授(管理员在菜单权限配置自行分配)
- PermissionMenuSchemaInitializer 两处默认种子同步登记
2026-10-23 21:54:39 +08:00
huangzd1997 d268ecdf6b feat(通知): task_failed 带 ref_json 定位锚点,明细可点直达任务详情
用户原话「都没体现哪个任务id/店铺/用户,咋排查」:通知表只有 title/content,
失败任务又按「用户×模块×自然日」聚合成一条,明细被 5 个 taskNo 预览 + 512 字截断吃掉。

- V162 给 biz_user_notification 加 ref_json(TEXT,可重跑迁移,存量不回填)
- 扫描器把桶内每个失败任务写成锚点(taskId/taskNo/moduleType/reason/updatedAt/
  deviceId),上限 20 条;品牌任务无 task_no 用 #<id> 兜底,保证至少一条可定位
- 详情接口回传 refs;同键刷新时锚点变化也更新,且不重新点亮已读
- 后台铃铛「展开明细」渲染成可点行,跳任务中心 ?taskNo= 自动开详情抽屉
- 新增判据 taskFailedAdminNotificationCarriesUidAndTaskNoAnchor:管理端正文必须含
  uid、每个桶的 ref_json 至少一条非空 taskNo
2026-10-22 10:28:12 +08:00
huangzd1997 86d78160fd feat(通知): 四级严重度与严重度/时间双排序,客户端与后台管理同步
通知表新增 severity(紧急/高危/中危/低危,V161),由 scene + level 推导且
不回改 level:老客户端配色不受影响,secret_balance 的余量偏低与欠费也能分档。
列表与聚合接口默认按严重度倒序(同档按时间倒序),sort=time 切纯时间排序;
聚合组取组内最高严重度。两端铃铛加彩色等级标签与排序切换,展开明细沿用
同一排序,严重度排序下隐藏会跨天误导的日期头。
2026-10-21 13:33:07 +08:00
huangzd1997 f6aa04d0f2 feat(代理): 多套餐余量预警与用户级 jikip 套餐配置
平台自费池由单个 planId/userId 改为 planId:userId 列表逐套餐探测,
套餐余量或账户余额低于阈值时推管理员预警;用户可在密钥设置里为自己
配置多个套餐,巡检跟随密钥检查按用户查余量并推站内通知,欠费状态在
客户端右上角常驻提示(V160 新建用户级套餐表)。

同时把测试里写死的真实代理 key 换成占位串,避免凭证随仓库扩散。
2026-10-21 13:32:56 +08:00
huangzd1997 8a20f85ca6 feat(跟价多状态): 全量跟价支持勾选多个商品状态,取值以派发落库值为准
原来「按商品状态(全量)」写死在售。现在用户端可勾选 在售/缺少的报价/定价问题
(默认只勾在售),勾几个跑几个,状态清单随循环任务落库并在每次派发子任务时下发。

- 载荷的 mode 与状态清单都取派发上下文(childTaskRequest),不再读界面当前勾选:
  循环跑到第 N 轮时用户可能已经改过勾选,用界面值会把没勾的状态跑出去。
- listingStatuses 白名单 Active/PricingIssue/MissingOffer 三值,校验放在 try 之外——
  try 里的 catch 会把「不支持的商品状态」改写成「循环任务序列化失败」,那是句假话。
- V159 给 biz_price_track_loop_run 加 listing_statuses_json(可空=本特性之前的行=在售)。
- 状态标识用我们自己的键 MissingOffer,页面真实取值是 OfferMissing(2026-10-17 黄建新
  英国站真机实锤),两者不同形是有意的:改键名会断载荷兼容。
2026-10-17 00:07:31 +08:00
huangzd1997 785dbb7c2d 瘦身 P2-5: 删掉 db/ 里那支从不被 Flyway 执行也从不落库的种子脚本
insert_digital_human_initial_version.sql(faf89e85 2026-06-14 带进来)命名不匹配 V<n>__*,
Flyway 看不见它,却会随 jar 发到 BOOT-INF/classes/db/。10-15 只读取证定性:
  1) 它要插的那行(version=1.0.0 / oss_object_key=ShuFuDigitalHuman.zip)在生产是 0 行,
     biz_digital_human_version 现有 id=2/1.0.1 与 id=6/1.0.2 两行 —— 补种早已无意义;
  2) 它第二句 INSERT 点名的 biz_permission_menu 表在生产 schema 里不存在(1146),
     文件自己的注释就写着"需要根据实际表结构调整",即从没跑通过;
  3) flyway_schema_history 最大已应用版本 158、成功 68 支、159/160 空闲 —— 也没有"待认领的号"。
所以按"删"而不是"补编号"结案:补 V159 会让下一次启动真去插一行重复的 1.0.0。
文件在重写后的历史里仍可按 HEAD~ 取回(不是唯一副本)。
2026-10-15 15:14:42 +08:00
huangzd1997 5d2a1c6974 feat(通知): 列表按 场景×自然日×主体用户 聚合成两级,红点按组数亮而明细条数同屏;后管日期面板不再被弹窗压住
V158 给 biz_user_notification 加 subject_user_id(事件主体用户,与收件人 user_id 分家):
一行通知是给某个收件人看的,被通知的那个 uid 原先只活在文案字符串里,没有列就没法按用户成组,
也不肯用正则去解历史文案凑分组键。存量不回填(定案)⇒ 老行 subject_user_id 为 NULL,自成「未标注主体」一组。
写入侧 pushOrRefresh 第 8 参带主体,AUDIENCE_USER 时主体=收件人(故新增 7 参便捷档,68 处调用一行没改);
pushToAdminsAnyOf 传 null 并注明理由:一把密钥被 N 个账号共用,不挑一个 uid 冒充。

新增 GET /api/notifications/groups 与 /api/admin/notifications/groups:Java 侧分组(复用 baseWrapper 一份筛选实现),
分页按组切,同屏返回 total=组数 与 rowCount=明细条数;unreadGroupCount 走
COUNT(DISTINCT scene, DATE(created_at), IFNULL(subject_user_id,-1)) —— IFNULL 不能省,
MySQL 的 COUNT(DISTINCT a,b,c) 会跳过任一表达式为 NULL 的行,不兜就把存量那一组整个数没。
红点是新增 unreadGroupCount 而不动 unreadCount 语义:已装机老客户端读 unreadCount 画徽标,
换语义会让老客户端出现「红点 3、列表 217 条」对不上。

铃铛两级(后管+桌面各一份):聚合行点击只展开、不替用户标已读,已读必须进明细逐条点;
明细一次最多 50 条,超出显示「另有 N 条未列出」;下钻带 scene+day+subjectUserId(主体为空改下发
subjectUnlabelled 旗标走 IS NULL),少一维就会把同场景同天别主体的行混进这一组的明细——桌面端最初就漏了这一维。
死码随两级视图退场:groupNotificationsByDay/NotificationDayGroup 删掉,用例换成 formatDayLabel/notificationGroupKey/formatGroupCounts。

后管日期选择面板 z-index 抬到 3300(面板 3200)之上:Element 弹层只自 2000 起递增,不抬就被面板压住,表现为「日期点不动」。
playwright 加 E2E_PORT+strictPort:实测 5174/5176 被别的项目的 vite 占着,reuseExistingServer 让 e2e 连上别人的应用,
当时 5 条全红是端口归属问题而不是回归。

验证=后端通知面 66/66(-Dtest='Notification*' 63 + AdminNotificationControllerTest 3)BUILD SUCCESS;
后管 node --test 1819/1819、真浏览器 e2e 10/10(含遮挡与「展开只取本组」);
桌面 node --test 834/834、组件挂载 vitest 8/8;两前端 vue-tsc --noEmit rc=0;ops 值班侧 18/18。
记账三处=后管 source-pin 逐文件基线 notification-bell.test.ts 用例 6→7(该文件钉子仍 0,占比不动);
桌面 catch 棘轮 blocks 298→299(新增那支是 toggleGroup 明细失败写进面板 loadError,非静默,silent 84 一格没涨);
桌面 endpoints 台账补 /api/notifications/groups。
变异自证 7 条全 KILLED:红点按条数/组内没读完就减组数/聚合行直接标已读/明细截断不报数/下钻丢主体/
丢 IS NULL 旗标/null 主体当值下发。其中「组内没读完就减组数」第一轮 SURVIVED——用例只钉了徽标,
而徽标在 unreadGroupCount 归零时会退回条数兜底,把这条回归盖住了;改成同时钉「N 组未读」chip 才杀掉。

已知盲区(下次补,别当已验):①桌面两级只在 happy-dom 跑过真组件,布局与层级没在真浏览器点过
(桌面日期弹层的层级修复本就在 HEAD 里,不是这批引入);②后管 e2e 夹具没有 subjectUserId=null 的行,
「存量自成一组」在后管 UI 层没被点过,只有后端 WHERE 与桌面组件各一条用例钉着。
2026-10-13 08:34:18 +08:00
huangzd1997 b0829db81e 降本三条(10-11 现网取证):外观同请求图片去重 + 货源合规合批 + LLM token 计量落库
取证基线(库侧 biz_user_secret_usage_daily,10-01~10-11 实测 12,704 / 4,134 / 15,135 次):
外观 24h 全量 831 条请求逐条 json 解析,564 条带图共投 2,693 张、去重只剩 1,465 张
⇒ 45.6% 是同一张图在同一次请求里的副本;重试占比只有 0.24%(attempt 829/2/0),
所以省钱的口子在图片副本,不在重试。货源 4,134 次里 4,096 次集中在 10-10/10-11 两天,
类目已合批(10-02)而合规与图比仍逐行 ⇒ 合规是该模块最后一步逐行 LLM 调用。

1) 外观:每张不同的图只随请求发一份,正文附「图j=序号1、2…」对照表;每个序号仍各自
   出一份 status/reason(省副本,不省判定,与 10-10「同组兄弟行也要都检测」同口径)。
   归一化 URL 只当去重的键,发出去的还是行里那条原始串。应急回退:
   llm-appearance-batch-size=1 即退回逐行,无需改码。
2) 货源:新键 llm-conform-batch-size=10(设 1 退回逐行)。前置条件是分类预计算存在,
   否则整条不生效——避免同一行的类目被算两遍(两遍=多扣用户一次);缺编号行与整块
   失败都逐行补检,并有一支 A/B 差分管住合批与逐行写回行的三字段+状态相等。
3) V157 给 biz_user_secret_usage_daily 加 prompt_tokens/completion_tokens,两个 client 收下
   网关 usage。计次与 token 分两条语句:计次发生在发请求之前(含重试,请求没回来也算
   一次),token 只在响应回来后有读数;网关没回 usage 就一条不写——0 会被读成"实测为 0"。

护栏记账:新 mapper 语句 addTokens 两处一起点名(SqlLayeringConventionTest 分母 97→98 +
MigratedSqlEquivalenceTest.NOT_MIGRATED);批量路径的 catch 不新增一处——把分类那一路的
"整块失败→逐行补检"抽成 batchAttempt/fallbackSingleRows 共用,静默 catch 棘轮四格一格没放宽。
顺带修掉 AppearancePatentResultRowDto 上一句已经过期的 javadoc(还写着兄弟行复用代表行结论)。

证据:后端全量 4288 例 0 红(本批 +24 例:去重 7 / token 4 / 合规合批 7 / 用量服务 6)。
变异自证 3/3 全杀:取消去重、摘掉 usage 落库、断掉合规合批,分别让对应用例判红;
两个受试文件按注入前字节还原,sha 复算一致。
2026-10-11 23:52:19 +08:00
huangzd1997 7c6761bc74 收口(去重库读侧): 按行 company_id 认公司——代导入/上传者已删两族归位
控制方 2026-10-09 截图:admin 在「先锋」tab 代导入的行(company_id=3、
uploader=admin 属公司 1)在先锋 tab 看不见、反而出现在米椿花 tab。读侧
(列表/导出/公司超管)自 V145 起一直按"上传账号"认公司,与写侧(5ccf3c89
起一律显式落 company_id、V154 已摘 DEFAULT)两套口径打架;切换前先把存量
兜底行修对:V156 把组 33/uid=1188(「先锋」,账号已硬删)的 1452 行
company_id 1→3——否则切完它们整批冒给米椿花,且当前正参与米椿花的去重
比对(5ccf3c89 已按 company_id 收窄),先锋自己反而拿不到这批值。

- DataReadScope 新增第五道正门 superAdminScopedCompanyId:与
  superAdminScopedUserIds 同形"只对站点超管收窄",维度从上传账号集换成
  行 company_id;非超管恒 null(不叠那一刀,可见集仍锁在账号/分组上)
- Service applyCompanyScope 由 uploader_user_id IN (成员) 改 eq(company_id);
  company_super_admin 的 wholeCompany 分支同批切换(1206 从此看得到代导入
  行与上传者已删行,例:admin 代导入 14 行 + 组 33 历史 1452 行)
- G2 护栏加第五道门 + 正/负三枚探针;单测新增四条(超管切公司、公司超管
  全公司、门非超管恒 null、service 层 wrapper 两面)

DedupeTotalDataController 的换门接线已随 2a4d15b8(文案批)入库。
影响面(生产只读实查):切后米椿花 tab −14 行、先锋 tab +14+1452 行;
公司超管仅 1206 一个账号。全量 4209 测绿。
2026-10-09 19:48:11 +08:00
huangzd1997 49f786f30f feat(停用): V155 给 users 加 disabled_at——停用第一次有账号级载体
生产 users 只有 11 列、无任何状态列,expires_at 140 行全 NULL,所以停用既无字段可落、
也不能借 machine(那是测试号签名 + 互踢判定在用)。不复用 expires_at 塞哨兵:取消停用
会把收费到期日一起抹掉。两张 users 实体同批改,少一张就有一条鉴权路径读不到。

台账同步:文件数 153、范围 V1..V155、取号起点推到 V156
2026-10-09 14:30:57 +08:00
huangzd1997 1553635124 feat(多公司): V154 摘去重库 company_id 的 DEFAULT 1,前置是 Java 侧归属闸门
- 只读取证(scripts/_probe_dedupe_default.py,主机A):哨兵四张表里只剩这张带 DEFAULT 1;归属分布 1=546,344 / 3=8,125,无 0 无 NULL,孤儿归属 0 行;写侧显式落值那版上线后真实导入 29,555 行(10-07 09:48→10-08 23:57)⇒ V152 第 6 段"先修写侧、上线并验证真实导入"的前提成立
- 关键差异:本表批量导入是 INSERT IGNORE,在 STRICT_TRANS_TABLES 下省略该列不会 1364,而是落成隐式默认 0(不属于任何公司、对所有公司隐形)⇒ 顺序必须是先上 Java 闸门再让迁移生效,反过来会把"静默归第 1 家"换成"静默归 0 家"
- DedupeTotalDataService.requireCompanyAttribution 接在两条写通道(create / insertImportBatch)上;新用例 4 例含接线钉(按行首语句数调用点==2,避开 javadoc 同名提及那个坑),反证:摘掉一处调用 ⇒ 1 红 BUILD FAILURE
- 迁移只有一条 ALTER COLUMN ... DROP DEFAULT(纯元数据、瞬时、可重跑);禁 MODIFY COLUMN 重建表那条禁令沿用 V144/V150/V152;回滚补丁在 Flyway 扫描路径之外
2026-10-09 11:58:43 +08:00
huangzd1997 a24d7b9bac fix(客户10-08): 分组名收到同公司唯一、去重按分组写不再 403、登录态失效前端会真退出
付费客户「先锋-团队」一次报的四件事,根因各自独立,这一版一起收:

1) 去重数据汇总「新增导入」选自己公司的分组提交必 403。DedupeTotalDataService
   .resolveAccessScope 给 company_super_admin 时只开了 wholeCompany 那一支、groupIds
   留空集,而写侧闸门 resolveWritableGroup / ensureImportTaskAccess 只认 allUsers 与
   groupIds——读侧宽、写侧窄,表现就是「下拉选得到、提交就 403」,且 403 是 HTTP 状态
   不是中文文案,前端只能显示 Request failed with status code 403。改为同一口径把本公司的
   分组 id 一起带上(src/main/.../DedupeTotalDataService.java:86,104,112 + 注释)。

2) 「暂无分组」与「分组名称已存在」是同一行的两面:老「先锋」的组长 uid=1188 已被删,
   分组 id=33 成了孤儿行,仍占着全平台唯一的组名;而 list() 只按 created_by_id 筛,
   这一行被每一个公司的 tab 静默排除(生产 13 个分组里 2 个组长只落在旧列 user_id 上)。
   V153 给 biz_shop_manage_group 加 company_id(建组按组长定死、改名按组长当前公司纠回,
   顺手治「移人」造成的落值漂移),唯一键换成 uk_company_group_name(company_id, group_name),
   先 ADD 后 DROP。校验收窄到本公司,文案也从「分组名称已存在」改成「本公司内已存在同名分组」。
   MySQL 唯一索引里 NULL 互不相异 ⇒ 迁移上线后 (NULL,'先锋') 不挡 (3,'先锋'),
   客户当场就能建组,不需要先清那两行孤儿数据。

3) 删号/凭证过期后「软件还能用、没有强制退出」:前端 http 拦截器只认业务码 4011(互踢),
   JWT 过期或被拒返回的 401 一路静默,页面停在原处。新增 handleSessionExpired(),
   401 与「code/status=401」都清本地登录态并跳 /login?expired=1;匿名 401 不收口
   (那是常态噪声,且没登录态可清)。403 仍不触发下线——那是权限缺口,不能说成登录坏了。

4) 互踢(客户要「支持同时登录」)走配置不改码:AIIMAGE_AUTH_SINGLE_DEVICE_ENABLED=false,
   开关只有 3 个消费点、OFF 支已有用例钉着。这里只把公司超管的角色串收成
   DeviceSessionPolicy.COMPANY_SUPER_ADMIN,并记下它 src/main 仍有 22 处手抄比较
   (SuperAdminPredicateSingleOutletTest 那支绊线只管 super_admin,别以为它也在守这一串)。

⚠ 本提交带着并行会话 10-07 那批分组公司归属校验一起上线(ShopManageGroupService 的
ensureLeaderSharesOperatorCompany / resolveMembers 公司校验等,约 58 行):HEAD 里这个类
连 companyScope 字段都没有,我的写侧代码压在同一处,逐 hunk 拆不出「纯本批」的一版,
拆出来的也编不过。他那支 ShopManageGroupCompanyScopeTest(5 例)一并收了,否则这 58 行进仓
却没有用例。他的 ShopKey*/AdminUserService/admin-frontend-vue 账号页那批一个字没动,仍在
工作树里等他自己发。

验证:mvn -o clean test 全量在 detached worktree(HEAD + 本批白名单)跑;定向 8 支类 61 例 0 红;
shopkey+dedupe 整包 130 例 0 红;本批判据变异自证 6/6 被杀(每轮还原后与注入前哈希逐字节一致);
前端 node --test 21 例 0 红、变异 3/3。回滚:jar 单独回退即可,V153 的手术式回滚见
backend-java/docs/rollback-V153-shop-manage-group-company-id.sql(不要 DROP COLUMN,它是资产)。
2026-10-08 19:04:51 +08:00
huangzd1997 2b7c377e7e fix(多租户): V152 摘 columns/biz_shop_key 的 company_id 列默认值,去重库写侧显式带归属
- V152:两条裸 ALTER COLUMN DROP DEFAULT(纯元数据、可重跑)。依据 V150 §6「合并成一版」
  与 migration-inventory 取号;前提=V149/150/151 已于 10-06 17:32:29 落库、写侧三条通道
  (PermissionMenuService create/copyTreeFromTemplate、ShopKeyService)均显式落列。
- 去重库:DedupeTotalDataMapper/Entity/Service 的 INSERT 显式写 company_id,不再靠列
  DEFAULT 1 兜底(第二家公司开通后静默归错)。biz_dedupe_total_data 的 DEFAULT 摘除排在
  本批上线并验证写入之后,不在本版。
- CompanyDefaultDropV152Test 9 例(含 V149/150/151 已应用字节的 CRC 冻结)+ dedupe 两支测试
  + rollback-V152 人工补丁(默认档可直接执行)+ 盘点文档同步(取号起点改 V153)。
2026-10-07 04:26:43 +08:00
huangzd1997 b7acfc0eef feat(菜单权限): 每家公司一套菜单树(V149)+ 公司 tab 只在注册表页渲染
本批两件事,加上随本批一起入仓的并行会话在制品:

一、菜单权限按公司隔离(批次 6)
- V149 给 columns 加 company_id:先可空加列(末位、ALGORITHM=INSTANT)→ 回填公司 1 →
  MODIFY 收紧 NOT NULL;三段式缺一即撞 1048。同时建 (company_id, column_key) 复合键、
  把公司 2 的 16 笔授权按 column_key 改指向它自己的副本,三类 menu_type 全复制,
  admin_companies 作为角色内生闸门行不复制(D3)。
- 第三道归属门 PermissionMenuService.resolveScopeCompanyId:站点超管可带 company_id
  读写任意公司,非超管锁本公司、越界 403。它注册进 CompanyIdParamGoesThroughReadScopeTest
  的 SCOPE_DOORS,四条判据与 readScope / readCompanyIdOrOwn 共用——护栏在代码出口,不靠清单。
- 旁路种子 PermissionMenuSchemaInitializer 只种公司 1:31 段种子逐条钉公司,
  按 column_key 点查的 14 段全部带 company_id,否则摘了 DEFAULT 就是跨公司串写。
- CompanyService.create 同一次写入里给新公司复制模板树(D4)。

二、公司 tab 收口(批次 b)
tab 条挂在壳层,对 22 页全画;改为按正列表 companyTabAppliesTo(menuKey) 判定,
只有注册表页渲染。护栏钉在用户看见的那个出口。

三、并行会话在制品(控制方「全部提交」,未单独拆分——见下)
- V150 店铺密钥 biz_shop_key 按公司(readCompanyIdOrOwn + writeCompanyId 两道门)
- V151 品牌库/商品类目推翻为全平台共享:只退唯一键、company_id DEFAULT 保留为
  NOT NULL 承重约束(摘了每条 1364);删掉 ProductCategoryControllerCompanyScopeTest
  那支"按公司隔离"的旧护栏,readCompanyId 方法一并移除
- invalidasin 字段与外观专利合批的连带改动

为什么不拆笔:后端 3891 例 / 0 红、前端 1731 例 / 0 红这两个读数是"合起来的树"的读数,
拆成多笔会让每一笔落到从未一起验过的组合上,而这一版要直接上两台。

回滚脚本在 backend-java/docs/rollback-V149/V150/V151-*.sql,不放进 Flyway 扫描路径。
设计记录:docs/ops/menu-company-tree-design-2026-10-06.md
2026-10-06 17:17:14 +08:00
huangzd1997 16583f578d feat(公司tab): 批次 2/3/4 再接 8 页,注册表收到 16 页——用户页回流 company_id 按新边界改写反向钉
「切 tab 数据还一样」的根因一直是分母小于现实:批次 1 只登记 8 页,本轮按控制方
三次点名扩到 16 页(company-scope.ts 是唯一清单,routes.ts 的 companyScoped 逐页对平)。

批次 2(五页 ASIN 中心):去重总数据 / 不符合ASIN / 查询ASIN / 最低价ASIN / 商品类目。
批次 3(两页店铺中心):撞款监控、店铺数据记录。这两页没有归属列可筛,归属口径是
「本公司账号名下的店铺」——后端由 DataReadScope 推公司 → 成员账号 → biz_shop_manage.
created_by_id,前端只把 activeId 当 company_id 送下去。空成员集必须交空集合,绝不能
退化成 null(null 在这里=全量,那样第二家会看到全部数据)。
批次 4(用户管理):后端早就认 company_id(只对站点超管生效,公司超管恒锁本公司),
断的是前端——UserListQuery 里连这个字段都没有,三家 tab 看的是同一份全量列表。

三处口径改动,逐条说明:
1)company-user-list.test.ts 的反向钉被改写。2026-10-04 定案把公司维度从用户页整体摘掉,
   那条钉的原文是「列表查询/筛选/行渲染不允许出现公司维度」。控制方 2026-10-05 明确要
   用户管理区分公司 tab,所以钉的边界收窄成两半:渲染层(行级公司列、「所属公司」标签、
   筛选状态、顶栏公司名)仍不得回流;请求层的 company_id 是这次加回来的,尺子换成
   「取值口唯一」——页面每处 companyId 都必须等于 companyTab.requestCompanyId,且
   normalizeUserPageParams/toUserListQuery 两只白名单构造器体内不许出现公司值。
   新增一支行为钉:往归一化里传 companyId 必须被丢掉,这是 users.ts 读原始入参的全部理由
   (写成 normalized.companyId 时 TS 照样绿、运行时恒 undefined)。
2)align-dup-console 那条 watch 看守的 token 扩到含 reload。变异自证里「删掉 void
   loadConsole()」当场全绿:体里的清筛选项守住了,重新取数那半没人守。批次 3/4 三对
   token 一起写到 reload 为止(批次 1/2 的老条目不动)。
3)公司管理页补正/反向两把尺子:company-config-entry-super-only 新增「吃公司 tab 的页面
   集合恰好等于 COMPANY_SCOPED_PAGES 的 pageFiles」——按代码真值比,不按清单比,所以
   清单不改一字而往 CompaniesPage.vue 里塞 store 也会红。谓词带括号,否则 import 行也算消费者。

菜单权限(admin_columns)本轮不动:MenusPage 只消费 /api/admin/permission-menus 这一份全局
菜单字典,切 tab 一样是数据本身全局,不是筛选坏了。真问题在写侧——PermissionMenuService
create/update/delete 只有 ensureAdminOperatorIfPresent(isAdmin 即放行),公司管理员改的是
全平台的菜单行。收窄为仅站点超管 vs 给 permission_menu 加归属列,两种改法代价差一个量级,
留给控制方定档。

护栏:G1 发送口 22 个 / 页面分组 17、watch 体看守 10 对、operation-guide 的 tab 文案 15 页
(撞款监控是显式豁免,另有一条自检盯「豁免落空」)。
变异自证 12/12 全杀(前端 10 + 公司管理反向钉 2),分母钉死在 27 例。
门禁:后端全量 3823 例 / 0 失败 / 0 错误 / 7 skipped,BUILD SUCCESS;admin-frontend-vue
1741 例 / 0 红;vue-tsc rc=0。首轮后端 4 红是另一路 task_partial 改动与本轮编译抢跑,
单跑 13 例已绿,本笔不含他们的任何文件。

未上线:jar 与 admin-vue 都没出包,V147 未在生产执行。
2026-10-06 02:32:59 +08:00
huangzd1997 95e2318c42 feat(账号到期+公司超管): 级联过期判定、过期停任务巡检与两端续费提醒弹窗
需求两条:站点超管可开设其他公司的超级管理员(站点超管看全站、公司超管只看本公司、
组内管理员仍只看本组);账号要有过期时间,管理员过期后名下普通账户一并停用、
正在跑的任务也要停掉。落库只有 users.expires_at(V146,NULL=永不过期),级联一律现算,
不写"上级过期就把下级置成过期"那种续费也救不回来的数据。

- AccountExpiryService:生效到期 = min(自身, 本公司公司超管, 成员表组长, 创建人)。
  登录拦 403(文案给续费提示)、每次请求鉴权拦 401(前端按下线踢回登录页),super_admin
  永不适用。级联口径与数据可见范围同源(成员表基本未用、实际按 created_by_id 派生)。
- ExpiredAccountTaskStopService:每分钟把过期账号(含级联成员)名下 biz_file_task
  PENDING/SCHEDULED/RUNNING → FAILED,含未领取的 PENDING(防内部通道继续派发)。原因文案
  刻意不以「客户端异常中断」开头,否则会被 TaskResumeService 自动复活。品牌采集与跟价循环
  不在那张表上,经 ExpiredAccountTaskStopSpi 由各自模块停:品牌 pending/running→cancelled
  且 UPDATE 的 WHERE 二次核对状态(抢到行后被客户端推进成完成的行不得误杀),跟价循环只置
  stop_requested=1、沿用用户点「停止循环」那条收尾路径,绝不动 status。任务心跳接口保持匿名
  不走 requireUser,所以过期账号的客户端仍能拿到 alive=false 协作停止。
- 角色 company_super_admin:由站点超管开设(唯一要显式选公司的建号场景),建号/授菜单/改用户/
  看数据四条链路都按"本公司"收口;公司超管之间、以及公司超管与站点超管互相碰不得。
- 续费提醒:剩余 <5 天在数富后台与用户端弹窗,只能收起不能关闭(无关闭按钮,收起态是右下角
  浮标),续费到 ≥5 天自动消失。后台读 /api/admin/current-user 的 expiresAt/daysToExpire;
  用户端无 Pinia,走 localStorage 的 account_expires_at(登录/check_login 落键、被顶下线清键,
  换账号不残留)。只反映账号自身到期,弹窗不做任何级联推断。
- V146 撞掉了 V145 那批的一条护栏:它按"db/ 里不许出现 V146__ 前缀"编死号位,被一条正常的
  前向迁移占用就红。改成钉动作——剥注释后的可执行 SQL 不得写 flyway_schema_history(回滚
  一律是扫描路径外的人工补丁),并把盘点文档改 V146 时丢掉的 V145 文件名补回去。

验证(本会话亲跑,不是转述):后端定向 14 类 123/0(同一轮 mvn 里连批次③的 4 类 53 例、以及既有 ShopDataCrawl/SimilarAsin 两条回归对照 21 例一起跑,合计 197 例 0 红);admin-frontend-vue 本批定向 44/0(弹窗 7 +
公司建号/列表/入口/日期默认 21 + 角色 task-48/task-251 16),全量 1726 例里那 1 支红是另一条
会话刻意留的「公司 tab 接线缺口」尺子(点名 admin_task_center 等 6 页,与本批无关);
frontend-vue 弹窗 9/0、全量 710/0。变异自证两批共 34 点:弹窗语义 16 点全杀(阈值 5、只能收起
不能关闭、挂载点含"注释掉挂载"、落键/清键链路),本批 SPI+迁移护栏 17 点全杀(含 G2 反向:
前向迁移只在注释里提 flyway_schema_history 必须照样绿),注入文件还原 dirty=0、探针残留 0。
2026-10-05 11:51:33 +08:00
huangzd1997 e6c4c9e7cf feat(公司隔离): V145 给两张规则库表补归属,唯一键改每公司一套
品牌库/去重库原本没有公司这一列、唯一键是全局的,所以"每公司一套"无从谈起。
V145 破例物化 company_id(含品牌库的 uploader_user_id 审计锚点),并把
uk_data_value / uk_data_value_brand 换成带 company_id 前缀的新键(先 ADD 后 DROP)。

按生产实查改写了计划里的写法:biz_dedupe_total_data 507,306 行 / MySQL 8.4.8,
非末位加列与 MODIFY 收 nullability 都要重建表,故三条加列显式钉 ALGORITHM = INSTANT、
列直接建成 NOT NULL DEFAULT 1、四条索引操作钉 INPLACE, LOCK = NONE,
回填换成由 users 驱动、带 d.company_id = 1 幂等限定的反推 UPDATE。

DEFAULT 1 是为混合版本窗口留的(批量写失败只 log.warn,缺列会静默丢数),
摘它必须用 ALTER COLUMN ... DROP DEFAULT——MODIFY 会按当时列默认值物化 instant 列,
把反推好的归属洗回 1。启动期哨兵据此从只探 users 扩成探三张表。

第二家公司已于 10-04 14:55 开通,历史行的实际上传者从此不可追溯,这笔不能再等。
回滚走 docs/rollback-V145-company-scope.sql 人工补丁,不编成 V146(Flyway 扫描路径会自己跑)。
2026-10-04 16:14:57 +08:00
huangzd1997 94f160b316 feat(多公司): V144 摘掉 users.company_id 的默认值,并把「已应用迁移不许原地改」做成护栏
V143 已于 2026-10-04 10:48:54 应用到生产库(校验和 1539570901),而
spring.flyway.validate-on-migrate=true 是硬编码 —— 想摘 DEFAULT 就不能原地改 V143,
否则下一次启动校验失败、两台 java 都起不来。所以按前向修复写成 V144,并让
CompanyMigrationV144Test 按 Flyway 的 CRC32 复算 V142/V143 与生产存量校验和比对,
把这件事从口头纪律变成 mvn test 阶段能咬红的护栏。

取舍:宁可让绕过 createUser 的写入撞 MySQL 1364 炸在日志里,也不要被静默塞进
厦门米椿花(users 全仓只有 1 条 INSERT,且它恒显式赋值,故不会新增失败面)。

- V144:ALTER TABLE users MODIFY COLUMN company_id bigint NOT NULL(不带 DEFAULT),
  头注释含模板六项 + 验证 SQL(期望 Default = NULL)+ 人工回滚步骤
- CompanyMigrationV144Test 8 例,变异自证 7/7 被咬死(含「原地改 V143」那条)
- CompanyMigrationV143Test 删掉「V143 必须是当前最大版本」——V144 落盘后它是假前提,
  号段连续性仍由 MigrationInventoryTest 把守
- migration-inventory.md:文件数 143、范围 V1..V144、取号起点 V145、新增存量校验和表
2026-10-04 11:49:14 +08:00
huangzd1997 5633898a0d feat(多公司): V143 建 company 与 users.company_id,配 12 例迁移护栏
一期只做账号归属:company 主表 + users.company_id,57 张业务表零 DDL、零回填,
公司维度全部由 user_id → users.company_id 派生。存量账号在迁移里归入「厦门米椿花」,
不需要另外拿脚本对着生产库 UPDATE。

两个不落进代码就会丢的判断:

1) 每条语句都写成幂等。MySQL 的 DDL 不进事务,NOT NULL 闸门失败时前面的建表/插数/加列
   已经落库,而 repair + 重启会让 Flyway 从第一条语句重跑整个文件;写成裸 CREATE TABLE /
   裸 INSERT 的话,恢复路径自己撞 1050/1060/1062,"补数据后重启"就变成"必须手工清库"。
2) 回滚是 docs/rollback-V143-company.sql,不是一条 V144 迁移。放进 src/main/resources/db/
   等于让 Flyway 在下次启动时自动执行回滚。这两条口径一并写进 migration-inventory.md 的
   约束段,供后续所有迁移引用。

闸门留 DEFAULT 1 只为混合版本窗口存在(旧 jar 建号不带 company_id),摘除时机改由启动期
巡检盯(下一步实现),不靠人记。

CompanyMigrationV143Test 12 例,断言打在剥掉注释后的可执行 SQL 上(否则"注释里写了这句话"
就算通过);16 条变异全部被抓到。全量 mvn test 3515 例 0 红。

后端 modules/company、两端前端、DEFAULT 摘除巡检尚未开始。
2026-10-04 03:27:27 +08:00
huangzd1997 4b7405895d feat(更新链路): web_config 加 sha256(V142),/api/version/latest 回带包摘要
客户端自更新过去只验 zip 结构:桶里的包被换掉时,结构完整的恶意 zip 会直接交给
update.exe 解压执行。摘要必须由服务端给出才与下载来源无关——能替换对象的人替换不了这个接口。

- V142 加 sha256 列(可空、不回填历史行,列缺失时客户端行为不变);
- /latest、公开列表、后台上传响应都回带摘要;multipart 上传按真正落盘的字节算;
- 直传确认路径不重算摘要(那要把 100MB 对象拉回来),这类行留空由发布脚本回填。

盘点文档同步:V1..V142、141 个文件、后续从 V143 取号。
2026-10-03 15:41:49 +08:00
huangzd1997 37592a3b62 perf(代码审查落地): 后端 A1-A8 与前端 C1-C8 加固,retention 清理补索引(V141)
A 组(backend-java):
- A1 载荷引用计数不再无条件回落全表 COUNT
- A2 结果行读取由 LIMIT 1 改整页
- A3 ziniao 索引缓存过期判断下推 SQL
- A4 循环子任务认领改 CAS,失败一律抛
- A5 建单事务里不碰外部 IO
- A6 连接池补网络层超时(connectTimeout/socketTimeout,env 可覆盖)
- A7 日志留现场 + 异步落盘
- A8 其余:货源图片预取、结果工作簿装配等
- V141:三条 retention DELETE 的可用索引,其中 biz_price_track_loop_run
  用 STORED 生成列承载 COALESCE 时间线(该表实测 881 行/17MB,COPY 秒级)

C 组(frontend-vue):URL 取值走 safe-url、行号取值走 row-id、
交付视频任务状态抽成 delivery-video-task-state.ts,各补用例。
2026-10-03 12:24:16 +08:00
huangzd1997 005cda9379 feat(采集数据): 品牌检测失败自动补测队列,限流窗口后自动重查并补结果(V140)
WIPO 限流窗口内 queryFailed 的品牌按任务排队(biz_collectdata_brand_recheck,同任务同品牌幂等),Scheduler 按指数退避自动补测:补出无侵权→行补进结果文件,判出侵权→落无效品牌表,连续耗尽→EXHAUSTED 并通知。只存品牌不存行,注入按 payload_hash 幂等。
2026-10-03 00:22:07 +08:00
huangzd1997 629fdfab79 feat(ASIN缓存): 新增 ASIN 采集结果跨任务缓存(asincache 模块 + V139)
同一个 (国家, ASIN) 的详情页被反复重采:单任务内 62.9 倍重复(43,504 行只有 692 个
不同 ASIN)、8 天跨任务 6.7 万行重复(2026-10-01 实测),每条重复都意味着重开一次页、
可能重买一次代理 IP。关键词链与变体链的结果分别落在两处互相看不见,只有 Java 侧能同时
收到两条链的结论,所以缓存放服务端、由服务端判新鲜度。

- 新表 biz_asin_result_cache(V139):一个 (国家, ASIN) 一行,重采覆盖;只收两种可复用
  结论 —— OK(页面正常且有价格,复用 60 分钟)、NOT_FOUND(详情页 404,复用 7 天);
  空价 / 风控拦截页 / 采集异常一律不入库,避免把瞬时故障锁成永久结论
- 新鲜度只在服务端判(按 observed_at 真正开页时间);采集端拿不到 / 看不懂一律照常开页
  (fail-open),任何情况下不许让缓存导致漏行、错行
- 新增内部接口 /api/internal/asin-cache/query|write(X-Internal-Token 自校验,与
  InternalBrandTaskController 同口径),供采集端开页前先问、采完回写
- 关键词采集链在任务锁外旁路写入:缓存写失败的代价只是"下次多开一次页",只记 warn,
  不影响 chunk 提交
- migration-inventory.md 快照更新至 V139,「V137 冗余索引 DROP」待办顺延 V140

测试:AsinResultCacheServiceTest(13)/ InternalAsinCacheControllerTest(5)/ 采集链
4 个测试类(35)共 53 例全绿。
2026-10-01 12:19:05 +08:00
huangzd1997 0a7e1b9c01 feat(taskcenter): V138 客户端任务管理迁移与设计文档
biz_file_task / brand_crawl_tasks 补 device_id 列(JWT 签名 claim,历史任务留空),
并挂载 admin_task_center 菜单:只写 columns 不写 user_column_permission,
管理员默认不可见,超管授权后可见。
2026-09-28 22:33:49 +08:00
huangzd1997 c27a1e26c4 chore(迁移): 新增 V136 版本表 is_latest、V137 隐藏 20 个冗余索引;登记 V132/V133 退役空号
两个迁移原本按 V132/V133 取号,但生产 flyway_schema_history 已执行到 V135(V134/V135 于
2026-09-25 落库),应用没开 out-of-order,低号新迁移会让 validate-on-migrate 直接报
"Detected resolved migration not applied to database" 并启动失败,因此顺排到 V136/V137。
空号无法回收,MigrationInventoryTest 的「1..N 连续」断言改为显式登记 RETIRED_HOLES,
并要求迁移清单文档记录空号来历——否则后来人会试图回填这两个号。

V136:web_config 只追加、从不记录哪条是最新版,读取侧靠 ORDER BY created_at DESC 现场算;
一旦有人补插 created_at 较早的行,/api/version/latest 会把全体客户端指回旧包且不报错。
回填语句按同一排序取一行、不写死 id,迁移前后接口返回值逐字节一致。
V137:20 个「列是另一索引严格左前缀」的二级索引置 INVISIBLE 而非 DROP——前缀规则只保证
可用性不保证代价相同,且 aiimage 账号读不了 performance_schema(1142),没法先量出哪些查询
真在做覆盖扫描,所以先隐藏观察,一条语句即可还原。
2026-09-27 11:25:23 +08:00
huangzd1997 f4b5100f96 fix(上架/去重): 结果工作表名净化 + 总数据表用户导入列放宽
1) 上架结果 Excel 的工作表名取自接口参数 publishCountry:用户填长文本/特殊
   字符(Excel 工作表名上限 31 字符且禁 []:*?/\)时 createSheet 直接抛异常,
   整体表现为「生成上架结果 Excel 失败」。改用项目既有的 uniqueSheetName
   (内部即 WorkbookUtil.createSafeSheetName,与 dedupe 同款);单元格里的
   国家值仍按原口径写入,不改变数据语义。
2) V135:去重「总数据导入」importFromExcel 是用户上传 Excel 逐行写
   biz_dedupe_total_data.data_value(varchar(128)),超长值同样 Data too long
   致导入整体失败。data_value 带唯一索引 uk_data_value(去重判重核心),
   不能改前缀索引(会把前 N 字符相同的不同值误判为重复),故扩到
   varchar(512);country 同口径放宽。线上已于 2026-09-25 手工执行(0.01s,
   主从已生效并实测 210 字符写入)。
2026-09-25 14:46:09 +08:00
huangzd1997 89cf9d1720 fix(上架): 源表可填列放宽为 TEXT,修复品牌超长致建任务失败
用户 Excel「品牌」列粘贴 409 字符(图书作者名单)超出 VARCHAR(255),
插入抛 Data too long 致建任务事务整体回滚,前端只见「服务器内部错误」,
任务列表不留失败记录,用户反复重试 20 次全部失败(2026-09-25 线上)。

口径:不给用户输入设限,source_id/asin/country/brand/price_value 一并放宽
(status_value 已在 V81 扩为 TEXT,同一原因)。
country 在 idx_publish_item_file_country 中,索引改 64 字符前缀;
业务查询只用 task_id/file_id/row_index,从不按 country 过滤,无影响。

线上已于 2026-09-25 手工执行(耗时 0.55s,主从均已生效并实测 409 字符写入)。
2026-09-25 14:26:10 +08:00
huangzd1997 892d88ed1e feat(后台管理): 实体管理列表统一展示创建时间/更新时间
用户管理、菜单管理、不符合ASIN、数据去重总数据、查询ASIN、最低价ASIN、
商品类目、密钥管理共 8 个实体管理列表补齐两列。分组管理/店铺密钥/店铺管理
此前已带创建+修改时间,任务列表与统计报表(撞款监控、密钥用量、日志、
记录与版本)不含实体更新语义,均未改动。

关键点——时间列必须由数据库维护,否则新列是假的:
这些表的更新走 selectById → 改字段 → updateById,实体带着读出的旧
updated_at 一起写回。MySQL 规则是「UPDATE 显式给某列赋值时不触发该列的
ON UPDATE 自动更新」,不禁写就会把旧值写回去,更新时间永远冻结在首次写入
时刻。按 V125(biz_file_result)既有样板,给 7 个实体标注
@TableField(insertStrategy=NEVER, updateStrategy=NEVER)。

- V131:users / columns 补 updated_at(幂等 ADD COLUMN,仿 V125 写法)。
  存量行被回填为迁移执行时刻,非真实历史变更时间(历史上无记录,无法还原)
- 实体/VO:AdminUserEntity、PermissionMenuEntity、InvalidAsinDataEntity、
  DedupeTotalDataEntity、ProductCategoryEntity、QueryAsinEntity、
  SkipPriceAsinEntity 加/改写 updatedAt;AdminUserItemVo、PermissionMenuItemVo、
  InvalidAsinDataItemVo、DedupeTotalDataItemVo 补 updatedAt;
  AdminUserSecretRowVo 补 createdAt(行级首次配置时间 = 三模块最早)
- 查询ASIN/最低价ASIN 后端 VO 与前端 model 本就有两字段,仅补渲染
- 前端 8 页表格加列,同步修正空态/加载行的 colspan(手写表格,不同步会错位)
- 测试:align-query-asin / align-skip-price 原断言「不允许有更新时间列」
  (像素复刻旧版),按新需求改为断言两列存在;新增 e2e list-time-columns
  覆盖 8 页表头与真实时间值渲染
2026-09-19 15:53:01 +08:00
huangzd1997 40b86d2a6e feat(上架): 店铺互斥改为按(设备,店铺),同店可在不同客户端并行跑不同国家
背景:紫鸟浏览器会话是每台客户端一份,同一家店可以在两台机器上并行;
国家是会话内的可切换状态(SwitchingCountries,断线重连还会再切),
所以真正必须串行的只有"同一台设备上的同一家店"。原来的全局按店铺互斥
把跨机器的合法并行也挡了(2026-09-18 任务 28624 被 28616 误挡)。

- V130:biz_publish_file 增加 device_id 列
- AdminAuthSupport.currentDeviceId():只读 JWT 签名的 deviceId claim,
  不信任客户端可控的 X-Device-Id 请求头
- activateFile 互斥键改为 (device_id, shop_name);device 为空(旧客户端
  token 无该 claim / 内部令牌调用)时退回全局店铺互斥,保守不放宽;
  存量 RUNNING 行的 NULL device 视为"来源不明",同样保守拦到跑完为止
- 前端与客户端无需改动:页面 axios 对 /newApi 已带 Authorization Bearer
2026-09-18 16:08:08 +08:00
huangzd1997 1b70eb0576 feat(任务恢复): 客户端中断的任务自动续跑(保留失败记录 + 重新排队)
2026-09-18 任务 28587(跟价,uid 977 店铺「张美莺」)在客户端 09:51/09:57 被更新脚本
重启后中断,任务一直挂 RUNNING 到 stale 兜底;跟价循环还有第二重问题——子任务失败
即整个循环判 FAILED,一次客户端更新就让无限循环彻底停下。

契约:中断任务**保留失败记录**(用户看得到「因客户端重启中断」),同时由服务端自动
重新排队续跑,长任务不再因为一次更新整个白跑。

- V129:biz_file_task 加 resume_of_task_id / resume_attempt,
  biz_price_track_loop_run 加 resume_attempt(代数封顶用);
- 新增 TaskResumeService:扫描最近 30 分钟内因客户端中断而失败、未续跑过、代数未超限的
  任务,复制请求参数重新排队成 PENDING,交给已有兜底拉取通道(客户端每分钟 pull-pending)
  领走执行——不新造第二套派发机制。只对注册了 ClientTaskPullSpi 的模块生效
  (相似ASIN/采集/外观专利),上架/改价等写操作模块刻意排除,避免盲目重跑;
- 幂等:按 resume_of_task_id 反查,同一原任务不会重复排队;
- 挂在 stale-check 巡检线(每 2 分钟、有分布式锁),并用隔离壳包住异常:
  续跑失败绝不拖垮判死主流程(判死优先级更高);
- PriceTrackLoopRunService:子任务因「客户端异常中断」失败时不终止循环,
  清 active_task_id 后保持 RUNNING,客户端下次 dispatchNext 拿到同一店铺/同一轮,
  即原地续跑(页内已处理 ASIN 由服务端 skip_asins 去重,不会重复改价);
  连续重派超过 3 次才真正判失败,避免会话持续不可用时无限重开浏览器
  (28587 就是这样白烧了 5 小时)。子任务成功一轮后计数归零;
- application.yml:aiimage.task-resume.enabled 默认跟随 client-task-pull 开关
  (兜底拉取关着时续跑任务无人领取,只会积压被告死)。

测试:TaskResumeServiceTest 6 例(排队/幂等/开关/无实现/插入失败/无归属用户)、
PriceTrackLoopRunServiceTest 新增 4 例(中断续跑/达上限/非中断仍终止/成功归零),
连带更新 DeleteBrandStaleTaskServiceTest 与 TaskModuleCoverageTest 的构造参数。
2026-09-18 15:42:07 +08:00
huangzd1997 a7f244f9c1 feat(设备日志/后台配置/密钥检测): 补齐已上线未提交的设备日志与app_config,并合入检测模型解耦
三部分均已部署到双节点(当前线上 JAR 009efc3e),本次补齐仓库状态,避免"已上线未提交"
在后续最小构建比对里被误判。

- 设备日志管理:modules/devicelog + DeviceLogOssProperties(主机B 独立 MinIO,仅内网)
  + V127 device_log_file/device_log_config + admin-vue 日志管理页;客户端/麦象按 offset
  增量上报(X-Internal-Token),查询仅超管
- 后台通用配置:modules/appconfig + V128 app_config 键值表;工作台「开店流程」密码改服务端
  校验(POST /api/kd-flow/verify),改密码只需 UPDATE 该行、客户端无需重新发版
- 密钥检测模型解耦:新增 aiimage.user-secret.check-model(env AIIMAGE_USER_SECRET_CHECK_MODEL),
  默认 doubao-seed-2-0-lite-260215 —— 同系列 mini 在中继分组下无可用渠道(503 model_not_found),
  实测 lite 可路由;UserSecretModule 去掉 LlmTarget 改 resolveLlmHost,探测日志带 model=
- 前端:密钥面板「检测配置密钥」按钮不再折行;client-changelog 补 4.0.19/4.0.20/4.0.21 条目

注:application.yml 与 PropertiesConfig 同时承载上述多个部分,故未按功能拆分提交
2026-09-15 23:53:05 +08:00
huangzd1997 792b5f8bce feat(任务判死): 心跳正常但 180 分钟无结果上报的二次判死线(13 模块)+ 同期待发改动
判死线(治 28131 型「主线程卡死、心跳线程照发」):
- 判据改看 biz_task_scope_state.last_chunk_at(HTTP 心跳不刷新它);从未上报跳过不判
- 中央线覆盖 DELETE_BRAND/PRODUCT_RISK_RESOLVE/PRICE_TRACK/SHOP_MATCH/PATROL_DELETE/QUERY_ASIN/WITHDRAW
- 自带线接入 COLLECT_DATA/SIMILAR_ASIN/APPEARANCE_PATENT/SHOP_DATA_CRAWL/PUBLISH/BRAND
- 客户端心跳带处理位置 progressText,判死文案含最后位置;no-result-upload-timeout-minutes 默认 180(0 关闭)

同期带上另一工作流的待发改动:跟价换 IP 重试、品牌检测重试上限与 LLM 并发下调、
教程包后台管理页与 V126 迁移、admin-vue 教程记录页。
2026-09-14 17:56:20 +08:00
huangzd1997 9cac49cf58 perf(F5+): 行数据按需拉取(结果行版本信号)+ 修复 progress/light 恒判 missing
行数据按需拉取(审查 F5 后续):
- V125 给 biz_file_result 补 updated_at(DEFAULT/ON UPDATE 由数据库维护,
  实体标注 insertStrategy/updateStrategy=NEVER —— 否则 selectById→updateById 的
  写回会把旧值写回去、ON UPDATE 不触发,版本信号静默冻结)
- 装配器回传 rowsVersion=「最后变更时间毫秒#行数」,5 个品牌工具页版本未变即跳过
  带行明细的重型 batch;前端变更信号为 rowsVersion + status/fileStatus/fileReady 复合
  (任务收尾常见「行早写完、之后才置成功」,只看行版本会把界面卡在旧状态)

修复线上缺陷(同一功能验证时暴露):
- TaskProgressLightAssembler 列裁剪漏选 module_type 却用它做模块过滤 →
  getModuleType() 恒为 null → light 恒把任务判成 missing;第七批把 light 接进
  跟价/定时匹配/商品风险的轮询后,消费方会把运行中任务判为 FAILED
- 补选中列 + 守卫用例 taskQueryMustSelectModuleType(已反向验证:去掉修复即红)
- 前端 lightClaimsAllTasksMissing:整体性 missing 结论用重型端点复核后再采信

契约与文档:light 白名单补 rowsVersion(Java 契约测试 / spec 06 §2 / 12 个端点描述)
测试:mvn test 2901 全绿;前端 npm test 765 全绿
2026-09-14 12:08:25 +08:00
huangzd1997 f4ee7e16f0 refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
  业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
  CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)

性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
  BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
  行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
  TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引

安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)

容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
  (该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
2026-09-14 06:46:27 +08:00
huangzd1997 7368322791 fix: 全维度审查修复(安全/正确性/性能/稳定性/客户端/前端)
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权(此前可匿名换取任意员工店铺登录令牌)
- 删除 Flask 遗留后门:默认密码建超管 + 每次启动写生产 users 表(服务端与客户端各一份)
- 进度/详情接口归属过滤:新增 TaskProgressOwnershipSupport,11 模块 progress/light 与
  /tasks/batch 接入,DTO 补 userId,前端 13 个查询封装补传(未传时后端不过滤,兼容旧端)
- 代理提取链接(含账密)不再明文入日志(新增 common/util/SecretMasking)
- 全局异常兜底不再回传原始异常信息;内部令牌比较改常量时间
- 登录加失败计数与锁定(10 次锁 15 分钟);品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15(开关默认 false,行为不变,为收紧做准备)
- 生产关闭 springdoc/knife4j(/doc.html 匿名可读全部接口定义)

正确性
- 40901/40902 拆分:锁竞争不再被伪装成 success=true(此前客户端停止重试、分片静默丢失)
- 假成功收敛:集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally(7 模块,失败路径不再留僵尸 RUNNING 任务)
- 状态机条件更新:跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB(Element Plus 改按需 + el-config-provider)
- 载荷引用计数按指针里的 taskId 收敛(原 JSON 列 IN 全表扫且逐行调用)
- 店铺明细多值批量 INSERT;快照 upsert 预载缓存;结果文件列改单条 UPDATE
- 新增迁移 V120(补 3 个缺失索引)/V121(删 4 个被覆盖的冗余索引)/V122(URL 前缀索引)

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列(防堆积 OOM)
- Redis 锁释放改 Lua 原子校验(原裸 delete 会误删他人已过期的锁)
- imagevideo 加死节点接管;锁续期失败重试;调度池 4→16;openStream 全部加超时
- 事务内远程对象删除移到提交后;启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe(改为按调试端口精准回收,不杀用户自己的浏览器)
- 密码检测不再无条件杀紫鸟进程;品牌检测加全局互斥(代理池不再互相覆盖)
- base_dir 统一到 exe 目录(原被 os.getcwd() 覆盖,日志/缓存会分裂两个目录)
- 缓存加定时清理;图片下载加超时;mkstemp 句柄托管

测试
- 同步更新受影响的契约测试(构造器签名/条件更新/方法改名/新增接口方法等)
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
2026-09-14 04:15:36 +08:00
huangzd1997 de9686ecac refactor(品牌工具页): 历史轮询抽为 useHistoryPolling
QueryAsin / Withdraw / PatrolDelete 三页逐字相同的 startHistoryPolling /
stopHistoryPolling 收敛为 shared/composables/useHistoryPolling:定时器走各页
categorized-timers(category 固定 history-poll),间隔默认主轮询的 2 倍。
categorized-timers 补 CategorizedTimers 类型导出;补注入式假定时器单测 5 例。

净减约 40 行;vue-tsc 构建与 695 个前端单测通过。
2026-09-13 23:22:49 +08:00
huangzd1997 43b1a0a955 feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统
- 单设备登录:登录成功即 last-login-wins 绑定 users.machine;非超管旧 token
  在下一次受保护请求抛 4011 下线,超管豁免;仅认 token 内签名 deviceId,不用请求头。
  前端两端接入踢下线跳转(?kicked=1 提示),V118 清空历史 machine
- 站内通知:新增 notification 模块(任务失败扫描 / 密钥欠费 / 下游服务探测三类来源),
  前后台铃铛组件 + 轮询;后台列表按主管数据范围(UserDataScopeSupport)过滤;V116 建表

均已于 2026-09-13 部署上线,此次补提交源码(此前仅存在于已部署 JAR/构建产物中)
2026-09-13 23:08:22 +08:00
huangzd1997 41674d1adb feat(密钥管理): 代理配置后台明文展示 + 按次统计各密钥调用损耗
- 后台密钥管理「代理设置」列改为完整明文展示(含账号密码),便于运维核对;
  新增 full 字段仅对代理模块下发,密钥两列保持脱敏
- 新增 biz_user_secret_usage_daily(V117):用户 × 模块 × 天累计真实对外请求次数
- 计次口径:LLM 每次真实 HTTP 请求(含重试)计 1 次;代理每次成功提取计 1 次
- LLM 埋点走 SecretUsageContext 上下文(批次外设置、线程池内快照恢复)
- 新增内部上报接口 /api/internal/user-secret-usage(X-Internal-Token)
- 新增后台页「密钥用量统计」:日期范围 + 用户名 + 分组筛选,含范围内汇总
2026-09-13 21:56:46 +08:00
huangzd1997 c059dee0c8 feat(密钥): 用户 API 密钥服务端化——V115 按账号绑定存储 + 后台密钥管理页 + 桌面端全站拦截与配置引导
- 新增 usersecret 模块:外观专利/货源查询密钥从本地 localStorage 迁移至 biz_user_api_secret(AES 加密、按 uid 绑定)
- 后台「密钥管理」页:脱敏展示、立即检测、清空;每日 04:30 分布式锁定时巡检
- 桌面端:密钥设置面板走服务端、未配齐引导 /setup-secrets、代理余量展示
- 删除专利汇令牌全链路与密钥保留时长选择器
2026-09-13 10:03:59 +08:00
huangzd1997 96680a6844 feat(紫鸟): 令牌级静态代理支持——白名单被拒的 key 走已授权代理 IP
- shop_key 新增 proxy_url / ip_whitelist_fail_count(V114 迁移)
- HttpClientPool 支持按代理地址复用的静态代理客户端
- 白名单连续失败达阈值后停止自动重试,控制台可按 key 配置代理(改动自
  上一工作阶段遗留,功能已编译验证)
2026-09-11 17:11:50 +08:00
huangzd1997 8d8a040473 fix(shop-data-crawl): 后台店铺数据记录改读每店最新累计档,删除任务不再连坐后台
后台“店铺数据记录”此前以每次抓取的 file_result/file_task 为源,前台删除任务会物理删
这两张表,导致该店在后台退档/消失。现改为以采集归档维护、删除任务时保留的
biz_shop_data_crawl_daily_file 每店最新一档为数据源:
- V113:daily_file 冗余 shop_name 列并回填;归档写档三处入口同步写入
- 列表/批量下载/单档下载/删除端点改按每日累计档 id(daily-files/{id})
- 管理端删除=真删该店这条数据记录(档+文件+明细),前台任务历史保留但清文件指针
- 明细行 daily_file_id 跨天滚动删旧档时改指新档,修存量悬空引用(另附修复脚本)
2026-09-08 15:02:25 +08:00
huangzd1997 83dcee3270 fix(撞款): 存量迁移修复——①POI zip安全限制放宽(setMaxFileCount/minInflateRatio,旧文件条目数超限整店失败) ②明细批次唯一键放宽(V112 uk→普通索引,同店同日同国同ASIN允许多行) ③迁移失败日志补全堆栈 2026-09-07 03:11:48 +08:00
huangzd1997 9cc5205335 feat(需求): 撞款重复检查改查数据库——①采集明细先落库再更新文件(V111 biz_shop_data_crawl_item行级明细,归档时countryResults展开,同店同日幂等替换) ②撞款扫描换源直接查明细表(不再解析OSS xlsx,修复旧文件表头差异致4家店静默丢弃) ③存量Excel数据自动迁移(日报快照row_payload优先+OSS宽松表头回退:ASIN码/小写兼容) ④移除84家店铺全量空态注入(重复检查基数=已采集店,超管口径8家) ⑤新增明细聚合/宽松解析单测6个 2026-09-07 02:43:37 +08:00
huangzd1997 d75a258721 task-284(收尾/在途批次): 页头按钮归位卡内toolbar+店铺数据记录改名+弹窗报错清除; Java page_size配对/按角色数据范围过滤/撞款导出XLSX/Excel图改WPS DISPIMG/V110查询索引 2026-09-07 02:43:36 +08:00
huangzd1997 7e9e9250af task-271(验收反馈): Element Plus 全局接入 zh-cn 语言包(日期控件/分页组件中文) 2026-09-06 01:44:06 +08:00
huangzd1997 f146292f46 task-155(Java 菜单树与 Flyway): 新增 V100 迁移(admin 菜单 route_path 更新) 2026-09-05 18:01:14 +08:00