huangzd1997
|
eb46a5abc7
|
feat(notification): V171 给去重键补唯一约束,插入侧把竞态念成去重命中(B30)
用户问「后台 488 条未读是不是只进不出、消重到底生效没有」。实测结论:消重在生效
(12h 全表 `GROUP BY dedupe_key HAVING c>1` = 0 组、空键 0 行;管理员扇出走 pushOrRefresh
同键只更新文案不动 read_at),观感上的"每十几分钟一条"是扇出(1 事件 ×24 管理员=24 行)
加节拍(secret_shared 走 cost-guard.shared-scan-interval-ms=600000,实测 15:52/16:12/16:22;
任务失败那路 scan-interval-ms=300000)。未读只进不出的唯一出口是 7 天保留期物理删除。
真缺陷在约束缺失:查重是 SELECT-then-INSERT,表上只有非唯一的 idx_dedupe(V116:19),
双节点同轮撞键会各插一行——今天没踩到靠的是 job 锁(扫描 5 分钟/cost-guard 2 分钟),
不是靠约束。
- V171:`NULLIF(dedupe_key,'')` 的 STORED 投影列 + 唯一键。不给 dedupe_key 直接加唯一键
是因为空串按设计就是"不去重"(服务 javadoc + V116 的 DEFAULT ''),第二条空串会 1062
被 catch 成推送失败 ⇒ 一类通知静默消失;唯一索引允许多个 NULL,投影正好绕开。
存量重复按 MIN(id) 收口——判据与服务自身 selectByDedupeKey 的 orderByAsc(id) limit 1 同一行,
删的是永不被看见的副本。两条 DDL 各查 information_schema 再 PREPARE(repair 重跑不炸),
故意不钉 ALGORITHM=INSTANT(STORED 生成列不支持,钉了 1846 顶死迁移)。
取号 171:生产已应用到 170(今天 17:0x 只读实查 160–167、170 全在),台账
docs/migration-inventory.md 的旧快照"六支未落库"随之更正,DROP COLUMN 那一路顺延 172。
- push():DuplicateKeyException 分诊成「去重命中(竞态由唯一键兜住)」的 info,不并入
「推送落库失败」的 warn。**写成分诊、没新增 catch**——CatchSilenceRatchetTest.STRICT_TOTAL
已钉在 1004 满格,多一块就得重钉基线,那是该逐处记名说话的账,不该由一笔并发兜底花掉。
门禁:定向 46 例绿(新增迁移文本 5 例+服务 3 例,含 CatchSilenceRatchetTest 9 例、
MigrationInventoryTest 7 例);后端整量 `mvn -o test` **4794 例/0 红/0 错/18 skip/
BUILD SUCCESS**(第一遍曾被本笔新增的 catch 顶红棘轮 1004→1005,按上面口径改成分诊后转绿,
未动基线)。变异验证:唯一键改指 dedupe_key ⇒ 迁移用例判红 1 例;摘掉 DuplicateKeyException
分诊 ⇒ 服务用例判红 1 例;两处均逐字节还原(md5 对撞)。
⚠ 残留:这段 DDL 未在真 MySQL 上 dry-run(本机 127.0.0.1:3306 是另一路的 dev server 8.4.9、
无口令且可能是 A 机隧道,不拿来赌;生产实例未获批准不建隔离 schema)。发版前必须补这一次。
|
2026-10-24 18:22:14 +08:00 |
|
huangzd1997
|
9c4905c94e
|
feat(cost-guard): 代理/LLM 损耗监控与账号级任务暂停
- 每分钟扫描用量增量/日累计,异常置暂停闸并推站内通知
- 品牌补测、跟价派发、外观激活、品牌检测与两个 LLM 客户端统一接闸
- 同一代理/LLM 密钥被 3 个以上账号共用时给出用户提示
- 品牌检测出口拒绝批级熔断;LLM 同 key 共享并发/间隔/429 惩罚
- V170 新增 biz_user_task_guard
|
2026-10-24 10:50:20 +08:00 |
|
huangzd1997
|
d268ecdf6b
|
feat(通知): task_failed 带 ref_json 定位锚点,明细可点直达任务详情
用户原话「都没体现哪个任务id/店铺/用户,咋排查」:通知表只有 title/content,
失败任务又按「用户×模块×自然日」聚合成一条,明细被 5 个 taskNo 预览 + 512 字截断吃掉。
- V162 给 biz_user_notification 加 ref_json(TEXT,可重跑迁移,存量不回填)
- 扫描器把桶内每个失败任务写成锚点(taskId/taskNo/moduleType/reason/updatedAt/
deviceId),上限 20 条;品牌任务无 task_no 用 #<id> 兜底,保证至少一条可定位
- 详情接口回传 refs;同键刷新时锚点变化也更新,且不重新点亮已读
- 后台铃铛「展开明细」渲染成可点行,跳任务中心 ?taskNo= 自动开详情抽屉
- 新增判据 taskFailedAdminNotificationCarriesUidAndTaskNoAnchor:管理端正文必须含
uid、每个桶的 ref_json 至少一条非空 taskNo
|
2026-10-22 10:28:12 +08:00 |
|
huangzd1997
|
86d78160fd
|
feat(通知): 四级严重度与严重度/时间双排序,客户端与后台管理同步
通知表新增 severity(紧急/高危/中危/低危,V161),由 scene + level 推导且
不回改 level:老客户端配色不受影响,secret_balance 的余量偏低与欠费也能分档。
列表与聚合接口默认按严重度倒序(同档按时间倒序),sort=time 切纯时间排序;
聚合组取组内最高严重度。两端铃铛加彩色等级标签与排序切换,展开明细沿用
同一排序,严重度排序下隐藏会跨天误导的日期头。
|
2026-10-21 13:33:07 +08:00 |
|
huangzd1997
|
f6aa04d0f2
|
feat(代理): 多套餐余量预警与用户级 jikip 套餐配置
平台自费池由单个 planId/userId 改为 planId:userId 列表逐套餐探测,
套餐余量或账户余额低于阈值时推管理员预警;用户可在密钥设置里为自己
配置多个套餐,巡检跟随密钥检查按用户查余量并推站内通知,欠费状态在
客户端右上角常驻提示(V160 新建用户级套餐表)。
同时把测试里写死的真实代理 key 换成占位串,避免凭证随仓库扩散。
|
2026-10-21 13:32:56 +08:00 |
|
huangzd1997
|
74384fa6ac
|
fix(brand-check): 补测耗尽通知按失败类别说话,代理套餐问题不再算成上游的锅
16890 改烧任务归属用户自己的代理提取链接后,失败主因从上游不可用变成用户侧套餐:
现网 12 分钟内 18 条「全部 N 把代理 key 处于冷却」、4 条「余额不足」。而耗尽通知仍一律写
「上游商标库持续不可用,建议稍后重新提交采集任务重跑这些 ASIN」——既把账算到别人头上,
又把人推向"重跑必然还是同样失败"的那条路。
- 新增 BrandCheckFailureNotice:原始原因 → Kind(未配置/套餐耗尽/冷却/出口被拒/技术性/上游),
每类给一句"发生了什么 + 该做什么",代理侧全部指向「密钥设置」的「代理设置」。
- 拒付判定排在冷却之前:key 因余额不足被拒后整批写冷却,只报冷却等于让用户白等。
- pushRecheckOutcome 多收一个 Kind,耗尽分支改用它给的句子;last_error 照库存原文供后台取证。
- 30 支用例(分类器 9 / 通知 7 / 调度 10,含冷却原话透传到通知那支),判据串取自现网读到的原文。
|
2026-10-20 23:05:29 +08:00 |
|
huangzd1997
|
731aa35a47
|
18960 探活改打 /healthz:恒 404 的那一格只能读成"未验证",服务真死了也不响
`service_down` 探活在 java 进程内跑,根路径没有路由 ⇒ 现网每轮一条
`WARN 服务探测未验证业务可用性 detail=HTTP 404`,跟价 API 挂了通知面上是 0 行
(10-07 那次 41 分钟整站宕机在通知表上就是 0 行的同族形状)。
不能选 `/batch/status`:它 `beat("vc")` 会让服务用自己的健康检查刷新采集机心跳,
正是 10-04 变体采集停摆 12 小时没被发现的那条路。`/healthz` 是 18960 专为探针加的,
不写心跳、不碰 Redis/MySQL——两台实测 `/`→404、`/healthz`→200 {"ok":true}。
两条新用例分别钉"拼出来的地址"与"`probeServices()` 真请求的路径":只钉前者的话
调用点改回去照样绿(第一版就是这么漏的,变异注入才暴露)。全类 10→12 例。
|
2026-10-13 18:11:55 +08:00 |
|
huangzd1997
|
5d2a1c6974
|
feat(通知): 列表按 场景×自然日×主体用户 聚合成两级,红点按组数亮而明细条数同屏;后管日期面板不再被弹窗压住
V158 给 biz_user_notification 加 subject_user_id(事件主体用户,与收件人 user_id 分家):
一行通知是给某个收件人看的,被通知的那个 uid 原先只活在文案字符串里,没有列就没法按用户成组,
也不肯用正则去解历史文案凑分组键。存量不回填(定案)⇒ 老行 subject_user_id 为 NULL,自成「未标注主体」一组。
写入侧 pushOrRefresh 第 8 参带主体,AUDIENCE_USER 时主体=收件人(故新增 7 参便捷档,68 处调用一行没改);
pushToAdminsAnyOf 传 null 并注明理由:一把密钥被 N 个账号共用,不挑一个 uid 冒充。
新增 GET /api/notifications/groups 与 /api/admin/notifications/groups:Java 侧分组(复用 baseWrapper 一份筛选实现),
分页按组切,同屏返回 total=组数 与 rowCount=明细条数;unreadGroupCount 走
COUNT(DISTINCT scene, DATE(created_at), IFNULL(subject_user_id,-1)) —— IFNULL 不能省,
MySQL 的 COUNT(DISTINCT a,b,c) 会跳过任一表达式为 NULL 的行,不兜就把存量那一组整个数没。
红点是新增 unreadGroupCount 而不动 unreadCount 语义:已装机老客户端读 unreadCount 画徽标,
换语义会让老客户端出现「红点 3、列表 217 条」对不上。
铃铛两级(后管+桌面各一份):聚合行点击只展开、不替用户标已读,已读必须进明细逐条点;
明细一次最多 50 条,超出显示「另有 N 条未列出」;下钻带 scene+day+subjectUserId(主体为空改下发
subjectUnlabelled 旗标走 IS NULL),少一维就会把同场景同天别主体的行混进这一组的明细——桌面端最初就漏了这一维。
死码随两级视图退场:groupNotificationsByDay/NotificationDayGroup 删掉,用例换成 formatDayLabel/notificationGroupKey/formatGroupCounts。
后管日期选择面板 z-index 抬到 3300(面板 3200)之上:Element 弹层只自 2000 起递增,不抬就被面板压住,表现为「日期点不动」。
playwright 加 E2E_PORT+strictPort:实测 5174/5176 被别的项目的 vite 占着,reuseExistingServer 让 e2e 连上别人的应用,
当时 5 条全红是端口归属问题而不是回归。
验证=后端通知面 66/66(-Dtest='Notification*' 63 + AdminNotificationControllerTest 3)BUILD SUCCESS;
后管 node --test 1819/1819、真浏览器 e2e 10/10(含遮挡与「展开只取本组」);
桌面 node --test 834/834、组件挂载 vitest 8/8;两前端 vue-tsc --noEmit rc=0;ops 值班侧 18/18。
记账三处=后管 source-pin 逐文件基线 notification-bell.test.ts 用例 6→7(该文件钉子仍 0,占比不动);
桌面 catch 棘轮 blocks 298→299(新增那支是 toggleGroup 明细失败写进面板 loadError,非静默,silent 84 一格没涨);
桌面 endpoints 台账补 /api/notifications/groups。
变异自证 7 条全 KILLED:红点按条数/组内没读完就减组数/聚合行直接标已读/明细截断不报数/下钻丢主体/
丢 IS NULL 旗标/null 主体当值下发。其中「组内没读完就减组数」第一轮 SURVIVED——用例只钉了徽标,
而徽标在 unreadGroupCount 归零时会退回条数兜底,把这条回归盖住了;改成同时钉「N 组未读」chip 才杀掉。
已知盲区(下次补,别当已验):①桌面两级只在 happy-dom 跑过真组件,布局与层级没在真浏览器点过
(桌面日期弹层的层级修复本就在 HEAD 里,不是这批引入);②后管 e2e 夹具没有 subjectUserId=null 的行,
「存量自成一组」在后管 UI 层没被点过,只有后端 WHERE 与桌面组件各一条用例钉着。
|
2026-10-13 08:34:18 +08:00 |
|
huangzd1997
|
15094309cf
|
后端(四面9分批次): 锁跳过留痕、状态词表收成单点、版本硬地板进 yml 并记账
- 14 处「拿不到锁就 continue」过去零日志,现统一带可聚合锚点并有留痕判据
(LockSkipWitnessTest 7 例 + LockSkipSilentExitGuardrailTest 4 例)。
- 任务状态词表:散落内联集合改由单一定义点判方向(TaskStatusVocabularyRatchetTest 7 例),
CANCELED/CANCELLED 只做归一映射,没改库值也没改对外契约。
- 版本硬地板三键(min-supported / enforce / rejectUnreported)此前在任何 yml 里 0 处=出厂即惰性;
现在入册且 enforce=false 走记账模式(ClientVersionFloorConfigTest 9 例),真挡谁留给用户拍。
- 业务码→HTTP 状态只做映射单点 + 开关(默认关,开启前逐字节等价,BusinessErrorHttpStatusTest 8 例);
直接翻面会让三个前端把业务失败读成网络挂了。
- 验收:mvn -o test 这 5 个类 35 例 0 红(用 python subprocess 起 mvn——bash 里 cmd 包一层
开的是交互式 cmd,rc 是 cmd 的,会给出假的 rc=0)。
|
2026-10-09 23:09:37 +08:00 |
|
huangzd1997
|
419ab3be64
|
refactor(SQL分层): 剩余 85 条注解 SQL 全量迁进 mapper XML,等价性改由 MyBatis 自己判
96 条语句现在全在 src/main/resources/mapper/<模块>/ 下,注解侧 SQL 归零;判据从"基线清单"
改成完成态(逐接口必须为 0 + XML 语句总数 96 + 反向钉:XML 有则注解必须无)。
搬法上踩实了一个坑:注解参数是 Java 表达式("…" + CLIENT_MODULE_TYPES + "…"),
用只认字面量的抽取器搬家会把常量整段吞掉——上一轮生成的 26 份 XML 里因此出现
IN ()、AS status 前面没有表达式(MySQL 语法错),<script> 形态还被多转义一次变成 &lt;。
更糟的是当时"搬迁前快照"与 XML 由同一个抽取器产出,两边一起错所以逐字比对全绿,
抓到现场的是既有的语义用例(TaskCenter 15 条 + 店铺查重那条断 <> 的)。
所以 MigratedSqlEquivalenceTest 改成:账本存注解原文,Java 侧现场用
getDefaultScriptingLanguageInstance().createSqlSource 编译原文,与 XML 解析出的
MappedStatement 各渲染一遍 BoundSql 对撞(空参数 + foreach 喂满 2 元素各一次),
转义对不对由 MyBatis 判定而不是由生成器判定;账本自己再钉 <script>/<if> 成对、不许出现 IN ()。
resultType 那一支不变:期望值由接口签名反射反推,66 条分母钉住。
取数入口跟着换:6 支原本读 @Select 注解的守卫(TaskCenter/Dedupe/店铺查重/通知保留/
鉴权形状/后台扩权)改走 MapperXmlSupport,断言内容一字未动;后台扩权那条"不许有 wrapper
投影"从全文 doesNotContain(".select(") 改成只扫可执行行——接口里现在只剩签名,
而 javadoc 正写着"别用 selectList(.select(...))",全文判会被自己的注释喂饱。
隔离树全量 4059 例 0 红(基线 4054,+5 为新增等价性与 XML 用例)。这批要生效得随下一版 jar 发版。
|
2026-10-08 12:00:43 +08:00 |
|
huangzd1997
|
34113aff8b
|
fix(鉴权): 到期级联改标量聚合,后台入口按菜单授权放开
三件事同源于 10-06「非默认公司账号进不了数富后台」这条事故链,四种死法在界面上长得一样。
1) AccountExpiryService 读本公司公司超管的 expires_at 时把单列投影成实体列表再遍历——
MyBatis 对所选列全为 NULL 的行交出的是 null 元素,而"没设到期"是绝大多数公司的常态,
于是只要有一个永不过期的公司超管,该公司所有账号的登录与每个鉴权请求全部 500。
改成 mapper 侧一条 MIN(expires_at) 标量聚合;AuthChainQueryShapeTest 扫鉴权链路的
"单列投影"形状——这个判据落在 mock 边界外,单测挡不住,只能做源码扫描。
2) 后台入口放开:requireConsoleOperator = 管理员角色链 或 本公司树里 >=1 条后台菜单授权
(探针是带 company_id 条件的标量 COUNT,与下发口径一致,否则进得来而菜单树是空的)。
逐页另设 requireConsolePageAccess 锚住本页 key,勾父分组覆盖后代的既有语义照旧。
管理类 10 支控制器继续 requireAdmin,并且出口 2 不再把这些页下发给普通账号——
下发出去就是一排点了必 403 的死链。内部令牌通道绕过到期与会话校验,不随入口放宽。
护栏 ConsoleWideningGuardrailTest 双向钉:管理页不得被授权打开、入口落点恰好那 13 支。
3) 前端:后端失败一律 HTTP 200 + success=false,登录页从未解包,所以"什么都不提示"。
补 login-feedback 归一文案(技术串不外露、兜底不再伪装成用户名或密码错误),
并修 isLoginLocation 拿路由内路径比 location.pathname——生产实际是 /admin-vue/login,
那条"已在登录页就别整页重刷"的守卫一次都没生效过。
验证:后端 mvn -o -B test 3924 例 0 红(457 支类);前端 node --test 1738 例 0 红;
vue-tsc --noEmit rc=0;入口探针 SQL 已在生产库只读三档空跑(本公司 1 / 错公司 0 / 无授权 0)。
|
2026-10-07 00:18:35 +08:00 |
|
huangzd1997
|
7887e7ee37
|
fix(通知): 麦象不可读不再折叠成「无异常」、探活 4xx 不冒充正常、交付不完整独立成 scene,前端入队拒绝按机器码决定重试
- MaixiangConsoleClient 新增 probeReadable/classifyReadout,把四种「读不出来」的形状与
「确实无异常」分开;MaixiangAnomalyScanner 在六项扫描前先过这道闸,读不通就喊一条
天级去重的管理员异常并退出本轮——此前后台挂掉时六项一致报「无异常」,服务探测还是绿的。
- NotificationScanScheduler 的探活改三态 ALIVE/UNVERIFIED/DOWN:401/403/404 说明请求被
挡在业务之外,拿不到健康证据,不能再按 <500 判成「服务正常」。
- task_partial(交付不完整)从 task_failed 里拆出来独立成 scene,仍归任务异常大类;
NotificationDispatchService 的管理员行改用 SCENE_TASK_PARTIAL。
- 前端 dispatch-guard 用机器码 shop_busy/queue_full 判定「等一会儿再推就会成」,
暂缓 20s×15 封顶;此前页面靠 includes('当前店铺正在执行中') 匹配中文,而文案中间
插了店铺名,永远匹配不到⇒同店互斥被写成任务失败。
护栏:后端 notification 六支用例(含 MaixiangConsoleClientTest 15 例、
MaixiangAnomalyScannerTest 24 例)、前端 dispatch-guard 与 enqueue-rejection-wiring 两支;
后端全量 3827 例 0 红、前端 717 例 0 失败;变异 M1-M7、M12-M14 共 10/10 杀。
|
2026-10-06 11:46:54 +08:00 |
|
huangzd1997
|
03f087f3cd
|
feat(通知): 保留期收成 7 天一条线,独立成凌晨分批清理任务
- readRetentionDays=90 / unreadRetentionDays=180 两档合并为 retentionDays=7,
两个旧 env 键随字段一起删(全仓已无引用)。按天扇出的告警表留半年只服务于一件没人做的事。
- 删除动作从 5 分钟一轮的 NotificationScanScheduler 里摘出来:原先它跟着 scan-enabled 一起被关,
生产为降噪停扫描就等于悄悄停掉保留期;同时去掉 NotificationService 上两条无 LIMIT 的清理方法。
- 新建 NotificationRetentionService(04:05 + notification:retention job 锁 + 每轮 20 批 × 2000 行),
与 DeviceLogRetentionService 同一范式。分批是因为这张表每 60 秒被铃铛 COUNT(*) 一次,
首轮要把按 90/180 攒下的存量删掉,单条大 DELETE 会直接放大锁等待;宁可连续几天收敛。
- 不补索引:两条删除都走建表即有的 idx_created_at,保留窗口外的行几乎全部命中删除条件。
- NotificationRetentionServiceTest 8 例(变异自证 7/7 转红):其中一条锁注解 SQL 的谓词与 LIMIT——
mock 掉 mapper 的那几条看不见「已读写成未读条件」,而线上表现是某一侧永远删不掉。
|
2026-10-04 01:20:11 +08:00 |
|
huangzd1997
|
005cda9379
|
feat(采集数据): 品牌检测失败自动补测队列,限流窗口后自动重查并补结果(V140)
WIPO 限流窗口内 queryFailed 的品牌按任务排队(biz_collectdata_brand_recheck,同任务同品牌幂等),Scheduler 按指数退避自动补测:补出无侵权→行补进结果文件,判出侵权→落无效品牌表,连续耗尽→EXHAUSTED 并通知。只存品牌不存行,注入按 payload_hash 幂等。
|
2026-10-03 00:22:07 +08:00 |
|
huangzd1997
|
0fd0ee17ee
|
fix(通知): 聚合去重键从小时桶改自然日,刷新不再把已读点亮回未读
后台「通知」被刷屏的两个乘数:一条告警一天最多重发 24 次(小时桶换键),
以及刷新时 set read_at=null 把用户已读过的红点重新点亮。现在 task_failed /
service_down / maixiang_anomaly 五类键统一按「用户×模块×自然日」聚合,
pushOrRefresh 只更新文案不动 read_at;桶的日期取事件自身的 updatedAt,
跨零点轮询不会把昨天的失败挪进今天的桶。
|
2026-10-02 10:35:06 +08:00 |
|
huangzd1997
|
a4391de6fa
|
perf(用户密钥): 探测与告警按密钥值收敛,共用同一把 key 的账号不再各付一次提取费
实测 314 条配置只有 33 种密钥(一把平均挂 9.5 个账号):定时巡检按「模块+密文」分组后一轮只
真实探测一次;后台「立即检测该用户」的 90s 新鲜期缓存键去掉 uid、改为按密钥值指纹共享,
管理员连点 N 个共用 key 的账号只付 1 次费。管理员侧告警按密钥组合并成一条(受众仍按数据权限
过滤,正文不列 uid——同 key 账号常分属不同主管),单账号组保持原文案与原去重键。
|
2026-10-02 09:21:25 +08:00 |
|
huangzd1997
|
76954280b1
|
feat(通知): 新增「采集机掉线」告警,并把队列积压判据改成「有活没人干」
背景(2026-09-29):麦象采集机 15:19 起整机停摆 6 小时(5 个 worker 全没,机器
无开机自启),现有告警完全没发现 —— 五类检查全靠「任务 update_time 不新鲜」间接
推断,一次停摆被摊成几十条"任务失败";队列积压又卡在 pending≥300 的阈值上
(当时停在 210),用户看到的是大面积业务失败,误导排查方向。
- 新增第 6 项检查「采集机掉线」:读 18960 新接口 /api/console/workers 的
machineIdleSeconds(采集端打点,见 maixiang_run_task 同批提交),超阈值(默认 10
分钟)推一条管理员告警,文案含逐信号静默时长便于定位。
* 按**机器级**判活而不是逐 worker:变体采集领到长任务后不再调 /batch/task/get,
逐 worker 判会在长任务正常运行时误报「vc 掉线」(实测踩到)。
* machineIdleSeconds=null(从未上报)视为未知并跳过,避免刚上线误报一次。
- 队列积压判据改为 pending≥阈值 **且 processing=0**,阈值默认 300→100:
只看 pending 两边都不讨好(低了误报"一时来不及",高了真出事也不报)。
单 worker 死掉(机器还活着)由这条覆盖。
- 配置:新增 AIIMAGE_NOTIFICATION_MAIXIANG_SILENT_MINUTES(默认 10)。
|
2026-09-29 21:45:16 +08:00 |
|
huangzd1997
|
4f414b46e6
|
feat(taskcenter): 变体采集接口(麦象代理,多 uid + res_mes)
|
2026-09-28 23:22:41 +08:00 |
|
huangzd1997
|
486c3b2766
|
feat(通知): 品牌/采集数据部分失败改为「已交付」提醒,用户不再只看到成功
BRAND 与 COLLECT_DATA 的结果里没有承载「N 行查询失败」的字段,这类任务此前一律显示成功,
用户要到 Excel 里逐行看才发现缺数据。上架模块不需要这条通道——它的历史详情已经通过
SimilarAsinHistoryAssembler 把 result.notice 透出到前端。
新增 NotificationDispatchService.pushPartialResult:复用既有 SCENE_TASK_FAILED/LEVEL_WARNING
场景与 dedupe_key 机制(task_partial:<taskId>),不新增 scene、不加迁移、不动前端枚举。
品牌侧在 finalizeTask 里 deleteTaskData 之前推送,避免统计数据被清库后读不到。
|
2026-09-27 11:24:51 +08:00 |
|
huangzd1997
|
672bb90f8d
|
feat(站内通知): 铃铛支持按类型大类筛选(系统异常/任务异常/配置异常/系统通知)
原来铃铛只能按关键字和日期筛,任务失败、密钥欠费、麦象异常全混在一起,
用户没法只看自己关心的那类。
后端 NotificationService 增加 scene→大类映射(未知 scene 归「系统通知」兜底),
列表接口新增 category 参数,落到 SQL 是 scene IN (...);「系统通知」作兜底类
还要纳入未登记的 scene,故表达为「= system 或 不在其它三类里」。列表项返回
category,前端不必各自维护一份 scene 映射。前后端两个通知接口同步加参数。
前端铃铛筛选区新增一行类型 chip(全部 + 四类),与关键字、日期一起参与
hasFilter 与重置;空分类不下发,避免后端查询落空。
|
2026-09-16 10:32:11 +08:00 |
|
huangzd1997
|
eca0ea0c18
|
feat(保留期清理): 补齐 7 处只增不删的数据;修结果对象孤儿
审核发现一批表/元数据只增不删,且对象存储存在活跃泄漏:
- module-cleanup 漏收 task_result_item / task_result_payload 的 payload 指针,
每晚删完行就在 json-server 桶留下孤儿对象;指针收集触顶从"截断后照样删整组"
改为任务组二分拆分,拆到单任务仍触顶则整组不删并记 error(截断会让指针随行消失)
- 结果文件对象此前从不回收(只删 DB 行、对象留在桶里),现改为事务提交后
按 file_result / task_file_job 的 result_file_url 逐个回收
- 新增 7 个保留期清理:device_log_file 元数据、price_track_loop_run、撞款扫描行、
密钥用量日统计、紫鸟记忆过期行、PUBLISH 任务、BRAND 任务。后两者刻意不复用
module-cleanup(BRAND 不写 biz_file_task;PUBLISH 单任务可达数万行),
改为调各自既有的业务删除入口,保证结果对象与子表一起回收
- 未读通知补保留期(180 天,已读仍 90 天);ZiniaoMemoryStoreService.deleteExpired
此前全库无调用方(实现了没接线),现已挂定时任务
全部沿用既有范式:@Scheduled + 分布式锁单实例 + 分批 + 单轮批次数上限 + 失败只记日志。
|
2026-09-16 01:59:28 +08:00 |
|
huangzd1997
|
b7684dbbde
|
fix(站内通知): 麦象异常扫描滞留检查改用 update_time 过滤(18960 console 新增 update_time_end)——原按 create_time 过滤 + desc(id) 分页只能看到最新批次,积压深处的老任务永远看不到(2026-09-15 滞留在队 9 小时未被告警指出的漏报根因)
|
2026-09-16 01:05:26 +08:00 |
|
huangzd1997
|
0dd0b1237f
|
feat(站内通知): 麦象异常扫描上线——任务停滞/失败/队列积压/批量空结果推管理员
用户要求「maixiang异常也要发通知」,确认范围(卡住/失败/队列堆积/服务不可用)与
受众(只发管理员)后实现:
- MaixiangConsoleClient:18960 后台只读接口客户端(batch/tasks、tasks、queue/status、
batch/detail),token 鉴权、失败只记日志。URL 必须用 URI 对象提交——字符串形态会被
RestClient 二次编码(%20→%2520),end_time 参数实测报 Incorrect DATETIME value,
检查会静默失效;已加回归单测 buildUrlEncodesTimeParameterExactlyOnce
- MaixiangAnomalyScanner 五类检查:①批量任务停滞(status 0/1 超时无更新,默认 60 分钟)
②单任务滞留(创建超 30 分钟未完成)③近 30 分钟失败达最小条数 ④批量任务空结果
(worker 报错时批次仍被标"已完成",是唯一可抓的批量失败信号)⑤队列积压(pending≥300
/ processing≥100);去重按天/小时/任务,全部为管理员全局事件(subjectUserId=null)
- 接入 NotificationScanScheduler(分布式锁内同跑);scene=maixiang_anomaly;
AIIMAGE_NOTIFICATION_MAIXIANG_* 环境变量可调,令牌留空=跳过
- 前端 NotificationScene 类型补 maixiang_anomaly(铃铛不按 scene 渲染,无运行时改动)
- 测试:客户端解析(真实抓包样例)+ 扫描器 14 例 + 手工联调探针 MaixiangLiveProbeTest
(-Dmaixiang.live=true 开启,只读不写通知)
已部署双节点(.env 加 console token、JAR cd3e06c4)并线上验证:首扫推 2×15 条管理员通知
(3 个变体任务停滞 / 39 个跟价任务滞留),二次扫描落库=0 去重生效。
|
2026-09-15 12:20:15 +08:00 |
|
huangzd1997
|
96800a2c88
|
refactor(boundary): 跨模块循环依赖清零(8 对 → 0),task→业务 依赖归零
共享内核下沉(跨模块共享的"身份/组织/安全"类型进 common)
- AdminUserEntity/AdminUserMapper、ShopManageGroupEntity/ShopManageGroupMapper → common
- AdminAuthSupport(33 文件 17 模块引用)、JwtService、AuthProperties、DeviceSessionPolicy
→ common/security(原先放在 admin/auth 里,任何模块用一次就多一条跨模块边)
端口化(消费方声明接口、数据方实现)
- task/spi:ResultFileJobHandler 新增 resolveResultFileUrl 钩子(BRAND 特例从 Worker 收回);
Worker 改为调用 handler.onSuccess(该钩子历史上从未被调用,withdraw 的收尾靠 Worker 里的
WITHDRAW 特判硬编码——现两者都归位,task 侧不再 import withdraw/brand)
- admin/spi/UserSecretCleanupPort(删除用户级联清理密钥)、notification/spi/ProxyBalancePort
(代理余额探测)、shopdatacrawl/spi/ManagedShopNamesPort(可管店铺名)
- shopkey/spi/GroupDeletionGuardPort:分组删除守卫改由各业务模块实现(invalidasin/dedupe 两个实现),
shopkey 不再直连它们的 Mapper
棘轮与量化(2026-09-14 实测)
- ArchitectureBoundaryTest:task→业务 119 → **0**(基线钉死为 0,新增跨模块动作必须走 task/spi)
- 跨模块 import 行数 650 → 605;双向依赖对 8 → **0**(usersecret/permission/shopkey 三向环、
task↔withdraw、task↔brand、admin↔permission、admin↔usersecret、dedup↔shopkey、
invalidasin↔shopkey、notification↔usersecret、shopdatacrawl↔shopduplicatecheck 全部拆解)
测试同步:接口契约 8→9、品牌 Handler 钩子契约、worker 的 10 个测试构造实参、通知/管理测试端口化。
mvn test 2881 全绿。
|
2026-09-14 10:05:04 +08:00 |
|
huangzd1997
|
f4ee7e16f0
|
refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)
性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引
安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)
容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
(该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
|
2026-09-14 06:46:27 +08:00 |
|
huangzd1997
|
873887460a
|
feat(站内通知): 铃铛面板支持时间/内容搜索、按天分组与分页
- 列表接口加 keyword(标题/内容模糊)与 startDate/endDate(年月日闭区间)参数,
两端控制器透传,服务端补筛选日志
- 两端铃铛面板:搜索框(防抖 300ms)+ 日期区间 + 按年月日分组 + 翻页,
面板改 Teleport 到 body(挂在顶栏时会被页面 el-select 压住,提 z-index 无效)
- 固化可见范围回归测试:超管全量/管理员只看本组/普通用户只看自己,
含读写两侧的 user_id+audience 裁剪断言与两端控制器身份来源断言
|
2026-09-13 23:59:06 +08:00 |
|
huangzd1997
|
43b1a0a955
|
feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统
- 单设备登录:登录成功即 last-login-wins 绑定 users.machine;非超管旧 token
在下一次受保护请求抛 4011 下线,超管豁免;仅认 token 内签名 deviceId,不用请求头。
前端两端接入踢下线跳转(?kicked=1 提示),V118 清空历史 machine
- 站内通知:新增 notification 模块(任务失败扫描 / 密钥欠费 / 下游服务探测三类来源),
前后台铃铛组件 + 轮询;后台列表按主管数据范围(UserDataScopeSupport)过滤;V116 建表
均已于 2026-09-13 部署上线,此次补提交源码(此前仅存在于已部署 JAR/构建产物中)
|
2026-09-13 23:08:22 +08:00 |
|