feat(通知): 新增「采集机掉线」告警,并把队列积压判据改成「有活没人干」

背景(2026-09-29):麦象采集机 15:19 起整机停摆 6 小时(5 个 worker 全没,机器
无开机自启),现有告警完全没发现 —— 五类检查全靠「任务 update_time 不新鲜」间接
推断,一次停摆被摊成几十条"任务失败";队列积压又卡在 pending≥300 的阈值上
(当时停在 210),用户看到的是大面积业务失败,误导排查方向。

- 新增第 6 项检查「采集机掉线」:读 18960 新接口 /api/console/workers 的
  machineIdleSeconds(采集端打点,见 maixiang_run_task 同批提交),超阈值(默认 10
  分钟)推一条管理员告警,文案含逐信号静默时长便于定位。
  * 按**机器级**判活而不是逐 worker:变体采集领到长任务后不再调 /batch/task/get,
    逐 worker 判会在长任务正常运行时误报「vc 掉线」(实测踩到)。
  * machineIdleSeconds=null(从未上报)视为未知并跳过,避免刚上线误报一次。
- 队列积压判据改为 pending≥阈值 **且 processing=0**,阈值默认 300→100:
  只看 pending 两边都不讨好(低了误报"一时来不及",高了真出事也不报)。
  单 worker 死掉(机器还活着)由这条覆盖。
- 配置:新增 AIIMAGE_NOTIFICATION_MAIXIANG_SILENT_MINUTES(默认 10)。
This commit is contained in:
2026-09-29 21:45:16 +08:00
parent 209ec386a2
commit 76954280b1
6 changed files with 289 additions and 14 deletions
@@ -59,12 +59,26 @@ public class NotificationProperties {
/** 麦象任务失败告警阈值(条):近 30 分钟窗口内失败数达到该值才告警。 */
private int maixiangFailMinCount = 1;
/** 麦象队列积压阈值(条):task:queue 待处理数达到该值告警。 */
private int maixiangQueuePendingThreshold = 300;
/**
* 麦象队列积压阈值(条):task:queue 待处理数达到该值**且无人消费**(processing=0)才告警。
*
* <p>默认从 300 下调到 100:2026-09-29 采集机整机停摆时队列停在 210 条,300 的阈值全程没触发。
* 单靠调低阈值会引入误报,所以判据同时要求 processing=0 ——「有活没人干」才是故障信号。
*/
private int maixiangQueuePendingThreshold = 100;
/** 麦象队列积压阈值(条):task:processing 处理中数达到该值告警。 */
private int maixiangQueueProcessingThreshold = 100;
/**
* 麦象采集端静默阈值(分钟):18960 记录的各 worker 最后轮询时间超过该时长即视为采集机掉线。
*
* <p>这是唯一能直接反映「采集机整机停摆」的信号——其余检查都靠任务 update_time 不新鲜
* 间接推断,一次停摆会被摊成几十条"任务失败",误导排查方向(2026-09-29 停摆 6 小时即如此)。
* 采集端 pt/vc 每 3~10 秒轮询一次,因此 10 分钟足够宽松,不会误报空闲。
*/
private int maixiangSilentMinutes = 10;
/** 已读通知保留天数(超期自动清理),默认 90 天。 */
private int readRetentionDays = 90;