76954280b1
背景(2026-09-29):麦象采集机 15:19 起整机停摆 6 小时(5 个 worker 全没,机器
无开机自启),现有告警完全没发现 —— 五类检查全靠「任务 update_time 不新鲜」间接
推断,一次停摆被摊成几十条"任务失败";队列积压又卡在 pending≥300 的阈值上
(当时停在 210),用户看到的是大面积业务失败,误导排查方向。
- 新增第 6 项检查「采集机掉线」:读 18960 新接口 /api/console/workers 的
machineIdleSeconds(采集端打点,见 maixiang_run_task 同批提交),超阈值(默认 10
分钟)推一条管理员告警,文案含逐信号静默时长便于定位。
* 按**机器级**判活而不是逐 worker:变体采集领到长任务后不再调 /batch/task/get,
逐 worker 判会在长任务正常运行时误报「vc 掉线」(实测踩到)。
* machineIdleSeconds=null(从未上报)视为未知并跳过,避免刚上线误报一次。
- 队列积压判据改为 pending≥阈值 **且 processing=0**,阈值默认 300→100:
只看 pending 两边都不讨好(低了误报"一时来不及",高了真出事也不报)。
单 worker 死掉(机器还活着)由这条覆盖。
- 配置:新增 AIIMAGE_NOTIFICATION_MAIXIANG_SILENT_MINUTES(默认 10)。
93 lines
4.2 KiB
Java
93 lines
4.2 KiB
Java
package com.nanri.aiimage.config;
|
||
|
||
import lombok.Data;
|
||
import org.springframework.boot.context.properties.ConfigurationProperties;
|
||
|
||
/**
|
||
* 站内通知(铃铛)扫描与探测配置:
|
||
* 任务失败扫描、下游服务健康探测、已读通知保留期。
|
||
*/
|
||
@Data
|
||
@ConfigurationProperties(prefix = "aiimage.notification")
|
||
public class NotificationProperties {
|
||
|
||
/** 扫描总开关:关闭后任务失败扫描与服务探测都不执行(应急降噪)。 */
|
||
private boolean scanEnabled = true;
|
||
|
||
/** 扫描间隔(毫秒),默认 5 分钟(任务失败聚合按小时去重,高频扫描不会重复提醒)。 */
|
||
private long scanIntervalMs = 5 * 60 * 1000L;
|
||
|
||
/** 首次执行延迟(毫秒),默认 2 分钟,避开启动阶段的数据库压力。 */
|
||
private long scanInitialDelayMs = 2 * 60 * 1000L;
|
||
|
||
/** 任务失败扫描开关。 */
|
||
private boolean taskScanEnabled = true;
|
||
|
||
/** 任务失败回看窗口(分钟):窗口内进入失败终态的任务参与聚合。 */
|
||
private int taskFailedWindowMinutes = 60;
|
||
|
||
/** 单轮任务扫描最多处理条数(超出下一轮继续,避免大表拖垮扫描)。 */
|
||
private int taskScanMaxRows = 1000;
|
||
|
||
/** 服务健康探测开关。 */
|
||
private boolean serviceProbeEnabled = true;
|
||
|
||
/** 品牌检测服务地址(主机A 15126,探测 /api/version);留空=跳过该项探测。 */
|
||
private String brandServiceUrl = "";
|
||
|
||
/** 跟价任务 API 地址(主机B 18960,探测根路径);留空=跳过该项探测。 */
|
||
private String priceTrackApiUrl = "";
|
||
|
||
/** jikip 代理接口探测开关(复用余额查询接口判活,使用 user-secret 的 jikip 配置)。 */
|
||
private boolean jikipProbeEnabled = true;
|
||
|
||
/** 麦象(18960 任务调度)异常扫描开关:任务停滞/失败/队列积压 → 管理员通知。 */
|
||
private boolean maixiangScanEnabled = true;
|
||
|
||
/**
|
||
* 麦象后台接口令牌(18960 console token)。留空=跳过麦象异常扫描——
|
||
* 该令牌与「跟价任务 API 地址」(priceTrackApiUrl) 一起构成后台只读接口的访问凭据。
|
||
*/
|
||
private String maixiangConsoleToken = "";
|
||
|
||
/** 麦象批量任务停滞阈值(分钟):status=0/1 且超过该时长无更新视为卡住。 */
|
||
private int maixiangStuckMinutes = 60;
|
||
|
||
/** 麦象单任务滞留阈值(分钟):创建超时仍未完成(status=0/1)视为滞留/无人消费。 */
|
||
private int maixiangSingleStuckMinutes = 30;
|
||
|
||
/** 麦象任务失败告警阈值(条):近 30 分钟窗口内失败数达到该值才告警。 */
|
||
private int maixiangFailMinCount = 1;
|
||
|
||
/**
|
||
* 麦象队列积压阈值(条):task:queue 待处理数达到该值**且无人消费**(processing=0)才告警。
|
||
*
|
||
* <p>默认从 300 下调到 100:2026-09-29 采集机整机停摆时队列停在 210 条,300 的阈值全程没触发。
|
||
* 单靠调低阈值会引入误报,所以判据同时要求 processing=0 ——「有活没人干」才是故障信号。
|
||
*/
|
||
private int maixiangQueuePendingThreshold = 100;
|
||
|
||
/** 麦象队列积压阈值(条):task:processing 处理中数达到该值告警。 */
|
||
private int maixiangQueueProcessingThreshold = 100;
|
||
|
||
/**
|
||
* 麦象采集端静默阈值(分钟):18960 记录的各 worker 最后轮询时间超过该时长即视为采集机掉线。
|
||
*
|
||
* <p>这是唯一能直接反映「采集机整机停摆」的信号——其余检查都靠任务 update_time 不新鲜
|
||
* 间接推断,一次停摆会被摊成几十条"任务失败",误导排查方向(2026-09-29 停摆 6 小时即如此)。
|
||
* 采集端 pt/vc 每 3~10 秒轮询一次,因此 10 分钟足够宽松,不会误报空闲。
|
||
*/
|
||
private int maixiangSilentMinutes = 10;
|
||
|
||
/** 已读通知保留天数(超期自动清理),默认 90 天。 */
|
||
private int readRetentionDays = 90;
|
||
|
||
/**
|
||
* 未读通知保留天数,默认 180 天(比已读长一倍)。
|
||
*
|
||
* <p>未读通知此前永不清理:不看铃铛的用户会无限累积。保留期给得更宽,
|
||
* 是因为未读意味着"用户可能还没看到",但也不能永远留着。
|
||
*/
|
||
private int unreadRetentionDays = 180;
|
||
}
|