feat(采集数据): 品牌检测失败自动补测队列,限流窗口后自动重查并补结果(V140)
WIPO 限流窗口内 queryFailed 的品牌按任务排队(biz_collectdata_brand_recheck,同任务同品牌幂等),Scheduler 按指数退避自动补测:补出无侵权→行补进结果文件,判出侵权→落无效品牌表,连续耗尽→EXHAUSTED 并通知。只存品牌不存行,注入按 payload_hash 幂等。
This commit is contained in:
@@ -0,0 +1,39 @@
|
||||
-- V140: 采集数据品牌检测失败补测队列表
|
||||
--
|
||||
-- 背景(2026-10-02 实证):WIPO 全球商标库限流 10:00–21:00 持续 11 小时,两台 java
|
||||
-- 「brand-check 重试耗尽」2778 次,当天 22 条「部分结果缺失」通知(单任务最高 111 行)。
|
||||
-- queryFailed 的行按设计不进结果、也不落无效品牌表(task-27265 教训:误杀不可逆),
|
||||
-- 但现状除一条计数通知外无任何出口——用户既不知道具体哪些 ASIN,也没有自动重试。
|
||||
-- 本表把「品牌检测失败的品牌」按任务排队,由 CollectDataBrandRecheckScheduler 在
|
||||
-- 上游限流窗口过去后自动重查,补测出结论的行自动补进结果文件(或判进无效品牌表)。
|
||||
--
|
||||
-- 只存品牌不存行:行数据仍以 chunk 全量 payload 形式留在 RustFS(biz_task_chunk),
|
||||
-- 注入时按品牌回读,避免行级数据双写。
|
||||
--
|
||||
-- 状态机:PENDING(排队)→ INJECTED(补测无侵权命中,行已补进结果)/
|
||||
-- REJECTED(补测判出侵权命中,行已落无效品牌表)/
|
||||
-- EXHAUSTED(连续 maxAttempts 轮仍失败,不再自动重试)。
|
||||
--
|
||||
-- 幂等:同任务同品牌一行(uk_recheck_task_brand),chunk 重复失败不刷新首次时间、
|
||||
-- 不改状态、不重置退避;结果行注入靠 biz_task_result_item 的 payload_hash 跳过语义幂等。
|
||||
--
|
||||
-- 回滚(手工):
|
||||
-- DROP TABLE IF EXISTS biz_collectdata_brand_recheck;
|
||||
|
||||
CREATE TABLE IF NOT EXISTS biz_collectdata_brand_recheck (
|
||||
id BIGINT NOT NULL AUTO_INCREMENT COMMENT 'primary key',
|
||||
task_id BIGINT NOT NULL COMMENT 'biz_file_task.id(COLLECT_DATA 模块)',
|
||||
task_no VARCHAR(64) NULL COMMENT '任务号(COLLECT_DATA-雪花,仅展示/排查用)',
|
||||
user_id BIGINT NOT NULL COMMENT '任务归属用户(补测结果通知收件人)',
|
||||
brand VARCHAR(255) NOT NULL COMMENT '品牌(归一化小写,与 CollectDataBrandBatchFilter.normalizeBrand 同口径)',
|
||||
status VARCHAR(16) NOT NULL DEFAULT 'PENDING' COMMENT 'PENDING / INJECTED / REJECTED / EXHAUSTED',
|
||||
attempt_count INT NOT NULL DEFAULT 0 COMMENT '已实际执行的补测轮次(顺延不计)',
|
||||
last_error VARCHAR(500) NULL COMMENT '最近一次补测失败原因(截断)',
|
||||
next_attempt_at DATETIME NOT NULL COMMENT '下次补测时间(失败后按 30m 起指数退避)',
|
||||
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'created time',
|
||||
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'updated time',
|
||||
PRIMARY KEY (id),
|
||||
UNIQUE KEY uk_recheck_task_brand (task_id, brand) COMMENT '同任务同品牌一行',
|
||||
KEY idx_recheck_status_next (status, next_attempt_at) COMMENT '到期 PENDING 条目轮询'
|
||||
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC
|
||||
COMMENT = '采集数据品牌检测失败补测队列(上游限流窗口过去后自动重查并补结果)';
|
||||
Reference in New Issue
Block a user