feat(collect-data): 结果 Excel 追加「被过滤明细」sheet,品牌检测失败原因可见

task 32573 回传 600 行只留 1 行,被砍掉的 599 行在系统里只剩四个计数,
谁都答不出「是哪些 ASIN、死在哪一道」。四类被过滤行现在于提交时当场
逐行落库(V179 biz_collectdata_filtered_row),结果 Excel 追加第 3 个
sheet 供逐行对账。不在装配期回读 chunk 重判——去重库与无效品牌库读的
都是当前态,任务窗口期的写入会让判定漂移(错标/漏标/分类串台),
依据逐条写在 V179 头注释里。

同批:brandQueryFailedCount 与原因进历史 VO 和任务卡片;损耗通知不再对
「未配置代理」的用户承诺稍后重跑——补测队列两轮 21/21、28/28 全败、净增
0 行,那句是谎。

台账:XML_STATEMENT_TOTAL 141→143(新 mapper 两条写侧语句);静默 catch
棘轮 total 1028→1031、不重抛 579→582、只 log 181→182(三枚审计件容错,
逐处记名于 CatchSilenceRatchetTest 上方注释)。
This commit is contained in:
2026-10-28 19:31:50 +08:00
parent 0e2af88184
commit c4fc9784e8
30 changed files with 1384 additions and 52 deletions
@@ -0,0 +1,48 @@
-- V179: 采集数据「被过滤行」明细表
--
-- 背景(2026-10-28 实证,task 32573 / uid=1210):客户端回传 600 行,结果只留 1 行。
-- 被砍掉的 599 行在系统里**只剩四个计数**(去重 48 / 黑名单命中 377 / 品牌判侵权 1 /
-- 品牌检测未出结论 173),行内容在 CollectDataBatchQuery.filter 与
-- CollectDataBrandBatchFilter.filter 里当场丢弃。后果是任何人都答不出
-- 「到底是哪些 ASIN、死在哪一道」:用户只看到"保留 1",运维只能逐 chunk 翻日志猜。
-- 本表把这四类被过滤行**逐行带原因**记下来,供结果 Excel 的「被过滤明细」sheet 装配与对账。
--
-- 为什么必须在提交时记、不能在装配时回读 chunk 重判(三种错法,均已核到代码):
-- 1. 错标:去重与无效品牌两支查的都是**当前态**。任务窗口期(32573 跑了近 4 小时)
-- 任何后台导入,都会让当时 kept 的行在装配时"命中"。
-- 2. 漏标:uk_data_value_brand + INSERT IGNORE 使已存在的 (asin,brand) 不落新行(零证据);
-- 空品牌的 rejected 行 toEntity 直接返 null 从不写表,但 classify 把它们算进 rejected。
-- 3. 分类串台:本任务自己的 rejected 行会先写进 biz_invalid_asin_data,而 filter() 只认
-- 品牌表——装配期重判会把"当时被黑名单砍"和"本次刚被判侵权"统统归成同一类。
--
-- 口径:
-- - 只记事实,不参与任何判定;本表任何一行写失败都**不得**影响回传主流程(writer 按批
-- try/catch 跳批,与 CollectDataInvalidAsinBatchWriter 同口径),故它不是强一致审计件;
-- - reason_code 四类:DEDUPE / INVALID_BRAND / BRAND_REJECTED / BRAND_QUERY_FAILED;
-- - 补测回流不删行、也不另立 status 词表:resolved_at 从 NULL 变成时间戳就是唯一状态,
-- 并在 reason_detail 追加「已由补测回流」。**不删行**——删了就把"当时确实没查动"这条
-- 历史一起删掉了;
-- - 体量闸门在应用侧(aiimage.collect-data.max-filtered-rows-per-task),不在库里做。
--
-- 影响表与数据量:新建空表。单任务量级参照 32573(599 行)与 32058(2616 行)。
--
-- 回滚(手工):
-- DROP TABLE IF EXISTS biz_collectdata_filtered_row;
CREATE TABLE IF NOT EXISTS biz_collectdata_filtered_row (
id BIGINT NOT NULL AUTO_INCREMENT COMMENT 'primary key',
task_id BIGINT NOT NULL COMMENT 'biz_file_task.id(COLLECT_DATA 模块)',
chunk_index INT NOT NULL DEFAULT 0 COMMENT '产生本行的回传分片序号(0=收尾/未知)',
asin VARCHAR(32) NOT NULL DEFAULT '' COMMENT '被过滤的 ASIN(归一化大写,与结果 sheet 同口径)',
keyword VARCHAR(255) NULL COMMENT '所属关键词',
brand VARCHAR(255) NULL COMMENT '品牌(BrandLabel.strip 展示口径,与明细 sheet 同形)',
reason_code VARCHAR(24) NOT NULL COMMENT 'DEDUPE / INVALID_BRAND / BRAND_REJECTED / BRAND_QUERY_FAILED',
reason_detail VARCHAR(500) NULL COMMENT '可展示的原因(如「用户未配置代理」)',
resolved_at DATETIME NULL COMMENT '补测回流时间;NULL=当时没查动且至今没回来(本表的唯一状态)',
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'created time',
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'updated time',
PRIMARY KEY (id),
KEY idx_filtered_task_reason (task_id, reason_code) COMMENT '装配 sheet 与四类计数对账',
KEY idx_filtered_task_asin (task_id, asin) COMMENT '补测回流按 ASIN 定位未回流行'
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC
COMMENT = '采集数据被过滤行明细(四类过滤逐行带原因,供结果 Excel 追溯与对账)';