feat(collect-data): 结果 Excel 追加「被过滤明细」sheet,品牌检测失败原因可见

task 32573 回传 600 行只留 1 行,被砍掉的 599 行在系统里只剩四个计数,
谁都答不出「是哪些 ASIN、死在哪一道」。四类被过滤行现在于提交时当场
逐行落库(V179 biz_collectdata_filtered_row),结果 Excel 追加第 3 个
sheet 供逐行对账。不在装配期回读 chunk 重判——去重库与无效品牌库读的
都是当前态,任务窗口期的写入会让判定漂移(错标/漏标/分类串台),
依据逐条写在 V179 头注释里。

同批:brandQueryFailedCount 与原因进历史 VO 和任务卡片;损耗通知不再对
「未配置代理」的用户承诺稍后重跑——补测队列两轮 21/21、28/28 全败、净增
0 行,那句是谎。

台账:XML_STATEMENT_TOTAL 141→143(新 mapper 两条写侧语句);静默 catch
棘轮 total 1028→1031、不重抛 579→582、只 log 181→182(三枚审计件容错,
逐处记名于 CatchSilenceRatchetTest 上方注释)。
This commit is contained in:
2026-10-28 19:31:50 +08:00
parent 0e2af88184
commit c4fc9784e8
30 changed files with 1384 additions and 52 deletions
@@ -488,6 +488,11 @@ aiimage:
brand-check-chunk-budget-millis: ${AIIMAGE_COLLECT_DATA_BRAND_CHECK_CHUNK_BUDGET_MILLIS:10000}
invalid-asin-batch-size: ${AIIMAGE_COLLECT_DATA_INVALID_ASIN_BATCH_SIZE:100}
result-item-batch-size: ${AIIMAGE_COLLECT_DATA_RESULT_ITEM_BATCH_SIZE:100}
filtered-row-batch-size: ${AIIMAGE_COLLECT_DATA_FILTERED_ROW_BATCH_SIZE:200}
# 单任务「被过滤行」逐条落库的上限(V179,供结果 Excel 的「被过滤明细」sheet 追溯)。
# 超限后只累加计数、不再记行,sheet 会如实写「另有 N 行未逐条记录」而不是静默少给。
# 参照量级:task 32573 被过滤 599 行、32058 被过滤 2616 行;设为 0 表示不限。
max-filtered-rows-per-task: ${AIIMAGE_COLLECT_DATA_MAX_FILTERED_ROWS_PER_TASK:50000}
# ASIN 采集结果跨任务缓存(详见 AsinResultCacheService)。新鲜度口径放在服务端,
# 采集端版本不齐时老客户端只会"问不到就照常开页",不会各按各的理解复用到过期数据。
asin-cache:
@@ -0,0 +1,48 @@
-- V179: 采集数据「被过滤行」明细表
--
-- 背景(2026-10-28 实证,task 32573 / uid=1210):客户端回传 600 行,结果只留 1 行。
-- 被砍掉的 599 行在系统里**只剩四个计数**(去重 48 / 黑名单命中 377 / 品牌判侵权 1 /
-- 品牌检测未出结论 173),行内容在 CollectDataBatchQuery.filter 与
-- CollectDataBrandBatchFilter.filter 里当场丢弃。后果是任何人都答不出
-- 「到底是哪些 ASIN、死在哪一道」:用户只看到"保留 1",运维只能逐 chunk 翻日志猜。
-- 本表把这四类被过滤行**逐行带原因**记下来,供结果 Excel 的「被过滤明细」sheet 装配与对账。
--
-- 为什么必须在提交时记、不能在装配时回读 chunk 重判(三种错法,均已核到代码):
-- 1. 错标:去重与无效品牌两支查的都是**当前态**。任务窗口期(32573 跑了近 4 小时)
-- 任何后台导入,都会让当时 kept 的行在装配时"命中"。
-- 2. 漏标:uk_data_value_brand + INSERT IGNORE 使已存在的 (asin,brand) 不落新行(零证据);
-- 空品牌的 rejected 行 toEntity 直接返 null 从不写表,但 classify 把它们算进 rejected。
-- 3. 分类串台:本任务自己的 rejected 行会先写进 biz_invalid_asin_data,而 filter() 只认
-- 品牌表——装配期重判会把"当时被黑名单砍"和"本次刚被判侵权"统统归成同一类。
--
-- 口径:
-- - 只记事实,不参与任何判定;本表任何一行写失败都**不得**影响回传主流程(writer 按批
-- try/catch 跳批,与 CollectDataInvalidAsinBatchWriter 同口径),故它不是强一致审计件;
-- - reason_code 四类:DEDUPE / INVALID_BRAND / BRAND_REJECTED / BRAND_QUERY_FAILED;
-- - 补测回流不删行、也不另立 status 词表:resolved_at 从 NULL 变成时间戳就是唯一状态,
-- 并在 reason_detail 追加「已由补测回流」。**不删行**——删了就把"当时确实没查动"这条
-- 历史一起删掉了;
-- - 体量闸门在应用侧(aiimage.collect-data.max-filtered-rows-per-task),不在库里做。
--
-- 影响表与数据量:新建空表。单任务量级参照 32573(599 行)与 32058(2616 行)。
--
-- 回滚(手工):
-- DROP TABLE IF EXISTS biz_collectdata_filtered_row;
CREATE TABLE IF NOT EXISTS biz_collectdata_filtered_row (
id BIGINT NOT NULL AUTO_INCREMENT COMMENT 'primary key',
task_id BIGINT NOT NULL COMMENT 'biz_file_task.id(COLLECT_DATA 模块)',
chunk_index INT NOT NULL DEFAULT 0 COMMENT '产生本行的回传分片序号(0=收尾/未知)',
asin VARCHAR(32) NOT NULL DEFAULT '' COMMENT '被过滤的 ASIN(归一化大写,与结果 sheet 同口径)',
keyword VARCHAR(255) NULL COMMENT '所属关键词',
brand VARCHAR(255) NULL COMMENT '品牌(BrandLabel.strip 展示口径,与明细 sheet 同形)',
reason_code VARCHAR(24) NOT NULL COMMENT 'DEDUPE / INVALID_BRAND / BRAND_REJECTED / BRAND_QUERY_FAILED',
reason_detail VARCHAR(500) NULL COMMENT '可展示的原因(如「用户未配置代理」)',
resolved_at DATETIME NULL COMMENT '补测回流时间;NULL=当时没查动且至今没回来(本表的唯一状态)',
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'created time',
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'updated time',
PRIMARY KEY (id),
KEY idx_filtered_task_reason (task_id, reason_code) COMMENT '装配 sheet 与四类计数对账',
KEY idx_filtered_task_asin (task_id, asin) COMMENT '补测回流按 ASIN 定位未回流行'
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC
COMMENT = '采集数据被过滤行明细(四类过滤逐行带原因,供结果 Excel 追溯与对账)';
@@ -0,0 +1,32 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.nanri.aiimage.modules.collectdata.mapper.CollectDataFilteredRowMapper">
<!-- 被过滤行是审计件,不是判定依据:本表无唯一键,同 ASIN 可在不同关键词/分片各被记一次。
status 不在此列——库里 resolved_at 为 NULL 就是"还没回流",没有第二套词表要 Java 写。 -->
<insert id="insertBatch">
INSERT INTO biz_collectdata_filtered_row
(task_id, chunk_index, asin, keyword, brand, reason_code, reason_detail)
VALUES
<foreach collection="rows" item="row" separator=",">
(#{row.taskId}, #{row.chunkIndex}, #{row.asin},
#{row.keyword,jdbcType=VARCHAR}, #{row.brand,jdbcType=VARCHAR},
#{row.reasonCode}, #{row.reasonDetail,jdbcType=VARCHAR})
</foreach>
</insert>
<!-- 补测回流:只盖时间戳并在原因后追加一句,不删行——删了就把「当时确实没查动」这条历史一起删掉了。
resolved_at IS NULL 让重复回流天然幂等(同一 ASIN 补两次也只追加一句)。 -->
<update id="markResolved">
UPDATE biz_collectdata_filtered_row
SET resolved_at = NOW(),
reason_detail = CONCAT(IFNULL(reason_detail, ''), #{detailSuffix})
WHERE task_id = #{taskId}
AND resolved_at IS NULL
AND asin IN
<foreach collection="asins" item="asin" open="(" separator="," close=")">
#{asin}
</foreach>
</update>
</mapper>