feat(collect-data): 结果 Excel 追加「被过滤明细」sheet,品牌检测失败原因可见
task 32573 回传 600 行只留 1 行,被砍掉的 599 行在系统里只剩四个计数, 谁都答不出「是哪些 ASIN、死在哪一道」。四类被过滤行现在于提交时当场 逐行落库(V179 biz_collectdata_filtered_row),结果 Excel 追加第 3 个 sheet 供逐行对账。不在装配期回读 chunk 重判——去重库与无效品牌库读的 都是当前态,任务窗口期的写入会让判定漂移(错标/漏标/分类串台), 依据逐条写在 V179 头注释里。 同批:brandQueryFailedCount 与原因进历史 VO 和任务卡片;损耗通知不再对 「未配置代理」的用户承诺稍后重跑——补测队列两轮 21/21、28/28 全败、净增 0 行,那句是谎。 台账:XML_STATEMENT_TOTAL 141→143(新 mapper 两条写侧语句);静默 catch 棘轮 total 1028→1031、不重抛 579→582、只 log 181→182(三枚审计件容错, 逐处记名于 CatchSilenceRatchetTest 上方注释)。
This commit is contained in:
@@ -488,6 +488,11 @@ aiimage:
|
||||
brand-check-chunk-budget-millis: ${AIIMAGE_COLLECT_DATA_BRAND_CHECK_CHUNK_BUDGET_MILLIS:10000}
|
||||
invalid-asin-batch-size: ${AIIMAGE_COLLECT_DATA_INVALID_ASIN_BATCH_SIZE:100}
|
||||
result-item-batch-size: ${AIIMAGE_COLLECT_DATA_RESULT_ITEM_BATCH_SIZE:100}
|
||||
filtered-row-batch-size: ${AIIMAGE_COLLECT_DATA_FILTERED_ROW_BATCH_SIZE:200}
|
||||
# 单任务「被过滤行」逐条落库的上限(V179,供结果 Excel 的「被过滤明细」sheet 追溯)。
|
||||
# 超限后只累加计数、不再记行,sheet 会如实写「另有 N 行未逐条记录」而不是静默少给。
|
||||
# 参照量级:task 32573 被过滤 599 行、32058 被过滤 2616 行;设为 0 表示不限。
|
||||
max-filtered-rows-per-task: ${AIIMAGE_COLLECT_DATA_MAX_FILTERED_ROWS_PER_TASK:50000}
|
||||
# ASIN 采集结果跨任务缓存(详见 AsinResultCacheService)。新鲜度口径放在服务端,
|
||||
# 采集端版本不齐时老客户端只会"问不到就照常开页",不会各按各的理解复用到过期数据。
|
||||
asin-cache:
|
||||
|
||||
@@ -0,0 +1,48 @@
|
||||
-- V179: 采集数据「被过滤行」明细表
|
||||
--
|
||||
-- 背景(2026-10-28 实证,task 32573 / uid=1210):客户端回传 600 行,结果只留 1 行。
|
||||
-- 被砍掉的 599 行在系统里**只剩四个计数**(去重 48 / 黑名单命中 377 / 品牌判侵权 1 /
|
||||
-- 品牌检测未出结论 173),行内容在 CollectDataBatchQuery.filter 与
|
||||
-- CollectDataBrandBatchFilter.filter 里当场丢弃。后果是任何人都答不出
|
||||
-- 「到底是哪些 ASIN、死在哪一道」:用户只看到"保留 1",运维只能逐 chunk 翻日志猜。
|
||||
-- 本表把这四类被过滤行**逐行带原因**记下来,供结果 Excel 的「被过滤明细」sheet 装配与对账。
|
||||
--
|
||||
-- 为什么必须在提交时记、不能在装配时回读 chunk 重判(三种错法,均已核到代码):
|
||||
-- 1. 错标:去重与无效品牌两支查的都是**当前态**。任务窗口期(32573 跑了近 4 小时)
|
||||
-- 任何后台导入,都会让当时 kept 的行在装配时"命中"。
|
||||
-- 2. 漏标:uk_data_value_brand + INSERT IGNORE 使已存在的 (asin,brand) 不落新行(零证据);
|
||||
-- 空品牌的 rejected 行 toEntity 直接返 null 从不写表,但 classify 把它们算进 rejected。
|
||||
-- 3. 分类串台:本任务自己的 rejected 行会先写进 biz_invalid_asin_data,而 filter() 只认
|
||||
-- 品牌表——装配期重判会把"当时被黑名单砍"和"本次刚被判侵权"统统归成同一类。
|
||||
--
|
||||
-- 口径:
|
||||
-- - 只记事实,不参与任何判定;本表任何一行写失败都**不得**影响回传主流程(writer 按批
|
||||
-- try/catch 跳批,与 CollectDataInvalidAsinBatchWriter 同口径),故它不是强一致审计件;
|
||||
-- - reason_code 四类:DEDUPE / INVALID_BRAND / BRAND_REJECTED / BRAND_QUERY_FAILED;
|
||||
-- - 补测回流不删行、也不另立 status 词表:resolved_at 从 NULL 变成时间戳就是唯一状态,
|
||||
-- 并在 reason_detail 追加「已由补测回流」。**不删行**——删了就把"当时确实没查动"这条
|
||||
-- 历史一起删掉了;
|
||||
-- - 体量闸门在应用侧(aiimage.collect-data.max-filtered-rows-per-task),不在库里做。
|
||||
--
|
||||
-- 影响表与数据量:新建空表。单任务量级参照 32573(599 行)与 32058(2616 行)。
|
||||
--
|
||||
-- 回滚(手工):
|
||||
-- DROP TABLE IF EXISTS biz_collectdata_filtered_row;
|
||||
|
||||
CREATE TABLE IF NOT EXISTS biz_collectdata_filtered_row (
|
||||
id BIGINT NOT NULL AUTO_INCREMENT COMMENT 'primary key',
|
||||
task_id BIGINT NOT NULL COMMENT 'biz_file_task.id(COLLECT_DATA 模块)',
|
||||
chunk_index INT NOT NULL DEFAULT 0 COMMENT '产生本行的回传分片序号(0=收尾/未知)',
|
||||
asin VARCHAR(32) NOT NULL DEFAULT '' COMMENT '被过滤的 ASIN(归一化大写,与结果 sheet 同口径)',
|
||||
keyword VARCHAR(255) NULL COMMENT '所属关键词',
|
||||
brand VARCHAR(255) NULL COMMENT '品牌(BrandLabel.strip 展示口径,与明细 sheet 同形)',
|
||||
reason_code VARCHAR(24) NOT NULL COMMENT 'DEDUPE / INVALID_BRAND / BRAND_REJECTED / BRAND_QUERY_FAILED',
|
||||
reason_detail VARCHAR(500) NULL COMMENT '可展示的原因(如「用户未配置代理」)',
|
||||
resolved_at DATETIME NULL COMMENT '补测回流时间;NULL=当时没查动且至今没回来(本表的唯一状态)',
|
||||
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'created time',
|
||||
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'updated time',
|
||||
PRIMARY KEY (id),
|
||||
KEY idx_filtered_task_reason (task_id, reason_code) COMMENT '装配 sheet 与四类计数对账',
|
||||
KEY idx_filtered_task_asin (task_id, asin) COMMENT '补测回流按 ASIN 定位未回流行'
|
||||
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC
|
||||
COMMENT = '采集数据被过滤行明细(四类过滤逐行带原因,供结果 Excel 追溯与对账)';
|
||||
@@ -0,0 +1,32 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
|
||||
<mapper namespace="com.nanri.aiimage.modules.collectdata.mapper.CollectDataFilteredRowMapper">
|
||||
|
||||
<!-- 被过滤行是审计件,不是判定依据:本表无唯一键,同 ASIN 可在不同关键词/分片各被记一次。
|
||||
status 不在此列——库里 resolved_at 为 NULL 就是"还没回流",没有第二套词表要 Java 写。 -->
|
||||
<insert id="insertBatch">
|
||||
INSERT INTO biz_collectdata_filtered_row
|
||||
(task_id, chunk_index, asin, keyword, brand, reason_code, reason_detail)
|
||||
VALUES
|
||||
<foreach collection="rows" item="row" separator=",">
|
||||
(#{row.taskId}, #{row.chunkIndex}, #{row.asin},
|
||||
#{row.keyword,jdbcType=VARCHAR}, #{row.brand,jdbcType=VARCHAR},
|
||||
#{row.reasonCode}, #{row.reasonDetail,jdbcType=VARCHAR})
|
||||
</foreach>
|
||||
</insert>
|
||||
|
||||
<!-- 补测回流:只盖时间戳并在原因后追加一句,不删行——删了就把「当时确实没查动」这条历史一起删掉了。
|
||||
resolved_at IS NULL 让重复回流天然幂等(同一 ASIN 补两次也只追加一句)。 -->
|
||||
<update id="markResolved">
|
||||
UPDATE biz_collectdata_filtered_row
|
||||
SET resolved_at = NOW(),
|
||||
reason_detail = CONCAT(IFNULL(reason_detail, ''), #{detailSuffix})
|
||||
WHERE task_id = #{taskId}
|
||||
AND resolved_at IS NULL
|
||||
AND asin IN
|
||||
<foreach collection="asins" item="asin" open="(" separator="," close=")">
|
||||
#{asin}
|
||||
</foreach>
|
||||
</update>
|
||||
|
||||
</mapper>
|
||||
Reference in New Issue
Block a user