feat(ASIN缓存): 新增 ASIN 采集结果跨任务缓存(asincache 模块 + V139)

同一个 (国家, ASIN) 的详情页被反复重采:单任务内 62.9 倍重复(43,504 行只有 692 个
不同 ASIN)、8 天跨任务 6.7 万行重复(2026-10-01 实测),每条重复都意味着重开一次页、
可能重买一次代理 IP。关键词链与变体链的结果分别落在两处互相看不见,只有 Java 侧能同时
收到两条链的结论,所以缓存放服务端、由服务端判新鲜度。

- 新表 biz_asin_result_cache(V139):一个 (国家, ASIN) 一行,重采覆盖;只收两种可复用
  结论 —— OK(页面正常且有价格,复用 60 分钟)、NOT_FOUND(详情页 404,复用 7 天);
  空价 / 风控拦截页 / 采集异常一律不入库,避免把瞬时故障锁成永久结论
- 新鲜度只在服务端判(按 observed_at 真正开页时间);采集端拿不到 / 看不懂一律照常开页
  (fail-open),任何情况下不许让缓存导致漏行、错行
- 新增内部接口 /api/internal/asin-cache/query|write(X-Internal-Token 自校验,与
  InternalBrandTaskController 同口径),供采集端开页前先问、采完回写
- 关键词采集链在任务锁外旁路写入:缓存写失败的代价只是"下次多开一次页",只记 warn,
  不影响 chunk 提交
- migration-inventory.md 快照更新至 V139,「V137 冗余索引 DROP」待办顺延 V140

测试:AsinResultCacheServiceTest(13)/ InternalAsinCacheControllerTest(5)/ 采集链
4 个测试类(35)共 53 例全绿。
This commit is contained in:
2026-10-01 12:19:05 +08:00
parent 051eab6de5
commit 629fdfab79
20 changed files with 1312 additions and 8 deletions
@@ -396,6 +396,16 @@ aiimage:
brand-check-cache-capacity: ${AIIMAGE_COLLECT_DATA_BRAND_CHECK_CACHE_CAPACITY:512}
invalid-asin-batch-size: ${AIIMAGE_COLLECT_DATA_INVALID_ASIN_BATCH_SIZE:100}
result-item-batch-size: ${AIIMAGE_COLLECT_DATA_RESULT_ITEM_BATCH_SIZE:100}
# ASIN 采集结果跨任务缓存(详见 AsinResultCacheService)。新鲜度口径放在服务端,
# 采集端版本不齐时老客户端只会"问不到就照常开页",不会各按各的理解复用到过期数据。
asin-cache:
# 页面正常且有价格:价格会变,只复用这么短时间内(分钟)
priced-ttl-minutes: ${AIIMAGE_ASIN_CACHE_PRICED_TTL_MINUTES:60}
# 详情页 404「此 ASIN 不存在」:基本永久,缓存最长(小时)
not-found-ttl-hours: ${AIIMAGE_ASIN_CACHE_NOT_FOUND_TTL_HOURS:168}
max-query-asins: ${AIIMAGE_ASIN_CACHE_MAX_QUERY_ASINS:500}
max-write-rows: ${AIIMAGE_ASIN_CACHE_MAX_WRITE_ROWS:500}
write-batch-size: ${AIIMAGE_ASIN_CACHE_WRITE_BATCH_SIZE:100}
image-video:
coze-base-url: ${AIIMAGE_IMAGE_VIDEO_COZE_BASE_URL:https://api.coze.cn}
coze-token: ${AIIMAGE_IMAGE_VIDEO_COZE_TOKEN:}
@@ -0,0 +1,45 @@
-- V139: ASIN 采集结果缓存表(跨任务/跨链复用的唯一事实源)
--
-- 为什么要这张表(2026-10-01 实测):同一个 (国家, ASIN) 的详情页被反复重采。
-- · 任务内:变体采集单任务 d56024ff 写出 43,504 行,去重后只有 692 个不同 ASIN(重复 62.9 倍);
-- · 跨任务:8 天自连接重复 67,169 行。
-- 每一行都要开一次页、可能买一次代理 IP,而关键词采集与变体采集的结果分别落在
-- biz_task_result_item 与麦象 MySQL 的 variant_collection 两处,互相看不见 ——
-- 只有 Java 这侧能同时收到两条链的结论,所以缓存放这里、由这里判新鲜度。
--
-- 复用口径(服务端唯一判定,客户端不参与,见 AsinResultCacheService):
-- · OK 页面正常且取到价格 —— 只复用很短时间内的(默认 60 分钟,价格会变)
-- · NOT_FOUND 详情页 404「此 ASIN 不存在」—— 基本永久,复用最长(默认 7 天,省开页最多)
-- · 其余(空价/拦截页/采集异常/不可售)一律不写本表:那些结论要么可能是我们
-- 自己的解析/风控问题,要么换一次出口 IP 就能救回,缓存它等于把这个 ASIN
-- 永久锁成空行。
--
-- collation 显式写死 utf8mb4_general_ci:库里不同表的默认排序规则不一致
-- (biz_dedupe_total_data / biz_collect_data_item 是 general_ci,部分新表走库默认),
-- 注解 SQL 里 (country, asin) 与入参比较一旦跨排序规则会抛 Illegal mix of collations,
-- 这类错误只在运行期出现、编译期查不出来。
--
-- 回滚(手工):
-- DROP TABLE IF EXISTS biz_asin_result_cache;
CREATE TABLE IF NOT EXISTS biz_asin_result_cache (
id BIGINT NOT NULL AUTO_INCREMENT COMMENT 'primary key',
country VARCHAR(16) NOT NULL COMMENT '国家代码(大写),与 ASIN 一起构成缓存键',
asin VARCHAR(32) NOT NULL COMMENT '商品 ASIN',
availability VARCHAR(16) NOT NULL COMMENT '可复用结论:OK / NOT_FOUND(其余取值不入库)',
price VARCHAR(32) NULL COMMENT '价格原文(带当地币种符号,不做数值化以免丢信息)',
brand VARCHAR(255) NULL COMMENT '品牌',
delivery_method VARCHAR(32) NULL COMMENT '配送方式:FBA / FBM / AMZ / NA',
seller_name VARCHAR(255) NULL COMMENT '卖家名称',
seller_id VARCHAR(64) NULL COMMENT 'merchantID',
declared_members_json TEXT NULL COMMENT '该 ASIN 页面自己声明的变体成员列表(JSON 数组);跳过开页时靠它补齐产出行,见 VariantCollectionHandler._remember_family',
source_chain VARCHAR(32) NOT NULL COMMENT '结论来源链:COLLECT_DATA / VARIANT / DETAIL',
source_task_id VARCHAR(64) NULL COMMENT '来源任务标识(Java 任务 id 或麦象 task_id,仅用于排查)',
observed_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '采集机上真正打开该页面的时间(新鲜度按它算,不是按入库时间)',
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'created time',
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'updated time',
PRIMARY KEY (id),
UNIQUE KEY uk_asin_cache_country_asin (country, asin) COMMENT '一个 (国家, ASIN) 一行,重采即覆盖',
KEY idx_asin_cache_observed (availability, observed_at) COMMENT '新鲜度判定与后续保留期清理'
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC
COMMENT = 'ASIN 采集结果跨任务缓存(关键词链与变体链共用)';