feat(ASIN缓存): 新增 ASIN 采集结果跨任务缓存(asincache 模块 + V139)
同一个 (国家, ASIN) 的详情页被反复重采:单任务内 62.9 倍重复(43,504 行只有 692 个 不同 ASIN)、8 天跨任务 6.7 万行重复(2026-10-01 实测),每条重复都意味着重开一次页、 可能重买一次代理 IP。关键词链与变体链的结果分别落在两处互相看不见,只有 Java 侧能同时 收到两条链的结论,所以缓存放服务端、由服务端判新鲜度。 - 新表 biz_asin_result_cache(V139):一个 (国家, ASIN) 一行,重采覆盖;只收两种可复用 结论 —— OK(页面正常且有价格,复用 60 分钟)、NOT_FOUND(详情页 404,复用 7 天); 空价 / 风控拦截页 / 采集异常一律不入库,避免把瞬时故障锁成永久结论 - 新鲜度只在服务端判(按 observed_at 真正开页时间);采集端拿不到 / 看不懂一律照常开页 (fail-open),任何情况下不许让缓存导致漏行、错行 - 新增内部接口 /api/internal/asin-cache/query|write(X-Internal-Token 自校验,与 InternalBrandTaskController 同口径),供采集端开页前先问、采完回写 - 关键词采集链在任务锁外旁路写入:缓存写失败的代价只是"下次多开一次页",只记 warn, 不影响 chunk 提交 - migration-inventory.md 快照更新至 V139,「V137 冗余索引 DROP」待办顺延 V140 测试:AsinResultCacheServiceTest(13)/ InternalAsinCacheControllerTest(5)/ 采集链 4 个测试类(35)共 53 例全绿。
This commit is contained in:
@@ -0,0 +1,45 @@
|
||||
-- V139: ASIN 采集结果缓存表(跨任务/跨链复用的唯一事实源)
|
||||
--
|
||||
-- 为什么要这张表(2026-10-01 实测):同一个 (国家, ASIN) 的详情页被反复重采。
|
||||
-- · 任务内:变体采集单任务 d56024ff 写出 43,504 行,去重后只有 692 个不同 ASIN(重复 62.9 倍);
|
||||
-- · 跨任务:8 天自连接重复 67,169 行。
|
||||
-- 每一行都要开一次页、可能买一次代理 IP,而关键词采集与变体采集的结果分别落在
|
||||
-- biz_task_result_item 与麦象 MySQL 的 variant_collection 两处,互相看不见 ——
|
||||
-- 只有 Java 这侧能同时收到两条链的结论,所以缓存放这里、由这里判新鲜度。
|
||||
--
|
||||
-- 复用口径(服务端唯一判定,客户端不参与,见 AsinResultCacheService):
|
||||
-- · OK 页面正常且取到价格 —— 只复用很短时间内的(默认 60 分钟,价格会变)
|
||||
-- · NOT_FOUND 详情页 404「此 ASIN 不存在」—— 基本永久,复用最长(默认 7 天,省开页最多)
|
||||
-- · 其余(空价/拦截页/采集异常/不可售)一律不写本表:那些结论要么可能是我们
|
||||
-- 自己的解析/风控问题,要么换一次出口 IP 就能救回,缓存它等于把这个 ASIN
|
||||
-- 永久锁成空行。
|
||||
--
|
||||
-- collation 显式写死 utf8mb4_general_ci:库里不同表的默认排序规则不一致
|
||||
-- (biz_dedupe_total_data / biz_collect_data_item 是 general_ci,部分新表走库默认),
|
||||
-- 注解 SQL 里 (country, asin) 与入参比较一旦跨排序规则会抛 Illegal mix of collations,
|
||||
-- 这类错误只在运行期出现、编译期查不出来。
|
||||
--
|
||||
-- 回滚(手工):
|
||||
-- DROP TABLE IF EXISTS biz_asin_result_cache;
|
||||
|
||||
CREATE TABLE IF NOT EXISTS biz_asin_result_cache (
|
||||
id BIGINT NOT NULL AUTO_INCREMENT COMMENT 'primary key',
|
||||
country VARCHAR(16) NOT NULL COMMENT '国家代码(大写),与 ASIN 一起构成缓存键',
|
||||
asin VARCHAR(32) NOT NULL COMMENT '商品 ASIN',
|
||||
availability VARCHAR(16) NOT NULL COMMENT '可复用结论:OK / NOT_FOUND(其余取值不入库)',
|
||||
price VARCHAR(32) NULL COMMENT '价格原文(带当地币种符号,不做数值化以免丢信息)',
|
||||
brand VARCHAR(255) NULL COMMENT '品牌',
|
||||
delivery_method VARCHAR(32) NULL COMMENT '配送方式:FBA / FBM / AMZ / NA',
|
||||
seller_name VARCHAR(255) NULL COMMENT '卖家名称',
|
||||
seller_id VARCHAR(64) NULL COMMENT 'merchantID',
|
||||
declared_members_json TEXT NULL COMMENT '该 ASIN 页面自己声明的变体成员列表(JSON 数组);跳过开页时靠它补齐产出行,见 VariantCollectionHandler._remember_family',
|
||||
source_chain VARCHAR(32) NOT NULL COMMENT '结论来源链:COLLECT_DATA / VARIANT / DETAIL',
|
||||
source_task_id VARCHAR(64) NULL COMMENT '来源任务标识(Java 任务 id 或麦象 task_id,仅用于排查)',
|
||||
observed_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '采集机上真正打开该页面的时间(新鲜度按它算,不是按入库时间)',
|
||||
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'created time',
|
||||
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'updated time',
|
||||
PRIMARY KEY (id),
|
||||
UNIQUE KEY uk_asin_cache_country_asin (country, asin) COMMENT '一个 (国家, ASIN) 一行,重采即覆盖',
|
||||
KEY idx_asin_cache_observed (availability, observed_at) COMMENT '新鲜度判定与后续保留期清理'
|
||||
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC
|
||||
COMMENT = 'ASIN 采集结果跨任务缓存(关键词链与变体链共用)';
|
||||
Reference in New Issue
Block a user