feat(ASIN缓存): 新增 ASIN 采集结果跨任务缓存(asincache 模块 + V139)

同一个 (国家, ASIN) 的详情页被反复重采:单任务内 62.9 倍重复(43,504 行只有 692 个
不同 ASIN)、8 天跨任务 6.7 万行重复(2026-10-01 实测),每条重复都意味着重开一次页、
可能重买一次代理 IP。关键词链与变体链的结果分别落在两处互相看不见,只有 Java 侧能同时
收到两条链的结论,所以缓存放服务端、由服务端判新鲜度。

- 新表 biz_asin_result_cache(V139):一个 (国家, ASIN) 一行,重采覆盖;只收两种可复用
  结论 —— OK(页面正常且有价格,复用 60 分钟)、NOT_FOUND(详情页 404,复用 7 天);
  空价 / 风控拦截页 / 采集异常一律不入库,避免把瞬时故障锁成永久结论
- 新鲜度只在服务端判(按 observed_at 真正开页时间);采集端拿不到 / 看不懂一律照常开页
  (fail-open),任何情况下不许让缓存导致漏行、错行
- 新增内部接口 /api/internal/asin-cache/query|write(X-Internal-Token 自校验,与
  InternalBrandTaskController 同口径),供采集端开页前先问、采完回写
- 关键词采集链在任务锁外旁路写入:缓存写失败的代价只是"下次多开一次页",只记 warn,
  不影响 chunk 提交
- migration-inventory.md 快照更新至 V139,「V137 冗余索引 DROP」待办顺延 V140

测试:AsinResultCacheServiceTest(13)/ InternalAsinCacheControllerTest(5)/ 采集链
4 个测试类(35)共 53 例全绿。
This commit is contained in:
2026-10-01 12:19:05 +08:00
parent 051eab6de5
commit 629fdfab79
20 changed files with 1312 additions and 8 deletions
@@ -12,6 +12,7 @@ import com.nanri.aiimage.common.exception.BusinessCodes;
import com.nanri.aiimage.common.exception.BusinessException;
import com.nanri.aiimage.common.security.AdminAuthSupport;
import com.nanri.aiimage.common.util.ExcelStreamReader;
import com.nanri.aiimage.modules.asincache.service.AsinResultCacheService;
import com.nanri.aiimage.modules.collectdata.mapper.CollectDataCountryPrefMapper;
import com.nanri.aiimage.modules.collectdata.mapper.CollectDataItemMapper;
import com.nanri.aiimage.modules.collectdata.model.dto.CollectDataCountryPreferenceSaveRequest;
@@ -182,6 +183,9 @@ public class CollectDataService {
private final TaskProgressLightAssembler taskProgressLightAssembler;
private final NotificationDispatchService notificationDispatchService;
/** ASIN 跨任务结果缓存:本链只负责"顺带贡献结论",写入失败绝不影响 chunk 提交。 */
private final AsinResultCacheService asinResultCacheService;
@Value("${aiimage.collect-data.stale-timeout-minutes:30}")
private long staleTimeoutMinutes;
@@ -830,6 +834,11 @@ public class CollectDataService {
log.info("[collect-data] 锁外预处理完成 taskId={} rows={} 去重后={} 品牌检测耗时={}ms",
taskId, rows.size(), filtered.kept().size(), System.currentTimeMillis() - prepareStartAt);
// ASIN 结果缓存旁路写入同样放锁外:这把锁的持有时间是心跳与其他 chunk 的排队预算
// (见上方品牌检测移出的注释),缓存写入再快也不该来挤。缓存是"下次少开一次页"的
// 加速件,同一 chunk 重复提交只是把同样的结论再 upsert 一遍,不需要锁内串行语义。
writeAsinCacheOutsideLock(probe, taskId, brandOutcome.accepted());
try (TaskDistributedLockService.LockHandle ignored = acquireTaskLockOrThrow(taskId)) {
FileTaskEntity task = fileTaskMapper.selectById(taskId);
if (task == null || !MODULE_TYPE.equals(task.getModuleType())) {
@@ -1830,6 +1839,41 @@ public class CollectDataService {
return vo;
}
/**
* 关键词采集链的缓存旁路写入:把"这个 (国家, ASIN) 的价格/品牌/配送已经开页看过"这件事
* 记进跨任务缓存,供下一条采集链复用。
*
* <p>整段吞掉 RuntimeException:缓存写不进去的代价是"下次多开一次页",把已经抓到手、
* 正要落库的 chunk 提交拖失败是更大的代价。
*/
private void writeAsinCacheOutsideLock(FileTaskEntity task, Long taskId,
List<CollectDataResultRowVo> accepted) {
if (accepted == null || accepted.isEmpty()) {
return;
}
try {
asinResultCacheService.writeCollectDataRows(resolveCacheCountry(task), String.valueOf(taskId), accepted);
} catch (RuntimeException ex) {
log.warn("[collect-data] ASIN 缓存写入失败,不影响本次提交 taskId={} err={}",
taskId, ex.getMessage());
}
}
/**
* 缓存键里的国家来自任务入参(Python 回传的结果行本身不带国家,见 CollectDataSubmitRowDto)。
* 只收"这一个任务确定只采一个国家"的情形:多选国家时无法判断某一行属于哪个站点,
* 宁可整批不写 —— 键少了国家就会把 DE 的价格当成 US 的结论发回去。
*/
private String resolveCacheCountry(FileTaskEntity task) {
CollectDataFiltersDto filters = extractFiltersFromRequest(task);
String single = filters.getCountryCode();
if (single != null && !single.isBlank()) {
return single;
}
List<String> codes = filters.getCountryCodes();
return codes != null && codes.size() == 1 ? codes.get(0) : null;
}
private CollectDataFiltersDto extractFiltersFromRequest(FileTaskEntity task) {
if (task == null || task.getRequestJson() == null || task.getRequestJson().isBlank()) {
return new CollectDataFiltersDto();