feat(ASIN缓存): 新增 ASIN 采集结果跨任务缓存(asincache 模块 + V139)
同一个 (国家, ASIN) 的详情页被反复重采:单任务内 62.9 倍重复(43,504 行只有 692 个 不同 ASIN)、8 天跨任务 6.7 万行重复(2026-10-01 实测),每条重复都意味着重开一次页、 可能重买一次代理 IP。关键词链与变体链的结果分别落在两处互相看不见,只有 Java 侧能同时 收到两条链的结论,所以缓存放服务端、由服务端判新鲜度。 - 新表 biz_asin_result_cache(V139):一个 (国家, ASIN) 一行,重采覆盖;只收两种可复用 结论 —— OK(页面正常且有价格,复用 60 分钟)、NOT_FOUND(详情页 404,复用 7 天); 空价 / 风控拦截页 / 采集异常一律不入库,避免把瞬时故障锁成永久结论 - 新鲜度只在服务端判(按 observed_at 真正开页时间);采集端拿不到 / 看不懂一律照常开页 (fail-open),任何情况下不许让缓存导致漏行、错行 - 新增内部接口 /api/internal/asin-cache/query|write(X-Internal-Token 自校验,与 InternalBrandTaskController 同口径),供采集端开页前先问、采完回写 - 关键词采集链在任务锁外旁路写入:缓存写失败的代价只是"下次多开一次页",只记 warn, 不影响 chunk 提交 - migration-inventory.md 快照更新至 V139,「V137 冗余索引 DROP」待办顺延 V140 测试:AsinResultCacheServiceTest(13)/ InternalAsinCacheControllerTest(5)/ 采集链 4 个测试类(35)共 53 例全绿。
This commit is contained in:
+44
@@ -12,6 +12,7 @@ import com.nanri.aiimage.common.exception.BusinessCodes;
|
||||
import com.nanri.aiimage.common.exception.BusinessException;
|
||||
import com.nanri.aiimage.common.security.AdminAuthSupport;
|
||||
import com.nanri.aiimage.common.util.ExcelStreamReader;
|
||||
import com.nanri.aiimage.modules.asincache.service.AsinResultCacheService;
|
||||
import com.nanri.aiimage.modules.collectdata.mapper.CollectDataCountryPrefMapper;
|
||||
import com.nanri.aiimage.modules.collectdata.mapper.CollectDataItemMapper;
|
||||
import com.nanri.aiimage.modules.collectdata.model.dto.CollectDataCountryPreferenceSaveRequest;
|
||||
@@ -182,6 +183,9 @@ public class CollectDataService {
|
||||
private final TaskProgressLightAssembler taskProgressLightAssembler;
|
||||
private final NotificationDispatchService notificationDispatchService;
|
||||
|
||||
/** ASIN 跨任务结果缓存:本链只负责"顺带贡献结论",写入失败绝不影响 chunk 提交。 */
|
||||
private final AsinResultCacheService asinResultCacheService;
|
||||
|
||||
@Value("${aiimage.collect-data.stale-timeout-minutes:30}")
|
||||
private long staleTimeoutMinutes;
|
||||
|
||||
@@ -830,6 +834,11 @@ public class CollectDataService {
|
||||
log.info("[collect-data] 锁外预处理完成 taskId={} rows={} 去重后={} 品牌检测耗时={}ms",
|
||||
taskId, rows.size(), filtered.kept().size(), System.currentTimeMillis() - prepareStartAt);
|
||||
|
||||
// ASIN 结果缓存旁路写入同样放锁外:这把锁的持有时间是心跳与其他 chunk 的排队预算
|
||||
// (见上方品牌检测移出的注释),缓存写入再快也不该来挤。缓存是"下次少开一次页"的
|
||||
// 加速件,同一 chunk 重复提交只是把同样的结论再 upsert 一遍,不需要锁内串行语义。
|
||||
writeAsinCacheOutsideLock(probe, taskId, brandOutcome.accepted());
|
||||
|
||||
try (TaskDistributedLockService.LockHandle ignored = acquireTaskLockOrThrow(taskId)) {
|
||||
FileTaskEntity task = fileTaskMapper.selectById(taskId);
|
||||
if (task == null || !MODULE_TYPE.equals(task.getModuleType())) {
|
||||
@@ -1830,6 +1839,41 @@ public class CollectDataService {
|
||||
return vo;
|
||||
}
|
||||
|
||||
/**
|
||||
* 关键词采集链的缓存旁路写入:把"这个 (国家, ASIN) 的价格/品牌/配送已经开页看过"这件事
|
||||
* 记进跨任务缓存,供下一条采集链复用。
|
||||
*
|
||||
* <p>整段吞掉 RuntimeException:缓存写不进去的代价是"下次多开一次页",把已经抓到手、
|
||||
* 正要落库的 chunk 提交拖失败是更大的代价。
|
||||
*/
|
||||
private void writeAsinCacheOutsideLock(FileTaskEntity task, Long taskId,
|
||||
List<CollectDataResultRowVo> accepted) {
|
||||
if (accepted == null || accepted.isEmpty()) {
|
||||
return;
|
||||
}
|
||||
try {
|
||||
asinResultCacheService.writeCollectDataRows(resolveCacheCountry(task), String.valueOf(taskId), accepted);
|
||||
} catch (RuntimeException ex) {
|
||||
log.warn("[collect-data] ASIN 缓存写入失败,不影响本次提交 taskId={} err={}",
|
||||
taskId, ex.getMessage());
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* 缓存键里的国家来自任务入参(Python 回传的结果行本身不带国家,见 CollectDataSubmitRowDto)。
|
||||
* 只收"这一个任务确定只采一个国家"的情形:多选国家时无法判断某一行属于哪个站点,
|
||||
* 宁可整批不写 —— 键少了国家就会把 DE 的价格当成 US 的结论发回去。
|
||||
*/
|
||||
private String resolveCacheCountry(FileTaskEntity task) {
|
||||
CollectDataFiltersDto filters = extractFiltersFromRequest(task);
|
||||
String single = filters.getCountryCode();
|
||||
if (single != null && !single.isBlank()) {
|
||||
return single;
|
||||
}
|
||||
List<String> codes = filters.getCountryCodes();
|
||||
return codes != null && codes.size() == 1 ? codes.get(0) : null;
|
||||
}
|
||||
|
||||
private CollectDataFiltersDto extractFiltersFromRequest(FileTaskEntity task) {
|
||||
if (task == null || task.getRequestJson() == null || task.getRequestJson().isBlank()) {
|
||||
return new CollectDataFiltersDto();
|
||||
|
||||
Reference in New Issue
Block a user