feat(D2): 导入进度跨节点可见(NodeSharedStore:本地快路径 + Redis 真源)
- 新增 common/service/NodeSharedStore:本地 Map 快路径 + Redis 跨节点真源 + 写节流 (默认 500ms,逐行刷新进度不会打爆 Redis)+ 本节点条目快照(维护用)+ TTL 兜底过期 - 接入 DedupeTotalDataService(8 个进度/归属/分组/完成时间映射)、QueryAsinService、 SkipPriceAsinService(各 3 个):轮询落到另一节点不再报"任务不存在" - 保留期清理改为遍历本节点快照(跨节点过期由 Redis TTL 兜底),不再依赖全量遍历 - 测试同步:去重服务测试的反射注入改用 NodeSharedStore(未注入 Redis 时等价纯本地) mvn test 2815 全绿
This commit is contained in:
@@ -121,6 +121,16 @@ public final class NodeSharedStore<K, V> {
|
||||
return local.size();
|
||||
}
|
||||
|
||||
/**
|
||||
* 本节点已知条目的快照(副本,可安全遍历)。
|
||||
*
|
||||
* <p>用途:保留期清理等维护动作需要遍历键;跨节点的过期回收由 Redis TTL 兜底,
|
||||
* 因此这里只返回本节点写入过的条目即可。
|
||||
*/
|
||||
public java.util.Map<K, V> localEntriesSnapshot() {
|
||||
return new java.util.LinkedHashMap<>(local);
|
||||
}
|
||||
|
||||
private boolean throttleAllowsWrite(K key) {
|
||||
if (writeThrottleMillis <= 0L) {
|
||||
return true;
|
||||
|
||||
Reference in New Issue
Block a user