fix(品牌检测): 整批确定性拒绝时短路同批其余品牌的重试阶梯
2026-10-19 现网取证:品牌库代理套餐过期(供应商回 {"code":-1,"message":"套餐不存在"})
→ 16890 代理池恒为 0、一次代理都没挂上 → 全部直连打 WIPO branddb 被整片 Forbidden。
这是每次必然失败的确定性拒绝,而重试阶梯照旧跑满:单品牌 10 轮含最长 10 秒的递增等待
约 45~65 秒,全是白烧;更糟的是它烧的是整批共用的 90 秒预算,于是后面的品牌还没开始
就被掐在 attempt=2/10——日志里成片的「整批耗时预算用尽」与「重试耗尽判定查询失败」
其实是同一件事的两面。
判据保守,三条都硬:
- 只有「跑满整条阶梯 + 最后一轮仍是 query_faild_data」才置标志;被预算或短路掐断的
轮次不算证据(ladderCompleted 专门为此而设)
- 请求全程抛异常(response==null)不触发:那可能是本品牌特有的超时形态,拿它当
「上游整体在拒绝」会误伤同批真能查回来的品牌
- 首轮始终执行,短路最坏情形的上界就是每品牌一次请求
结论语义不变:短路只省重试,每个品牌仍各自判查询失败、仍交调用方降级。
本类是外观专利 / collect_data / similar-asin 三模块共用的出口,用户口径明确要求
放在共用层(收益最大、影响面也最大),故三处同时生效。
BrandCheckClientTest 10 例(新增 2)+ AppearancePatent*/TaskServiceWiringSlice 全绿。
变异检验:把 upstreamRejecting.set(true) 废掉后新用例确实变红,非装饰性断言。
在独立 worktree(HEAD 干净副本)完成编译与测试——共享工作树此刻有另一路会话的
PublishTaskService.java 半成品(缺 AbstractFileTaskPipeline 的 import,主源码编译不过),
未触碰、未暂存。
This commit is contained in:
+29
-2
@@ -24,6 +24,7 @@ import java.util.concurrent.CompletionException;
|
||||
import java.util.concurrent.ExecutorService;
|
||||
import java.util.concurrent.ThreadFactory;
|
||||
import java.util.concurrent.atomic.AtomicInteger;
|
||||
import java.util.concurrent.atomic.AtomicBoolean;
|
||||
|
||||
@Component
|
||||
@Slf4j
|
||||
@@ -163,9 +164,12 @@ public class BrandCheckClient {
|
||||
// 103.5 秒(taskId 28599),客户端重试预算耗尽后中止了整个采集。预算用尽即停止重试。
|
||||
Map<String, BrandCheckOutcome> outcomes = new LinkedHashMap<>();
|
||||
List<CompletableFuture<BrandCheckOutcome>> futures = new ArrayList<>(brands.size());
|
||||
// 一次批量一份判定:本批里只要有一个品牌跑满阶梯仍被判查询失败,其余品牌就不再
|
||||
// 各自烧完整条重试阶梯(见 checkOneBrand 的短路分支)。
|
||||
AtomicBoolean upstreamRejecting = new AtomicBoolean(false);
|
||||
for (String brand : brands) {
|
||||
futures.add(CompletableFuture.supplyAsync(
|
||||
() -> checkOneBrand(brand, strategy, deadlineNanos), checkExecutor));
|
||||
() -> checkOneBrand(brand, strategy, deadlineNanos, upstreamRejecting), checkExecutor));
|
||||
}
|
||||
for (int index = 0; index < brands.size(); index++) {
|
||||
outcomes.put(brands.get(index), awaitOutcome(futures.get(index)));
|
||||
@@ -178,19 +182,35 @@ public class BrandCheckClient {
|
||||
return budgetMillis > 0L ? System.nanoTime() + budgetMillis * 1_000_000L : Long.MAX_VALUE;
|
||||
}
|
||||
|
||||
private BrandCheckOutcome checkOneBrand(String brand, String strategy, long deadlineNanos) {
|
||||
private BrandCheckOutcome checkOneBrand(String brand, String strategy, long deadlineNanos,
|
||||
AtomicBoolean upstreamRejecting) {
|
||||
int attempts = Math.max(1, properties.getRetryTimes());
|
||||
BrandCheckResponse response = null;
|
||||
Exception lastFailure = null;
|
||||
// 只有「把整条重试阶梯走完」才算拿到"上游在确定性拒绝"的证据。
|
||||
// 被预算或短路掐断的轮次不是证据,拿它去短路同批其余品牌会把偶发抖动放大成整批放弃。
|
||||
boolean ladderCompleted = true;
|
||||
for (int attempt = 1; attempt <= attempts; attempt++) {
|
||||
// 预算用尽就不再重试,按查询失败收尾。只掐「重试」不打断已发出的请求,
|
||||
// 故最坏耗时 ≈ 预算 + 一次请求的读超时;首轮始终执行,避免上游只是慢一点时被误降级。
|
||||
if (attempt > 1 && System.nanoTime() >= deadlineNanos) {
|
||||
ladderCompleted = false;
|
||||
log.warn("[brand-check] 整批耗时预算用尽,停止重试 brand={} attempt={}/{} lastErr={}",
|
||||
brand, attempt, attempts,
|
||||
lastFailure == null ? "query_faild_data 持续非空" : lastFailure.getMessage());
|
||||
break;
|
||||
}
|
||||
// 同批已有品牌走完整个阶梯、每一轮都被判查询失败 ⇒ 上游在确定性拒绝,本品牌别再烧
|
||||
// 等待与整批预算。2026-10-19 现网:品牌库代理套餐过期 → 16890 全部直连 WIPO →
|
||||
// 整片 Forbidden,单品牌 10 轮含递增等待约 45~65 秒全是白烧,而它烧掉的正是后面
|
||||
// 那些品牌的机会(日志里 attempt=2/10「整批耗时预算用尽」就是同一件事的另一面)。
|
||||
// 首轮不掐:那一次请求本身就是"本品牌是否真的不可查"的证据,也是短路最坏情形的上界。
|
||||
if (attempt > 1 && upstreamRejecting.get()) {
|
||||
ladderCompleted = false;
|
||||
log.warn("[brand-check] 同批已确认上游确定性拒绝,本品牌停止重试 brand={} attempt={}/{}",
|
||||
brand, attempt, attempts);
|
||||
break;
|
||||
}
|
||||
try {
|
||||
response = check(brand, strategy);
|
||||
} catch (Exception ex) {
|
||||
@@ -215,6 +235,13 @@ public class BrandCheckClient {
|
||||
sleepBeforeRetry(retryDelayMillis);
|
||||
}
|
||||
}
|
||||
// 只在"跑满整条阶梯 + 最后一轮仍是查询失败"时短路同批其余品牌。
|
||||
// 请求全程抛异常(response==null)不触发:那可能是本品牌特有的超时/网络形态,
|
||||
// 拿它当"上游整体在拒绝"会误伤同批真正还能查回来的品牌。
|
||||
if (ladderCompleted && response != null
|
||||
&& !nullToEmpty(response.getQueryFaildData()).isEmpty()) {
|
||||
upstreamRejecting.set(true);
|
||||
}
|
||||
log.warn("[brand-check] 重试耗尽判定查询失败 brand={} attempts={} lastErr={}",
|
||||
brand, attempts,
|
||||
lastFailure == null ? "query_faild_data 持续非空" : lastFailure.getMessage());
|
||||
|
||||
Reference in New Issue
Block a user