Files
crawler-plugin/backend-java/src/main/java/com/nanri/aiimage/config/AppearancePatentProperties.java
T
huangzd1997 3c662389c0 fix(appearance-patent): 补检改吃独立预算,缺口不再以"排不上队"的名义交付半张表
现网读数(2026-10-19 近 24h 日志):交付缺口触发过补检,但从没补齐过大面积缺口——
"补检排不上队,按已有结果交付" 四例 missingRows=112/455/1471/2110,作业全部 retry_count=5。
根因是一条自我锁死:补检重排走 requeue,而 requeue 的 WHERE 带 retry_count<MAX_RETRY_COUNT,
把这条预算抛满的恰恰是"还没检完"本身(覆盖率抛、空结果抛)。越慢 ⇒ 抛得越多 ⇒ 越补不上。

改法是把两条预算拆开,且只用底座现成件(modules/task/** 是共享文件,且
TaskFileJobService 在册 929/实 928,只剩 1 行棘轮余量,加方法必判红):

- recheck-max-rounds(默认 2):补检自己的轮次上限,与行级 llm-row-max-rounds 分家。
- completeLlmFileJob:补检决定挪到 assembleResultWorkbook 之前(新增 measureDeliveryFacts,
  只量行账不出表)——那一跑完就把成品传上 OSS 并挂好 resultFileUrl,那时才发现缺口,
  半张表已经在用户的下载列表里了。
- requestRecheckForMissingRows:requeue 排不上队时改吃抛,不再退化成按已有结果交付;
  让作业走到终态失败,由判死出口按补检预算再判一次。
- fallbackAssembleResultFile:出表前先试 scheduleFallbackRecheck,复用现成的
  resetTerminalFailedForRecovery(终态失败+retry 到顶 ⇒ 清零、重回 PENDING、重派发),
  补传恢复那条路一直在用它,只有交付缺口这条路没接上。轮次只在重排真接上之后才记,
  否则一轮没接成的重排会自己把预算吃光。预算耗尽仍照常出表——
  "起码失败了也可以下载"那条保证不变。

门禁:后端整量 mvn -o test 4549 例/0 红/0 错/16 skipped,BUILD SUCCESS;
定向 43 例(交付闸门 14+兜底出表 5+行标记 15+CatchSilence 9)全绿;
ops 面 ruff check . All checks passed、readability 棘轮 9 passed(AP 3048→3121,基线 3458)。

整量第一次跑抓到的是本笔自己的账:新增两枚 Redis 降级方法各带一处不重抛的 catch,
把 CatchSilenceRatchetTest 的"不重抛"从 562 顶到 564。没放宽那格判据,改成去掉这两处
新 catch——补检轮次直接复用既有的行级轮次计数(同 24h TTL、同降级口径),借哨兵键
__recheck__;行键恒为 id::ASIN::国家、必带 "::",撞不上。
2026-10-20 00:41:29 +08:00

113 lines
6.0 KiB
Java
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package com.nanri.aiimage.config;
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
@Data
@ConfigurationProperties(prefix = "aiimage.appearance-patent")
public class AppearancePatentProperties {
/**
* LLM API(OpenAI 兼容 /v1/chat/completions)地址
*/
private String llmHost = "https://ai.t8star.org";
/**
* 商标关键词提取模型
*/
private String titleModel = "gemini-3.1-flash-lite-preview-thinking-medium";
/**
* 外观检测模型(视觉)
*/
private String appearanceModel = "gemini-3.1-flash-lite-preview-thinking-medium";
private int llmMaxTokens = 64000;
private int llmConnectTimeoutMillis = 10000;
private int llmReadTimeoutMillis = 600000;
/**
* 首次尝试读超时(毫秒):上游偶发单请求不应答(挂满超时才失败),首查用更短预算快速失败并重试。
* 单图请求实测成功调用 p99≈34s、超 60s 仅 0.02%,但外观检测已改成一批 5 张图、回 5 份判定,
* 输出量约 5 倍,60s 会把正常慢批次误杀、连带整批 5 行白等一轮重试,故首查抬到 300s、重试走完整 600s。
*/
private int llmFirstAttemptReadTimeoutMillis = 300000;
private int llmBatchSize = 10;
/**
* 商标关键词提取一批合并的行数(纯文本,一批一次请求)。设为 1 即退回逐行,是批量协议唯一应急开关。
*/
private int llmTitleBatchSize = 10;
/**
* 外观检测一批合并的行数,同时是一批的图片数(Gemini 支持多图,一批一次请求)。设为 1 即退回逐行。
*/
private int llmAppearanceBatchSize = 5;
/**
* 批内行级并发数。批次串行提交,每行串行发 2 个 LLM 请求,
* 故该值≈单任务对 LLM 网关的瞬时并发;默认与品牌检测同为 5,避免多任务并行时成倍放大。
*/
private int llmRowConcurrency = 5;
/**
* 每行每个 LLM 请求的重试次数(含首次)
*/
private int llmRetryTimes = 3;
/**
* 单行最多被「轮次」发起多少次(一轮 = 一次批量派发;每轮内部另有 llmRetryTimes 次 HTTP 重试)。
* <=0 关闭本闸。
*
* <p>行检测失败会撤销处理中标记让下一轮重新申领(否则发版/中断就永久丢行),代价是轮次层此前
* 完全没有上限:上游持续劣化时同一批行会一轮轮重发,每轮都过 SecretUsageContext.call 扣用户的
* LLM 次数,而 assemble job 的 deferRunning 不累加 retryCount,MAX_RETRY_COUNT 那道闸永远到不了。
* 默认 3 轮:与 HTTP 层同量级,够躲过单次抖动,又不至于把一个坏掉的网关陪跑到 24 小时。
*/
private int llmRowMaxRounds = 3;
private int staleTimeoutMinutes = 30;
private String staleFinalizeCron = "0 */2 * * * *";
/**
* 二次判死线(心跳正常但连续 N 分钟无结果分片上报)阈值,分钟;<=0 关闭本线。
* 既有判定以 Redis heartbeat stale 为主信号,但心跳随 Python HTTP 心跳每分钟刷新——
* 主线程卡死时心跳线程照发,任务永远不 stale(与生产 28131 同型缺口)。
* 本线改看 biz_task_scope_state.last_chunk_at(仅分片上传时刷新)。
*/
private int noResultUploadTimeoutMinutes = 180;
/**
* 末尾不足一批的数据等待该时长后强制提交检测。
* Python 回传超时后会直接封口;这个配置处理 Python 慢回传但仍未超时的零头批次。
*/
private int flushPendingMinutes = 1;
/**
* 组装作业在 WAIT_LLM 停放期间的租约续命间隔(毫秒)。
*
* <p>组装作业等下一轮分片回传时 process 返回 false、执行线程退出、Worker 的执行期心跳
* 随之取消,作业停在 RUNNING 只能靠客户端心跳经 {@code onHeartbeat} 触发
* {@code touchRunningAssembleJobsIfStale} 按本间隔节流续命(与 similar-asin 同一套口径)。
* 取值必须小于 job 级 stuck 扫描阈值(result-file-job.stuck-timeout-minutes,默认 5 分钟),
* 否则停放作业在两跳续命之间就会被判陈旧、5 次重试耗尽后被误判成
* 「文件生成任务运行超时,已达到最大重试次数」(线上任务 31354 的死法)。
*/
private long dbJobTouchIntervalMillis = 60000L;
/** 单个外观专利源文件最多解析的有效数据行数,防止 POI 用户模型撑爆堆。 */
private int maxParseRows = 50000;
/**
* 组装结果文件时要求的 LLM 覆盖率下限(0~1,<=0 关闭)。
* 低于该比例说明大批行根本没拿到结论(如 2026-09-20 任务 28805:904 行只检了 1 行却报成功),
* 此时判任务失败并由失败通知告警,而不是交付一份看着完整、实际是复制结论的表。
*
* <p>2026-10-10 从 0.5 抬到 0.95:0.5 意味着半张表可以空着照样出文件。现网实测(10-06~10-09
* 六份已交付 xlsx)空行比例 20.7%–51.3%,全部在 0.5 之上放行、且一条覆盖率告警都没打——
* 因为旧分母按用户上传表的解析行数,用户表不带标题列时分母恒为 0。
* 分母口径已改为「会写进结果文件的行集」,判据见 AppearancePatentRowOutcome。
*/
private double llmCoverageMinRatio = 0.95D;
/**
* 交付缺口最多允许再补检几轮(<=0 关闭补检)。
*
* <p>它存在的理由是「补检不能借用作业重试那条预算」:组装作业重排走 {@code requeue},
* 而 {@code requeue} 的 WHERE 带 {@code retry_count < MAX_RETRY_COUNT}——恰恰是"还没检完"
* 这件事把 retry_count 抛满的(覆盖率抛、空结果抛),于是越慢越补不上。
* 2026-10-19 现网读数:{@code 补检排不上队,按已有结果交付} 四例 missingRows=112/455/1471/2110,
* 作业全部 retry_count=5。
*/
private int recheckMaxRounds = 2;
}