0236328faa
现网取证(主机A MinIO 上 6 份已交付 xlsx 逐格数):结果文件里 20.7%~51.3% 的行显示 「未取得检测结果」,且空的是整行三列、这些 ASIN 一个都没被检过、行号连续成块 (10-08 任务 30426:1211 行只有 96 批 960 行有结论;10-09 任务 30455 的 281 行空行 100% 属于"同父号已有一行被判")。两条成因都在判据口径上: 1) 送检只挑组代表行,兄弟行指望发起那一轮复用代表结论 —— 同父号的 2_1/2_2/2_3 各有各的 sku/标题/图片,借用等于成片行永不检测。按用户口径改为逐行申领、逐行送检, 组代表折叠与 expandRows 摊派一并删除(合批省的是调用数,代价是漏检)。 2) 覆盖率闸门的分母按「用户上传表的解析行」有没有标题/图片判该行该不该检,而数据 常在「客户端回传行」上 ⇒ 用户表不带标题列时分母恒 0、整段不判,成品半空而零告警。 判据抽成 AppearancePatentRowOutcome(JUDGED/NOT_INSPECTED/NO_DATA),表格文案、 原因 sheet 与闸门分母共用同一套;候选/工作单位计数也改用交付口径(旧的是 "四字段任一可用",只带专利维度文本的行会被读成已检测,而专利维度根本不入表)。 配套:判失败的任务不再整段跳过闸门(仍按既有口径出部分结果,但必打 「交付行账不完整」锚点并把缺口写进 task.errorMessage);出表前缺口<阈值时撤行级 标记并 requeue 补检一轮(releaseRowInspection 三参版才允许撤完成标记,两参版语义 由老用例钉死不变);llm-coverage-min-ratio 0.5→0.95(Properties 与 application.yml 两处默认值,已查两台既无 env 覆盖也无外置 yml 该键);货源面接上同口径的 「交付行账」度量日志(只数不改行为,阈值等本面实测分布)。 测试:外观专利整包 203 例、加货源共 645 例全绿。新增 AppearancePatentRowOutcomeTest(15)、 AppearancePatentDeliveryGateTest(9)、SimilarAsinDeliveryLedgerTest(3), 并在 RowMarkTimingTest 钉住"同父号子行逐行申领""兄弟行不得继承结论"。
90 lines
4.6 KiB
Java
90 lines
4.6 KiB
Java
package com.nanri.aiimage.config;
|
||
|
||
import lombok.Data;
|
||
import org.springframework.boot.context.properties.ConfigurationProperties;
|
||
|
||
@Data
|
||
@ConfigurationProperties(prefix = "aiimage.appearance-patent")
|
||
public class AppearancePatentProperties {
|
||
|
||
/**
|
||
* LLM API(OpenAI 兼容 /v1/chat/completions)地址
|
||
*/
|
||
private String llmHost = "https://ai.t8star.org";
|
||
/**
|
||
* 商标关键词提取模型
|
||
*/
|
||
private String titleModel = "gemini-3.1-flash-lite-preview-thinking-medium";
|
||
/**
|
||
* 外观检测模型(视觉)
|
||
*/
|
||
private String appearanceModel = "gemini-3.1-flash-lite-preview-thinking-medium";
|
||
private int llmMaxTokens = 64000;
|
||
private int llmConnectTimeoutMillis = 10000;
|
||
private int llmReadTimeoutMillis = 600000;
|
||
/**
|
||
* 首次尝试读超时(毫秒):上游偶发单请求不应答(挂满超时才失败),首查用更短预算快速失败并重试。
|
||
* 单图请求实测成功调用 p99≈34s、超 60s 仅 0.02%,但外观检测已改成一批 5 张图、回 5 份判定,
|
||
* 输出量约 5 倍,60s 会把正常慢批次误杀、连带整批 5 行白等一轮重试,故首查抬到 300s、重试走完整 600s。
|
||
*/
|
||
private int llmFirstAttemptReadTimeoutMillis = 300000;
|
||
private int llmBatchSize = 10;
|
||
/**
|
||
* 商标关键词提取一批合并的行数(纯文本,一批一次请求)。设为 1 即退回逐行,是批量协议唯一应急开关。
|
||
*/
|
||
private int llmTitleBatchSize = 10;
|
||
/**
|
||
* 外观检测一批合并的行数,同时是一批的图片数(Gemini 支持多图,一批一次请求)。设为 1 即退回逐行。
|
||
*/
|
||
private int llmAppearanceBatchSize = 5;
|
||
/**
|
||
* 批内行级并发数。批次串行提交,每行串行发 2 个 LLM 请求,
|
||
* 故该值≈单任务对 LLM 网关的瞬时并发;默认与品牌检测同为 5,避免多任务并行时成倍放大。
|
||
*/
|
||
private int llmRowConcurrency = 5;
|
||
/**
|
||
* 每行每个 LLM 请求的重试次数(含首次)
|
||
*/
|
||
private int llmRetryTimes = 3;
|
||
/**
|
||
* 单行最多被「轮次」发起多少次(一轮 = 一次批量派发;每轮内部另有 llmRetryTimes 次 HTTP 重试)。
|
||
* <=0 关闭本闸。
|
||
*
|
||
* <p>行检测失败会撤销处理中标记让下一轮重新申领(否则发版/中断就永久丢行),代价是轮次层此前
|
||
* 完全没有上限:上游持续劣化时同一批行会一轮轮重发,每轮都过 SecretUsageContext.call 扣用户的
|
||
* LLM 次数,而 assemble job 的 deferRunning 不累加 retryCount,MAX_RETRY_COUNT 那道闸永远到不了。
|
||
* 默认 3 轮:与 HTTP 层同量级,够躲过单次抖动,又不至于把一个坏掉的网关陪跑到 24 小时。
|
||
*/
|
||
private int llmRowMaxRounds = 3;
|
||
private int staleTimeoutMinutes = 30;
|
||
private String staleFinalizeCron = "0 */2 * * * *";
|
||
|
||
/**
|
||
* 二次判死线(心跳正常但连续 N 分钟无结果分片上报)阈值,分钟;<=0 关闭本线。
|
||
* 既有判定以 Redis heartbeat stale 为主信号,但心跳随 Python HTTP 心跳每分钟刷新——
|
||
* 主线程卡死时心跳线程照发,任务永远不 stale(与生产 28131 同型缺口)。
|
||
* 本线改看 biz_task_scope_state.last_chunk_at(仅分片上传时刷新)。
|
||
*/
|
||
private int noResultUploadTimeoutMinutes = 180;
|
||
/**
|
||
* 末尾不足一批的数据等待该时长后强制提交检测。
|
||
* Python 回传超时后会直接封口;这个配置处理 Python 慢回传但仍未超时的零头批次。
|
||
*/
|
||
private int flushPendingMinutes = 1;
|
||
|
||
/** 单个外观专利源文件最多解析的有效数据行数,防止 POI 用户模型撑爆堆。 */
|
||
private int maxParseRows = 50000;
|
||
|
||
/**
|
||
* 组装结果文件时要求的 LLM 覆盖率下限(0~1,<=0 关闭)。
|
||
* 低于该比例说明大批行根本没拿到结论(如 2026-09-20 任务 28805:904 行只检了 1 行却报成功),
|
||
* 此时判任务失败并由失败通知告警,而不是交付一份看着完整、实际是复制结论的表。
|
||
*
|
||
* <p>2026-10-10 从 0.5 抬到 0.95:0.5 意味着半张表可以空着照样出文件。现网实测(10-06~10-09
|
||
* 六份已交付 xlsx)空行比例 20.7%–51.3%,全部在 0.5 之上放行、且一条覆盖率告警都没打——
|
||
* 因为旧分母按用户上传表的解析行数,用户表不带标题列时分母恒为 0。
|
||
* 分母口径已改为「会写进结果文件的行集」,判据见 AppearancePatentRowOutcome。
|
||
*/
|
||
private double llmCoverageMinRatio = 0.95D;
|
||
}
|