Files
crawler-plugin/backend-java/src/main/java/com/nanri/aiimage/config/AppearancePatentProperties.java
T
huangzd1997 0236328faa 后端(外观专利逐行送检): 撤掉组代表折叠与兄弟行借用结论,覆盖率分母改成交付行集
现网取证(主机A MinIO 上 6 份已交付 xlsx 逐格数):结果文件里 20.7%~51.3% 的行显示
「未取得检测结果」,且空的是整行三列、这些 ASIN 一个都没被检过、行号连续成块
(10-08 任务 30426:1211 行只有 96 批 960 行有结论;10-09 任务 30455 的 281 行空行
100% 属于"同父号已有一行被判")。两条成因都在判据口径上:

1) 送检只挑组代表行,兄弟行指望发起那一轮复用代表结论 —— 同父号的 2_1/2_2/2_3
   各有各的 sku/标题/图片,借用等于成片行永不检测。按用户口径改为逐行申领、逐行送检,
   组代表折叠与 expandRows 摊派一并删除(合批省的是调用数,代价是漏检)。
2) 覆盖率闸门的分母按「用户上传表的解析行」有没有标题/图片判该行该不该检,而数据
   常在「客户端回传行」上 ⇒ 用户表不带标题列时分母恒 0、整段不判,成品半空而零告警。
   判据抽成 AppearancePatentRowOutcome(JUDGED/NOT_INSPECTED/NO_DATA),表格文案、
   原因 sheet 与闸门分母共用同一套;候选/工作单位计数也改用交付口径(旧的是
   "四字段任一可用",只带专利维度文本的行会被读成已检测,而专利维度根本不入表)。

配套:判失败的任务不再整段跳过闸门(仍按既有口径出部分结果,但必打
「交付行账不完整」锚点并把缺口写进 task.errorMessage);出表前缺口<阈值时撤行级
标记并 requeue 补检一轮(releaseRowInspection 三参版才允许撤完成标记,两参版语义
由老用例钉死不变);llm-coverage-min-ratio 0.5→0.95(Properties 与 application.yml
两处默认值,已查两台既无 env 覆盖也无外置 yml 该键);货源面接上同口径的
「交付行账」度量日志(只数不改行为,阈值等本面实测分布)。

测试:外观专利整包 203 例、加货源共 645 例全绿。新增 AppearancePatentRowOutcomeTest(15)、
AppearancePatentDeliveryGateTest(9)、SimilarAsinDeliveryLedgerTest(3),
并在 RowMarkTimingTest 钉住"同父号子行逐行申领""兄弟行不得继承结论"。
2026-10-10 11:32:37 +08:00

90 lines
4.6 KiB
Java
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package com.nanri.aiimage.config;
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
@Data
@ConfigurationProperties(prefix = "aiimage.appearance-patent")
public class AppearancePatentProperties {
/**
* LLM API(OpenAI 兼容 /v1/chat/completions)地址
*/
private String llmHost = "https://ai.t8star.org";
/**
* 商标关键词提取模型
*/
private String titleModel = "gemini-3.1-flash-lite-preview-thinking-medium";
/**
* 外观检测模型(视觉)
*/
private String appearanceModel = "gemini-3.1-flash-lite-preview-thinking-medium";
private int llmMaxTokens = 64000;
private int llmConnectTimeoutMillis = 10000;
private int llmReadTimeoutMillis = 600000;
/**
* 首次尝试读超时(毫秒):上游偶发单请求不应答(挂满超时才失败),首查用更短预算快速失败并重试。
* 单图请求实测成功调用 p99≈34s、超 60s 仅 0.02%,但外观检测已改成一批 5 张图、回 5 份判定,
* 输出量约 5 倍,60s 会把正常慢批次误杀、连带整批 5 行白等一轮重试,故首查抬到 300s、重试走完整 600s。
*/
private int llmFirstAttemptReadTimeoutMillis = 300000;
private int llmBatchSize = 10;
/**
* 商标关键词提取一批合并的行数(纯文本,一批一次请求)。设为 1 即退回逐行,是批量协议唯一应急开关。
*/
private int llmTitleBatchSize = 10;
/**
* 外观检测一批合并的行数,同时是一批的图片数(Gemini 支持多图,一批一次请求)。设为 1 即退回逐行。
*/
private int llmAppearanceBatchSize = 5;
/**
* 批内行级并发数。批次串行提交,每行串行发 2 个 LLM 请求,
* 故该值≈单任务对 LLM 网关的瞬时并发;默认与品牌检测同为 5,避免多任务并行时成倍放大。
*/
private int llmRowConcurrency = 5;
/**
* 每行每个 LLM 请求的重试次数(含首次)
*/
private int llmRetryTimes = 3;
/**
* 单行最多被「轮次」发起多少次(一轮 = 一次批量派发;每轮内部另有 llmRetryTimes 次 HTTP 重试)。
* <=0 关闭本闸。
*
* <p>行检测失败会撤销处理中标记让下一轮重新申领(否则发版/中断就永久丢行),代价是轮次层此前
* 完全没有上限:上游持续劣化时同一批行会一轮轮重发,每轮都过 SecretUsageContext.call 扣用户的
* LLM 次数,而 assemble job 的 deferRunning 不累加 retryCount,MAX_RETRY_COUNT 那道闸永远到不了。
* 默认 3 轮:与 HTTP 层同量级,够躲过单次抖动,又不至于把一个坏掉的网关陪跑到 24 小时。
*/
private int llmRowMaxRounds = 3;
private int staleTimeoutMinutes = 30;
private String staleFinalizeCron = "0 */2 * * * *";
/**
* 二次判死线(心跳正常但连续 N 分钟无结果分片上报)阈值,分钟;<=0 关闭本线。
* 既有判定以 Redis heartbeat stale 为主信号,但心跳随 Python HTTP 心跳每分钟刷新——
* 主线程卡死时心跳线程照发,任务永远不 stale(与生产 28131 同型缺口)。
* 本线改看 biz_task_scope_state.last_chunk_at(仅分片上传时刷新)。
*/
private int noResultUploadTimeoutMinutes = 180;
/**
* 末尾不足一批的数据等待该时长后强制提交检测。
* Python 回传超时后会直接封口;这个配置处理 Python 慢回传但仍未超时的零头批次。
*/
private int flushPendingMinutes = 1;
/** 单个外观专利源文件最多解析的有效数据行数,防止 POI 用户模型撑爆堆。 */
private int maxParseRows = 50000;
/**
* 组装结果文件时要求的 LLM 覆盖率下限(0~1,<=0 关闭)。
* 低于该比例说明大批行根本没拿到结论(如 2026-09-20 任务 28805:904 行只检了 1 行却报成功),
* 此时判任务失败并由失败通知告警,而不是交付一份看着完整、实际是复制结论的表。
*
* <p>2026-10-10 从 0.5 抬到 0.95:0.5 意味着半张表可以空着照样出文件。现网实测(10-06~10-09
* 六份已交付 xlsx)空行比例 20.7%–51.3%,全部在 0.5 之上放行、且一条覆盖率告警都没打——
* 因为旧分母按用户上传表的解析行数,用户表不带标题列时分母恒为 0。
* 分母口径已改为「会写进结果文件的行集」,判据见 AppearancePatentRowOutcome。
*/
private double llmCoverageMinRatio = 0.95D;
}