feat(LLM): 外观专利/货源多行合批 + 读超时抬到 600s,砍请求次数
- 外观专利:商标提取 10 行一批、外观检测 5 行(=5 张图)一批,一个 10 行批次
从 20 次请求降到 3 次。Gemini 支持多图,无需再逐行单独发图。
- 批量协议:用户文本用「序号<TAB>行」,响应 {"items":[{"i":n,…}]} 一律按序号回填,
不信数组位置。三道校验门(序号在批内、关键词逐字属于本行原文、状态枚举且理由非空),
缺行或失真行单发补检一次;传输失败按整批记失败、绝不逐行重发,避免劣化窗口放大成 N 倍。
- 应急开关:llm-title-batch-size / llm-appearance-batch-size 任一设为 1 即退回逐行,无需改代码。
- 货源查询:类目一级/二级合并为一次调用,两级树每批只加载一次(原来每行各问一次、共 2 次)。
- 超时:读 600s、首查 300s(外观专利与货源同步调整)。合批后单请求输出量约为原来 5 倍,
沿用按单图调出的 60s 会误杀正常慢批次、连带整批白等一轮重试。
- 口径影响:后台 LLM 使用按「次」统计,上线后次数约降到 1/6.7,与历史数据不可横向比较。
This commit is contained in:
+13
-5
@@ -21,14 +21,22 @@ public class AppearancePatentProperties {
|
||||
private String appearanceModel = "gemini-3.8-flash";
|
||||
private int llmMaxTokens = 64000;
|
||||
private int llmConnectTimeoutMillis = 10000;
|
||||
private int llmReadTimeoutMillis = 180000;
|
||||
private int llmReadTimeoutMillis = 600000;
|
||||
/**
|
||||
* 首次尝试读超时(毫秒):上游偶发单请求不应答(挂满超时才失败),
|
||||
* 首查用更短预算快速失败并重试;生产实测成功调用 p99≈34s、超 60s 仅 0.02%,
|
||||
* 故默认 60s 既覆盖正常慢响应又能把单次挂死代价从 90s 降到 60s。
|
||||
* 首次尝试读超时(毫秒):上游偶发单请求不应答(挂满超时才失败),首查用更短预算快速失败并重试。
|
||||
* 单图请求实测成功调用 p99≈34s、超 60s 仅 0.02%,但外观检测已改成一批 5 张图、回 5 份判定,
|
||||
* 输出量约 5 倍,60s 会把正常慢批次误杀、连带整批 5 行白等一轮重试,故首查抬到 300s、重试走完整 600s。
|
||||
*/
|
||||
private int llmFirstAttemptReadTimeoutMillis = 60000;
|
||||
private int llmFirstAttemptReadTimeoutMillis = 300000;
|
||||
private int llmBatchSize = 10;
|
||||
/**
|
||||
* 商标关键词提取一批合并的行数(纯文本,一批一次请求)。设为 1 即退回逐行,是批量协议唯一应急开关。
|
||||
*/
|
||||
private int llmTitleBatchSize = 10;
|
||||
/**
|
||||
* 外观检测一批合并的行数,同时是一批的图片数(Gemini 支持多图,一批一次请求)。设为 1 即退回逐行。
|
||||
*/
|
||||
private int llmAppearanceBatchSize = 5;
|
||||
/**
|
||||
* 批内行级并发数。批次串行提交,每行串行发 2 个 LLM 请求,
|
||||
* 故该值≈单任务对 LLM 网关的瞬时并发;默认与品牌检测同为 5,避免多任务并行时成倍放大。
|
||||
|
||||
Reference in New Issue
Block a user