68b19f22b3
分类判定按 llmCategoryBatchSize(默认10)分块、每块一次 LLM 调用:formatTwoLevels 的两层类目树此前随每行请求重复发送,是分类链路最大的 token 开销(10 行/块省约九成)。块内缺编号/坏编号的行、整块调用失败的行回退逐行单调用,行级失败语义不变。env: AIIMAGE_SIMILAR_ASIN_LLM_CATEGORY_BATCH_SIZE,设 0/1 回退旧行为。
219 lines
11 KiB
Java
219 lines
11 KiB
Java
package com.nanri.aiimage.config;
|
||
|
||
import lombok.Data;
|
||
import org.springframework.boot.context.properties.ConfigurationProperties;
|
||
|
||
@Data
|
||
@ConfigurationProperties(prefix = "aiimage.similar-asin")
|
||
public class SimilarAsinProperties {
|
||
/**
|
||
* P0-1:单次提交 LLM 批次的 row 数量。
|
||
* 历史值 10,在含 puzzle 多图行的场景下频繁触发 720712008
|
||
* "node executed out of limit: 1000"。降到 3 以避免节点上限被打爆。
|
||
* 出现持续 720712008 时还会被 P1-1 滑窗自适应再降到 1。
|
||
*/
|
||
private int llmBatchSize = 3;
|
||
/**
|
||
* img_switch=false 时单次提交 LLM 的 row 数。
|
||
* 不走图片检测时压力小,恢复到 10 行一批以提高吞吐;开启图片检测时仍使用 llmBatchSize。
|
||
*/
|
||
private int llmTextOnlyBatchSize = 10;
|
||
private long dbTaskTouchIntervalMillis = 120000L;
|
||
private long dbJobTouchIntervalMillis = 60000L;
|
||
private int staleTimeoutMinutes = 30;
|
||
private String staleFinalizeCron = "0 */2 * * * *";
|
||
|
||
/**
|
||
* 二次判死线(心跳正常但连续 N 分钟无结果分片上报)阈值,分钟;<=0 关闭本线。
|
||
* 既有判定以 Redis heartbeat stale 为主信号,但心跳随 Python HTTP 心跳每分钟刷新——
|
||
* 主线程卡死时心跳线程照发,任务永远不 stale(与生产 28131 同型缺口)。
|
||
* 本线改看 biz_task_scope_state.last_chunk_at(仅分片上传时刷新)。
|
||
*/
|
||
private int noResultUploadTimeoutMinutes = 180;
|
||
|
||
/**
|
||
* 末尾零头 batch 的强制 flush 阈值(分钟):当不足 llmBatchSize 的零头 row
|
||
* 长时间挂着(Python 慢回传)时触发提交。
|
||
* 任务级实测:345 行 / 4h 总耗时中,约 2-3 小时是 batch 永远凑不满 batchSize 在等下一波回传,
|
||
* 把阈值从 15 调到 1:最多 60s 后 1-2 行也强制提交,让 LLM 提交侧持续进票,
|
||
* 总耗时降到与 Python 回传节奏接近。
|
||
*/
|
||
private int llmFlushPendingMinutes = 1;
|
||
|
||
/**
|
||
* 图片下载并发。下载是 IO 等待,不再按 CPU 核数收口(resize 的 CPU 槽位由
|
||
* SimilarAsinImageEmbedder 单独限流),所以 4 核生产机也可以开到 8。
|
||
*/
|
||
private int imageDownloadPoolSize = 8;
|
||
|
||
/**
|
||
* 单张图片下载超时(秒)。
|
||
* P2-10:放宽到 8 + retry=1 在快源(aiproxy/m.media-amazon)下没问题,
|
||
* 但慢源(cbu01.alicdn)会一直挂 8s 才进入 retry,整体串行时间放大。
|
||
* 调到 5s + retry=2,让慢源更早重试新连接,单图最坏耗时 ≈ 5s * (1+2) = 15s。
|
||
*/
|
||
private int imageDownloadTimeoutSeconds = 5;
|
||
|
||
/** 单个结果文件整批图片预取预算;耗尽后剩余的 URL 交给 embed 阶段按补图预算兜底。 */
|
||
private int imagePrefetchTimeoutSeconds = 1800;
|
||
|
||
/** 多源结果文件组装的单任务硬上限;运行期间由文件任务 heartbeat 保活。 */
|
||
private int resultFileTimeoutMinutes = 90;
|
||
|
||
/**
|
||
* Assemble each source workbook from chunk-scoped result maps. Keeping a
|
||
* switch makes rollback possible for an existing deployment while the new
|
||
* bounded path is observed in production.
|
||
*/
|
||
private boolean boundedResultAssemblyEnabled = true;
|
||
|
||
/**
|
||
* assemble 阶段 taskImageCache 的字节上限。
|
||
* 默认 256MB:5000 行 × 3 列 × 平均 100KB = 1.5GB 远超 2GB 堆,
|
||
* 用 BoundedImageCache 按字节累计 LRU 淘汰避免爆堆。
|
||
* 由于 embed() 写完即 remove(),活跃图片字节通常 ≤ 100MB,仅在极端 prefetch 领先场景才会触发淘汰。
|
||
* 出现淘汰过频影响命中率时可上调到 512MB;2GB 堆约束下不建议超过 768MB。
|
||
*/
|
||
private long imageCacheMaxBytes = 256L * 1024L * 1024L;
|
||
private String imageLocalCacheDir = "";
|
||
private boolean imageDbCacheEnabled = false;
|
||
|
||
/**
|
||
* 是否启用 merge 增量缓冲:每个 batch DONE 时仅缓冲 llmRows,
|
||
* 不立即合并到 chunk;finalize 前一次性按 chunkScopeHash 分组合并,
|
||
* 把 OSS chunk 读写从 1000+ 次降到 chunk 数量级。
|
||
*/
|
||
private boolean llmResultBufferEnabled = true;
|
||
|
||
/**
|
||
* 解析接口返回的预览行/预览组数量上限。
|
||
* 响应体只携带预览行(默认 100),全量行仅写入后端任务载荷。
|
||
* 有效范围 [1, 1000];0/负值回退默认,超上限 clamp 到 1000。
|
||
*/
|
||
private int parseResponsePreviewLimit = 100;
|
||
|
||
/**
|
||
* Task 7:单个源文件大小上限(字节)。超过则拒绝解析,防止无界文件增长。
|
||
*/
|
||
private long maxSourceFileBytes = 50L * 1024L * 1024L;
|
||
|
||
/**
|
||
* Task 7:单次解析最大有效行数。超过则拒绝解析,防止任务无界增长。
|
||
*/
|
||
private int maxParseRows = 50000;
|
||
|
||
/**
|
||
* Task 7:单字段最大长度(字符)。超过的字段值截断到该上限,防止内存无界增长。
|
||
*/
|
||
private int maxFieldLength = 2000;
|
||
|
||
/**
|
||
* Task 8:xlsx(zip) 最大条目数。受控读取在 WorkBookFactory 打开前探测,
|
||
* 超过则拒绝,防止 zip bomb / 超大工作簿拖垮内存。
|
||
*/
|
||
private int maxWorkbookZipEntries = 20000;
|
||
|
||
/**
|
||
* Task 8:xlsx(zip) 解压后总字节数上限。同样在打开前探测,超过则拒绝。
|
||
*/
|
||
private long maxWorkbookUncompressedBytes = 512L * 1024L * 1024L;
|
||
|
||
/**
|
||
* Task 13:单次 chunk 合并后的最大行数。mergeChunkPayload 合并后总行数超过该上限时,
|
||
* 从最旧行开始降级到 orphan 兜底(assemble 阶段 putIfAbsent 合并回结果),chunk 不无界增长。
|
||
* 默认与 maxParseRows 一致(50000)。
|
||
*/
|
||
private int chunkMergeMaxRows = 50000;
|
||
|
||
/**
|
||
* Task 13:单次 chunk 合并后 payload 的字节上限。合并后序列化字节超过该上限时,
|
||
* 从最旧行开始降级到 orphan 兜底;单行本身超过该上限时抛异常拒绝合并。
|
||
* 默认 16MB:50000 行 × 平均 300B/行 ≈ 15MB,留余量。
|
||
*/
|
||
private long chunkMergePayloadMaxBytes = 16L * 1024L * 1024L;
|
||
|
||
/**
|
||
* Task 15:图片缓存 last_used_at 异步批量刷新的缓冲阈值。
|
||
* lookup 命中先入内存缓冲(按 url_hash 去重),达到该阈值时立即批量 touch;
|
||
* 其余由定时 flush 兜底,把逐图 UPDATE 合并为批量 UPDATE。
|
||
*/
|
||
private int imageCacheTouchFlushThreshold = 1000;
|
||
|
||
/**
|
||
* embed(写单元格)阶段的缺图补下载预算(秒)。预取预算 imagePrefetchTimeoutSeconds
|
||
* 耗尽后没落到临时目录的 URL,过去直接留空;现在写单元格时在这个时间窗内就地补下载
|
||
* (单张落盘、不把字节留在堆上),窗耗尽才留空并计入交付缺失提示。
|
||
*
|
||
* <p>窗口从第一个 workbook 进入写单元格阶段起算,跨 workbook 共享同一个窗口,
|
||
* 所以它直接叠加到结果组装总耗时上:默认 300s,远小于 result-file-timeout-minutes。
|
||
*/
|
||
private int imageEmbedFallbackBudgetSeconds = 300;
|
||
|
||
/**
|
||
* 货源查询直连 LLM 模式开关(默认 true:新任务与存量 PENDING 批次都走直连 LLM,
|
||
* 不再经过工作流中转)。
|
||
*/
|
||
private boolean directLlmEnabled = true;
|
||
|
||
/** 直连 LLM 的 base url(OpenAI 兼容 /v1/chat/completions)。 */
|
||
private String llmHost = "https://ai.t8star.org";
|
||
|
||
/** 类目匹配(一级/二级)使用的小模型。 */
|
||
private String llmCategoryModel = "gemini-3.1-flash-lite-preview-thinking-medium";
|
||
|
||
/** 合规检查(is_conform/reason/category)使用的小模型。 */
|
||
private String llmConformModel = "gemini-3.1-flash-lite-preview-thinking-medium";
|
||
|
||
/** 图片相似度对比(主图 vs 拼接图)使用的模型。 */
|
||
private String llmImageCompareModel = "gemini-3.1-flash-lite-preview-thinking-medium";
|
||
|
||
private int llmMaxTokens = 64000;
|
||
private int llmConnectTimeoutMillis = 10000;
|
||
private int llmReadTimeoutMillis = 600000;
|
||
/**
|
||
* 批量分类的行数(2026-10-02):>1 且批内多行时,分类判定按该行数分块、每块一次
|
||
* LLM 调用 —— 类目树文本(formatTwoLevels,数千字符量级)整块只随请求发送一次,
|
||
* 不再随每行重复发送(这是分类链路最大的 token 开销,10 行/块可省约九成)。
|
||
* 缺编号/解析失败的行、整块调用失败的行回退逐行单调用,行级失败语义不变。
|
||
* 设 0/1 回退逐行旧行为。
|
||
*/
|
||
private int llmCategoryBatchSize = 10;
|
||
/**
|
||
* 首次尝试读超时(毫秒):上游偶发单请求不应答,首查用更短预算快速失败后重试。
|
||
* 与外观专利同口径:那边一批 5 张图后单次耗时按倍数涨,60s 会误杀正常慢响应,
|
||
* 故首查 300s、重试走完整 600s 预算(实测单图成功调用 p99≈34s、超 60s 仅 0.02%)。
|
||
*/
|
||
private int llmFirstAttemptReadTimeoutMillis = 300000;
|
||
private int llmRetryTimes = 3;
|
||
|
||
/** 批内行级并发上限:每行最多 2 次图片对比 + 1 次合规 + 3 次类目匹配。 */
|
||
private int llmRowConcurrency = 5;
|
||
|
||
/** 拼接图/主图下载超时(秒),慢源图片较多时放大该值。 */
|
||
private int llmImageDownloadTimeoutSeconds = 10;
|
||
|
||
/**
|
||
* 主图转存的<b>额外</b>重试次数(0=不重试,与原行为一致)。
|
||
* 依据 2026-09-28 生产取证:主机A 近 3 小时 252 条主图下载失败全部是
|
||
* {@code m.media-amazon.com} 的 "Remote host terminated the handshake"(瞬时握手被 RST,
|
||
* 事后 curl 8 条里 7 条直接 200),而旧实现一次都不重试、真实异常还被丢掉。
|
||
* 发版后实测(同文档 §6.1):<b>秒级 backoff 只救回 3/18=17%</b>,行失败率 14.0% vs 旧代码 14.6% 基本没动,
|
||
* 确定收益是行失败日志自带真实原因、以及非 200 与连接级失败被分开计数。
|
||
* 原因见下一条 §6.2:三次重试打在<b>同一个被钉住的坏 CDN 节点</b>上,所以等再久也不如换域名。
|
||
* 设 0 可退回旧行为。
|
||
*/
|
||
private int llmImageDownloadRetryTimes = 2;
|
||
|
||
/**
|
||
* 主图下载的<b>备用域名</b>映射,格式 {@code from=to},多组用 {@code ;} 分隔;置空即完全关闭。
|
||
* 仅在连接级失败后的重试里生效(首试仍用原 URL)。
|
||
* 依据 2026-09-28 主机A 取证:{@code m.media-amazon.com} 由多 CDN 池解析,
|
||
* 其中 Akamai 系(184.27.207.231/245)与 Fastly(199.232.113.16)对
|
||
* SNI=m.media-amazon.com <b>一律 RST</b>(同一 IP 不带 SNI 则 TLSv1.3 握手成功),
|
||
* 而 JVM 正向 DNS 缓存会把选中的节点钉住一段时间(JDK 默认 30 秒,此处未实测)→ 整批 10 行一起挂,
|
||
* 这正是上一条秒级 backoff 只救回 17% 的原因(三次都打在同一个坏节点上)。
|
||
* 实测最近 20 条失败 URL 换 {@code images-na.ssl-images-amazon.com}:<b>20/20 成功且 md5 逐字节相同</b>。
|
||
*/
|
||
private String llmImageHostAliasMap = "m.media-amazon.com=images-na.ssl-images-amazon.com";
|
||
}
|