fix(上架): 图片预取并发按 IO 收口 + 缺图就地补图,修线上 14591 个图片单元格静默留空
线上日志证据:4 核机器上 `image pool initialized requested=2 effective=2 cpuBoundLimit=2`, 8 个下载 worker 被 CPU 核数压到 2;一次组装 total=4045 行只完成 1968 行就撞上 1800s 预算, 尾部 URL 全部预取不到,落单元格时直接留空且用户无感知。 三层修复: 1. 下载池与缩放池解耦——下载是 IO 等待,默认 8、上限只挡配置写错(64);缩放仍按 CPU 收口。 OkHttp 连接池随之放大,否则默认 5 条空闲连接会让 3 个 worker 反复重做 TLS 握手。 2. 预取未覆盖到的 URL 在写单元格时就地补下载(单张落盘、不驻堆),共用一个 300s 窗口; 窗口从「预取收工、开始写单元格」起算且首个 workbook 独占——在建 spool 时 arm 会被 1800s 预取整个吃满,等于没有兜底。已预取失败的 URL 记入失败集跳过,避免每个死源站 再烧掉一次 下载超时×重试 的预算。 3. 交付不再静默:缺行/缺图写入 result.notice(状态仍为 SUCCESS,不碰 task.errorMessage, 否则会被 completeLlmFileJob 的失败判据读成整单失败)。 imagePrefetchBudgetSeconds 在生产配置里无人读取,改名 imageEmbedFallbackBudgetSeconds 并 接上实际用途。
This commit is contained in:
@@ -41,9 +41,10 @@ public class SimilarAsinProperties {
|
||||
private int llmFlushPendingMinutes = 1;
|
||||
|
||||
/**
|
||||
* 图片下载、解码和缩放共享该池;4 核生产机默认 2,避免图片任务占满整机 CPU。
|
||||
* 图片下载并发。下载是 IO 等待,不再按 CPU 核数收口(resize 的 CPU 槽位由
|
||||
* SimilarAsinImageEmbedder 单独限流),所以 4 核生产机也可以开到 8。
|
||||
*/
|
||||
private int imageDownloadPoolSize = 2;
|
||||
private int imageDownloadPoolSize = 8;
|
||||
|
||||
/**
|
||||
* 单张图片下载超时(秒)。
|
||||
@@ -53,7 +54,7 @@ public class SimilarAsinProperties {
|
||||
*/
|
||||
private int imageDownloadTimeoutSeconds = 5;
|
||||
|
||||
/** 单个结果文件整批图片预取预算,耗尽后缺图单元格降级为 URL。 */
|
||||
/** 单个结果文件整批图片预取预算;耗尽后剩余的 URL 交给 embed 阶段按补图预算兜底。 */
|
||||
private int imagePrefetchTimeoutSeconds = 1800;
|
||||
|
||||
/** 多源结果文件组装的单任务硬上限;运行期间由文件任务 heartbeat 保活。 */
|
||||
@@ -139,11 +140,14 @@ public class SimilarAsinProperties {
|
||||
private int imageCacheTouchFlushThreshold = 1000;
|
||||
|
||||
/**
|
||||
* Task 16:图片预取短预算(秒)。assemble 阶段预取在预算内 best-effort
|
||||
* 尽力完成,预算耗尽即取消在途任务并回退 URL,避免整批预取拖垮结果组装。
|
||||
* 该值仅作用于 assemble 阶段预取;后台预热仍使用 imagePrefetchTimeoutSeconds。
|
||||
* embed(写单元格)阶段的缺图补下载预算(秒)。预取预算 imagePrefetchTimeoutSeconds
|
||||
* 耗尽后没落到临时目录的 URL,过去直接留空;现在写单元格时在这个时间窗内就地补下载
|
||||
* (单张落盘、不把字节留在堆上),窗耗尽才留空并计入交付缺失提示。
|
||||
*
|
||||
* <p>窗口从第一个 workbook 进入写单元格阶段起算,跨 workbook 共享同一个窗口,
|
||||
* 所以它直接叠加到结果组装总耗时上:默认 300s,远小于 result-file-timeout-minutes。
|
||||
*/
|
||||
private int imagePrefetchBudgetSeconds = 60;
|
||||
private int imageEmbedFallbackBudgetSeconds = 300;
|
||||
|
||||
/**
|
||||
* 货源查询直连 LLM 模式开关(默认 true:新任务与存量 PENDING 批次都走直连 LLM,
|
||||
|
||||
Reference in New Issue
Block a user