From 6e5c0df1a41946e9fa2b507716b6f415aa591d8e Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Sun, 27 Sep 2026 11:24:40 +0800 Subject: [PATCH] =?UTF-8?q?fix(=E4=B8=8A=E6=9E=B6):=20=E5=9B=BE=E7=89=87?= =?UTF-8?q?=E9=A2=84=E5=8F=96=E5=B9=B6=E5=8F=91=E6=8C=89=20IO=20=E6=94=B6?= =?UTF-8?q?=E5=8F=A3=20+=20=E7=BC=BA=E5=9B=BE=E5=B0=B1=E5=9C=B0=E8=A1=A5?= =?UTF-8?q?=E5=9B=BE=EF=BC=8C=E4=BF=AE=E7=BA=BF=E4=B8=8A=2014591=20?= =?UTF-8?q?=E4=B8=AA=E5=9B=BE=E7=89=87=E5=8D=95=E5=85=83=E6=A0=BC=E9=9D=99?= =?UTF-8?q?=E9=BB=98=E7=95=99=E7=A9=BA?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 线上日志证据:4 核机器上 `image pool initialized requested=2 effective=2 cpuBoundLimit=2`, 8 个下载 worker 被 CPU 核数压到 2;一次组装 total=4045 行只完成 1968 行就撞上 1800s 预算, 尾部 URL 全部预取不到,落单元格时直接留空且用户无感知。 三层修复: 1. 下载池与缩放池解耦——下载是 IO 等待,默认 8、上限只挡配置写错(64);缩放仍按 CPU 收口。 OkHttp 连接池随之放大,否则默认 5 条空闲连接会让 3 个 worker 反复重做 TLS 握手。 2. 预取未覆盖到的 URL 在写单元格时就地补下载(单张落盘、不驻堆),共用一个 300s 窗口; 窗口从「预取收工、开始写单元格」起算且首个 workbook 独占——在建 spool 时 arm 会被 1800s 预取整个吃满,等于没有兜底。已预取失败的 URL 记入失败集跳过,避免每个死源站 再烧掉一次 下载超时×重试 的预算。 3. 交付不再静默:缺行/缺图写入 result.notice(状态仍为 SUCCESS,不碰 task.errorMessage, 否则会被 completeLlmFileJob 的失败判据读成整单失败)。 imagePrefetchBudgetSeconds 在生产配置里无人读取,改名 imageEmbedFallbackBudgetSeconds 并 接上实际用途。 --- .../aiimage/config/SimilarAsinProperties.java | 18 +- .../support/SimilarAsinResultTextSupport.java | 38 +++- .../SimilarAsinResultWorkbookAssembler.java | 96 +++++++++-- .../util/SimilarAsinImageEmbedder.java | 163 ++++++++++++++---- .../src/main/resources/application.yml | 19 +- .../util/SimilarAsinImageEmbedderTest.java | 85 +++++++-- 6 files changed, 338 insertions(+), 81 deletions(-) diff --git a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java index 47a038be0..95f81d289 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java +++ b/backend-java/src/main/java/com/nanri/aiimage/config/SimilarAsinProperties.java @@ -41,9 +41,10 @@ public class SimilarAsinProperties { private int llmFlushPendingMinutes = 1; /** - * 图片下载、解码和缩放共享该池;4 核生产机默认 2,避免图片任务占满整机 CPU。 + * 图片下载并发。下载是 IO 等待,不再按 CPU 核数收口(resize 的 CPU 槽位由 + * SimilarAsinImageEmbedder 单独限流),所以 4 核生产机也可以开到 8。 */ - private int imageDownloadPoolSize = 2; + private int imageDownloadPoolSize = 8; /** * 单张图片下载超时(秒)。 @@ -53,7 +54,7 @@ public class SimilarAsinProperties { */ private int imageDownloadTimeoutSeconds = 5; - /** 单个结果文件整批图片预取预算,耗尽后缺图单元格降级为 URL。 */ + /** 单个结果文件整批图片预取预算;耗尽后剩余的 URL 交给 embed 阶段按补图预算兜底。 */ private int imagePrefetchTimeoutSeconds = 1800; /** 多源结果文件组装的单任务硬上限;运行期间由文件任务 heartbeat 保活。 */ @@ -139,11 +140,14 @@ public class SimilarAsinProperties { private int imageCacheTouchFlushThreshold = 1000; /** - * Task 16:图片预取短预算(秒)。assemble 阶段预取在预算内 best-effort - * 尽力完成,预算耗尽即取消在途任务并回退 URL,避免整批预取拖垮结果组装。 - * 该值仅作用于 assemble 阶段预取;后台预热仍使用 imagePrefetchTimeoutSeconds。 + * embed(写单元格)阶段的缺图补下载预算(秒)。预取预算 imagePrefetchTimeoutSeconds + * 耗尽后没落到临时目录的 URL,过去直接留空;现在写单元格时在这个时间窗内就地补下载 + * (单张落盘、不把字节留在堆上),窗耗尽才留空并计入交付缺失提示。 + * + *

窗口从第一个 workbook 进入写单元格阶段起算,跨 workbook 共享同一个窗口, + * 所以它直接叠加到结果组装总耗时上:默认 300s,远小于 result-file-timeout-minutes。 */ - private int imagePrefetchBudgetSeconds = 60; + private int imageEmbedFallbackBudgetSeconds = 300; /** * 货源查询直连 LLM 模式开关(默认 true:新任务与存量 PENDING 批次都走直连 LLM, diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/support/SimilarAsinResultTextSupport.java b/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/support/SimilarAsinResultTextSupport.java index c4ce13bdb..b7c3b100d 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/support/SimilarAsinResultTextSupport.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/similarasin/service/support/SimilarAsinResultTextSupport.java @@ -15,7 +15,7 @@ import java.util.regex.Pattern; *