diff --git a/docs/ops/perf-review-2026-10-02.md b/docs/ops/perf-review-2026-10-02.md new file mode 100644 index 000000000..64087c6ec --- /dev/null +++ b/docs/ops/perf-review-2026-10-02.md @@ -0,0 +1,163 @@ +# 上线后性能 / 逻辑优化建议(2026-10-02) + +审查方式:只读代码,未连生产、未压测。所有 file:line 均已逐行回读确认;凡依赖线上数据才能定量化的,标了 `【待测】` 并给出取数语句。 +本报告按「能缩短多少单任务时长」排序,不按改动难度排序。 + +--- + +## 一、结论摘要 + +外观专利与货源是任务时长的大头(外观占 LLM 花费 95%)。这两条链上**最贵的不是 LLM 本身,而是夹在 LLM 批次之间的串行等待**: + +| # | 问题 | 位置 | 每任务额外代价 | +|---|---|---|---| +| A1 | 每个 LLM 批次之间把全部分片从对象存储重读重解析一遍 | `AppearancePatentTaskService.java:1926`→`:3126` | 轮数 × 分片数 次远程 GET,全在批间空档,期内并发槽闲置 | +| A2 | 品牌校验逐行发、每行各带一个 90 秒预算;同项目已有的批量+缓存过滤器没用 | `AppearancePatentLlmClient.java:916` | 一批 10 行 = 10 个独立 90s 预算串行 | +| A3 | 货源采集链仍逐行回传 + 逐行查终态,没吃到变体链已上线的攒批 | `func/collect_data_run/handler.py:338-350` | 每行 2 次公网 HTTP | +| A4 | 每次开页取 cookie 都让 Redis 全键空间 SCAN 一遍 | `maixiang_task_api/main.py:315` | 与开页次数等量(实测口径 10 万+ 次开页 = 10 万+ 次扫描) | + +B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全表 COUNT、结果文件作业的调度自相矛盾),C 组是吞吐上限(要先测再改),D 组是交付层低成本项。 + +--- + +## 二、A 组:直接缩短单任务时长 + +### A1 外观专利:批间全量重读分片 `[P0]` + +**证据链** +- `modules/appearancepatent/service/AppearancePatentTaskService.java:902-904` 注释自陈「同步检测:按批次串行调用 LLM」;`:915` 取 `llm-batch-size`(yml:336 默认 **10**);`:949` 外层 `for (i += batchSize)` 串行推进。 +- 每轮批内 `:970 mergeLlmRowsIntoChunks` → `:1047` 定义 → `mergeLlmRowsIntoSubmittedChunks`:`:1926 loadSubmittedChunks(task.getId())` 取回**该任务全部分片**,`:1934` 对每一片调 `readChunkRows(chunk)`。 +- `:3126 readChunkRows` = `transientPayloadStorageService.resolvePayload(...)`(RustFS/OSS GET)+ 整片 JSON 反序列化。 + +**代价**:N 行任务 = ⌈N/10⌉ 轮,每轮 C 次载荷 GET + 全量解析(C = 分片数)。5000 行、C=25 → 500 轮 × 25 = **1.25 万次 GET、约 250 万行对象解析**,全部串在批与批之间。这段时间 `llm-row-concurrency:5`(yml:343)的槽是空着的。 +`【待测】C 的真实分布`:`SELECT task_id, COUNT(*) c FROM biz_task_chunk WHERE module_type='APPEARANCE_PATENT' GROUP BY task_id ORDER BY c DESC LIMIT 20;` + +**改法**(纯读,不动写回) +1. 把 `Map>` 提成批循环的局部状态,在 `:1058 collectPendingLlmCandidates` 首次读片时就建好,批内 merge 只更新真正被写回的那几片; +2. 参照 similarasin 侧已有的 `indexRowsByChunkKey` 思路建 `rowKey→chunkKey` 索引,去掉 `:1910` 对全部分片的线性试探。 + +**风险**:分片在批中被别的入口改写时读到旧态。现状靠 `mergeChunkPayload` 的 CAS 兜住,改后仍要走同一 CAS,只省读不省写。行数与判定结果不变。 + +### A2 外观专利:品牌校验合批 + 复用已有缓存 `[P0]` + +**证据链** +- `modules/appearancepatent/client/AppearancePatentLlmClient.java:187-200` 是行循环,`:197 applyResult(...)`;`applyResult` 内 `:916` 调 `brandCheckClient.checkTitleText(result.title(), "Terms")`。 +- `modules/brand/client/BrandCheckClient.java:201-203 checkTitleText` → `checkAll(splitTitleText(title), strategy)`;`:100-101` 预算 `total-timeout-millis` **每次调用重算**(yml:320-325:`retry-times:10 / total-timeout-millis:90000 / read-timeout-millis:60000`)。 +- 同项目 `modules/collectdata/util/CollectDataBrandBatchFilter.java:26-31` 注释与 `:44-62` 实现已经做过这件事:按 10 行一批去重后一次 `checkAll`(整批共享预算)+ 512 条 LRU 判定缓存 + 远程抛错不写缓存。**外观侧完全没走它**。 + +**代价**:一批 10 行 = 10 个独立 90s 预算串行;上游 16890 劣化时批间隔被拉到分钟级。跨行同品牌(nike/adidas 这类高频词)零复用。 + +**这一条的量级取决于 16890 现在的状态**:9-28 实测 jikip 套餐彻底失效那轮,`distinct 品牌 291 / 最终判失败 290`(99.7%),A 机 45 分钟内 `整批耗时预算用尽` 290 次,当时的结论是"10 次重试纯放大时延、零收益"(`docs/ops/prod-decisions-2026-09-28.md` §八)。 +- 上游**正常**时:合批+缓存省的是 10 次往返 → 1 次,收益是个常数因子; +- 上游**再次劣化**时:`每行一个 90s 预算` 意味着 10 行/批最坏 900s,改成整批共享预算后最坏仍是 90s/批 —— **这条真正的价值是把爆炸半径从"行"收回"批",和外观合批那次同样的思路**。所以下手前先看一眼 16890 现在的成功率,它决定 A2 排在 A1 前还是后。 + +**改法**:`applyResult` 拆两段——先收齐全批 keywords,`distinct` 后一次 `checkAll`,再按行取结论;缓存口径照抄 `CollectDataBrandBatchFilter.checkAndCache`。**不要新建类**,把该过滤器提到可被外观复用的位置即可。 + +**风险(必须拍)**:合并后同品牌在同批内共享一次结论。上游抖动时「第 1 行 OK、第 2 行 QUERY_FAILED」会变成两行同结论 → **判定集合可能变化**,属于本项目在意的静默错判族(参见外观 id 塌陷那次)。行数不变、LLM 输出不变。 + +### A3 货源采集链:套用变体链已上线的攒批 `[P0]` + +**证据链** +- `maixiang_run_task/func/collect_data_run/handler.py:338-350 _emit`:每产出一条就 `feed(pending, False)`,紧跟 `:345 self._is_task_terminal(task_id)`。 +- `func/amazon_base.py:460-471 _is_task_terminal`:每次调 `api_client.get_batch_status(task_id)`,**无节流**。 +- 对照组 `func/variant-collection/handler.py:235-257`:攒批 flush + `TERMINAL_CHECK_INTERVAL` 节流 + 失败批留缓冲重发。变体链已改完,货源链没跟上。 + +**代价**:每行 2 次公网 HTTP(`API_BASE_URL` 走公网 121.196.149.225:18960),另加 `:343` 每行把整条 payload 打进日志。一次往返失败被 `tools/api_client.py:33-43`(timeout 30×3 + sleep 2)卡住最长约 94s。 + +**改法**:把变体链的缓冲与终态节流提到 `amazon_base` 的公共方法,`_emit` 走同一缓冲。 +**风险**:不改行数。**需采集机跑一次 `更新并重启.bat` 才生效**(与变体那条同一批次,不额外增加发布动作)。 + +### A4 取 cookie 的全键空间 SCAN `[P0]` + +**证据链**:`maixiang_task_api/main.py:300 /api/cookie/get` → `:315 async for k in redis_client.scan_iter(match=f"{country}:*", count=100)`。 +**代价**:SCAN 的 `match` 是**扫完再过滤**,成本取决于键空间大小而非命中数。每一次开页要一个 cookie 就扫一遍全库,与队列 `LMOVE`、心跳抢同一条 Redis 连接池。 +**改法**:`/cookie/add` 时 `SADD cookie:{country}`、失效时 `SREM`,`get_cookie` 改 `SRANDMEMBER cookie:{country} 3`,保留 `:301-305` 注释写明的"随机打散取用"意图(那注释是为了避免所有并发任务抢同一个 cookie 被风控拉黑)。 +**风险**:存量 cookie 必须一次性回填 Set,漏回填=取不到 cookie=整链失败。这是本组唯一硬风险,上线判据要写"取空计数为 0"。 + +--- + +## 三、B 组:DB 与对象存储往返浪费 + +### B1 心跳每 60 秒整行读任务 + 全实体序列化进 Redis `[P1]` + +- 频率:`app_client/amazon/main.py:311 HEARTBEAT_INTERVAL = 60`,每个在跑任务一次 POST `/api/tasks/{id}/heartbeat`。 +- 服务端 `modules/task/service/TaskHeartbeatService.java:101-106 selectFileTask` 只有 `eq(id).last("limit 1")`,**没有 `.select()` 投影** ⇒ 把 `biz_file_task` 的 `request_json`、`result_json` 整列读回来(`FileTaskEntity.java:23-24`)。 +- `:198-202` 无条件 `handler.saveTaskCache(task)`;`AbstractModuleTaskCacheService.java:203-216` 把**整个实体** `writeValueAsString` 后 `SET` 进 Redis(24h TTL)。 +- 节流只有 similar-asin 实现了(`SimilarAsinTaskHeartbeatSpi.java:46 checkpointInterval()` 是全仓唯一覆盖点),其余模块每轮心跳都写。 +- 同项目已有裁剪惯例,属漏改:`TaskProgressLightAssembler.java:49`、`StaleTaskRepairService.java:70`。 + +**改法**:`selectFileTask` 加 `.select(id, status, moduleType, userId, updatedAt)`;新增轻字段版缓存写入(或让心跳只写进度键,任务实体交给状态变更点)。 +**风险**:PriceTrack 的 `loadTaskForExecution` 依赖缓存行里的 `requestJson` 非空(`TaskFinalizeSupport.java:32-33` 已注明),必须保留 DB 兜底路径。 +`【待测】result_json 字节分布`:`SELECT id, LENGTH(result_json) FROM biz_file_task WHERE module_type IN ('QUERY_ASIN','PATROL_DELETE','SHOP_DATA_CRAWL') ORDER BY 2 DESC LIMIT 20;` —— 决定这一条值不值得动。 + +### B2 载荷物理删除每次跑两条无 task_id 的 JSON 全表 COUNT `[P1]` + +- `TransientPayloadStorageService.java:329-340` 与 `:343-358`:先按 task_id 收敛查一次,**查不到就回退全表** `IN(payload_json, values)`;`:275` 的注释自己写明「调用方正常路径下引用数必然为 0」⇒ 正常删除路径**必然**走到全表回退。合计每次删除 4 条 COUNT,其中 2 条在 JSON/TEXT 列上无索引可走(V121 已删相关索引)。 +- 调用面广:全仓 50+ 个 `deletePayloadIfPresent` / `deleteReplacedPayloadIfNeeded` 生产调用点(chunk 回传、scope state 覆盖、结果项升级旧对象等)。 +- 已有的批量版 `TransientPayloadDeleteOrchestrator.batchReferencedPointers`(`:235`)目前只有 `ModuleHistoryCleanupService.java:339` 一个调用方在用;`TaskResultItemService.java:184` 注释显示结果项那条热路径已经改走编排器了。 + +**改法**:把剩余高频调用点改投 `submitDeletes(List.of(v))` + 周期 flush(编排器已带 journal 与去重);或让全局回退只在 `extractTaskId(pointer)` 解析失败时才执行(`:311` 已解析成功却仍全局查,等于把收敛当预筛而不是当边界)。 +**风险**:去掉回退会重演 28459 误删——所以**只对"指针能解析出 task_id"的路径**取消全局回退,解析不出仍按现口径。 + +### B3 结果文件作业:三个调度参数互相打架 `[P1]` + +- 每 10s claim 20 条并全部翻成 RUNNING(`TaskResultFileJobWorker.java:70-84` + yml:279 `local-worker-delay-ms:10000`、:285 `batch-size:20`); +- 本地派发池只有 2 线程、in-flight 满 64 就直接回落**在调度线程内联执行**(yml:276、`TaskFileJobLocalDispatcher.java:36-37,74-78`); +- 卡死线 5 分钟、每 60s 扫一次(yml:280、:283)⇒ 排队超 5 分钟的 RUNNING 被翻回 PENDING,真正开跑时 `activateRunningClaim` 的 CAS 失败,整轮白跑。 +- 更实的问题:`:352-368` 对 PENDING 超阈值每轮 `retry_count++`(封顶 `MAX_RETRY_COUNT-1`=4,`MAX_RETRY_COUNT=5` 在 `:29`)⇒ **排队时间吃掉重试预算**,作业之后只要遇到一次真实 RUNNING 超时就直接判 FAILED,拿不到设计意图里的 5 次机会。 + +**改法**:`runPendingJobs` 的 limit 改 `min(batchSize, 本地剩余容量)`;PENDING 分支只补发 dispatch 事件、不递增 retry_count(`TaskFileJobService.java:352-368`)。 +**风险**:47 个 `@Scheduled` 共用 pool-size 16(`SchedulingConfig.java:31`),内联回落会挤占其他定时任务;改完要回看 `requeued because task lock is busy` 计数有没有回升。 + +### B4 其余四条已定位的重复读 / 串行下载 `[P1-P2]` + +| 位置 | 问题 | 量级 | 改法 | +|---|---|---|---| +| `SimilarAsinResultWorkbookAssembler.java:576-595`(+`:646-658`)、`AppearancePatentTaskService.java:2466-2485` | 导出时逐分片 `LIMIT 1` 分页取片,且每个源文件都全量重扫 | 源文件数 × 分片数 次单行 SELECT + 载荷 GET | 一次 `selectList` 取回片列表,按片自带 `scopeHash` 过滤(外观 `:517` 已按 submissionId 生成) | +| `SimilarAsinPayloadSupport.java:210/219/238` → `:244-259` | `prompt/apiKey/imgSwitch/categorySwitch` 各读一次全量 parsed payload(下载+反序列化+行对象复制 2-3 份),调用点 `SimilarAsinPipelineSupport.java:1018-1021` | 每轮回传 × 4-6 次全量读 | 合并成一个 `readTaskSettings(task)` 一次读完返回 record | +| `PuzzleImageMerger.java:97-106`(`:211-231` 重试) | 一行 16 张 1688/alibaba 图仍串行下载,单张 10s(yml:363 池是 8 但这里没用) | 每行最多 16 次串行往返,最坏 320s | 复用 `SimilarAsinImageEmbedder` 已有的 `CompletionService + downloadPool(8) + 全局 deadline` 取字节,按 index 落回原顺序 | +| `SimilarAsinLlmService.java:201`(`ProductCategoryService.java:43-50` 无缓存全表读)、`:359 tree.formatTwoLevels()` 每行重算 | 类目树每批全表 SELECT、两层清单每行重拼 | 图模式 `llm-batch-size:3` ⇒ 5000 行 ≈ 1667 次全表读 | `formatTwoLevels()` memoize;树按 `max(id)/updated_at` 做秒级 TTL | + +`SimilarAsinImagePrefetchService.java:319 lookupBatch(...)` 已经写好但**全仓无调用方**,实际走 `:387 lookup(url)` 被 `SimilarAsinResultWorkbookAssembler.java:793-810` 在 URL 循环里逐条调;预热侧 `PREFETCH_POOL_SIZE=2` 且每 task 单 worker。属于"批量接口写了没接上"。 + +--- + +## 四、C 组:吞吐上限,先测再改 + +- **C1 单任务实际并发 ≈ 2,而闸给到 12。** 外观一轮批内:文本 10 行合 1 次调用、图片 10 行按 `llm-appearance-batch-size:5` 分 2 块并发(`AppearancePatentLlmClient.java:291-292` 的 `Semaphore(llmRowConcurrency=5)` 只在块数 >1 时才起作用),批与批之间串行(A1)。`task-queue.max-concurrent:12`(yml:314)远没用满。**先做 A1,再谈抬并发**——顺序反过来只会把等待搬个地方。 +- **C2 代理上游有没有账号级并发/RPM 上限,仍未归因。** 没测之前,抬并发、补消费者、MQ 化三条路都只能算猜测(外观一批 10 行线上实测 `costMs` 已到 214869/249250,慢在上游不在本机)。取数:同一任务把 `llm-row-concurrency` 从 5 抬到 8,观察 429/超时率与 `costMs` 分位;有 429 就说明上限在代理。 +- **C3 按负载选机(主机B 目前基本闲着)比 MQ 化便宜一个数量级。** `owner_instance_id` + `aiimage.instance-routing` 已保证"任务在哪台就由那台跑完",只需把**新任务落地机器**从"客户端解析到谁"改成按在飞作业数选机,不碰批次语义。 +- **C4 风控降级是进程全局的**:`func/amazon_base.py:163-168` 每页 401/403/503 都进同一个闸门,`config.py:51-54`(300s 窗口 / 阈值 8 / HOLD 600s)触发后把 4 槽压到 1 至少 10 分钟 ≈ 少产出 440 行(按单槽 880 行/h),且一个坏 cookie 池或一国风控会拖垮全部任务类型。改法:闸门按 `(task_type, country)` 分桶。**阈值要先看线上信号频次再动**,放宽等于真多烧代理费。 + +--- + +## 五、D 组:交付层低成本项 + +- **D1 管理后台首屏比用户端大 5.2 倍。** 实测产物:`admin-frontend-vue/dist/assets/index-CAmaFJ39.js` **1,127,603 B** + `index-CSE0eCeX.css` 383,318 B;用户端 `frontend-vue/new_web_source/assets/index-BwjSp_ZA.js` 217,568 B。根因:`admin-frontend-vue/src/main.ts:3-5` 全量 `import ElementPlus` + `element-plus/dist/index.css`,`vite.config.ts:32-35` 的 build 块没有 `manualChunks`。改法照用户端(`frontend-vue/vite.config.ts:5-7` 用 ElementPlusResolver),命令式组件样式按用户端 `main.ts:7-8` 补两行。**这是纯前端构建改动,风险最低、见效最快。** +- **D2 轻量进度端点已就绪但只接了 5/12。** `frontend-vue/src/shared/api/progress-light.ts:19-32` 白名单 12 个模块、`endpoints.ts` 12 个 `progressLight` 都在;实际只有 appearancePatent / patrolDelete / queryAsin / shopDataCrawl / withdraw 五个 tab 调 `getModuleProgressLight`。`BrandSimilarAsinTab.vue:206` 仍传重型 `getSimilarAsinTaskProgressBatch`(同类还有 publish / priceTrack / collectData / deleteBrand / productRisk / shopMatch)。`useLiveTaskBoard.ts:430` 无条件调 `fetchProgressBatch`,所以每个 tab 的收益取决于它自己传的是哪个函数——照 `BrandAppearancePatentTab.vue:159` 的 `beforeBatch` + 行版本门控写法迁移即可。轮询节奏:可见 10s / 隐藏 60s(`task-progress-config.ts:16-17`)。 +- **D3 后台列表拉 LONGTEXT。** `modules/imagevideo/mapper/ImageVideoAdminTaskMapper.java:19` 列表 SELECT 了 `request_json/submit_response_json/result_json/video_urls_json/archived_videos_json`(V71 为 LONGTEXT),但列表只用 `request_json` 里一个标量(`ImageVideoAdminTaskService.java:226 modeOf`),另两列只有详情 `:238-245` 用。同类:`ShopDataCrawlDailyFileService.java:138-142` 无投影读 `row_payload`(MEDIUMTEXT, V93)却只用于判空(`ShopDataCrawlTaskService.java:849`)/取 resultId(`ShopDataCrawlAdminTasksService.java:96`)。改法:列表用 `JSON_UNQUOTE(JSON_EXTRACT(...))` 取标量,大列留给详情查询。 +- **D4 任务中心看板每 30s 全量 UNION COUNT + OFFSET 分页。** `TaskCenterBoardPage.vue:43,242` 每 30s 三接口;`TaskCenterQueryService.java:137` 对 `biz_file_task ∪ brand_crawl_tasks` 无时间界计数、`:144` OFFSET 无页上限;`TaskCenterQueryMapper.java:258-274` 的 UNION-ALL 每页被执行两遍,`:220-229` 含 4 个相关子查询 `EXISTS … LIKE '%…%'`。改法:总数短 TTL 缓存 + `last_id` 游标(范式见 `DedupeTotalDataService.java:194-201`)。 +- **D5 gzip 需要取证再定。** 仓库里的网关模板 `scripts/deploy_nginx_gateway.py:70-84` 只有 sendfile/tcp_nopush,全仓 grep 无 `gzip on`;但线上真正生效的是主机B `/opt/1panel/www/conf.d/api.aishufu.top.conf`(不在仓库),1Panel 可能已在全局开 gzip。**先 `curl -H 'Accept-Encoding: gzip' -sI ` 看有没有 `Content-Encoding`**,有就别动。 +- **D6 无依赖的串行 await**:`BrandPriceTrackTab.vue:1652-1653`、`BrandProductRiskTab.vue:495-496,805-806` 先 `await loadHistory()` 再 `await loadDashboard()`,两者互不依赖;`GroupEditorDialog.vue:58`、`pages/records/history-api.ts:17` 用 `page_size=999` 一次拉全量用户。 + +--- + +## 六、口径已知的遗留杠杆(不是新发现,列出来免得重复讨论) + +1. **外观专利图片按内容寻址缓存** —— 唯一攻图片输入 token 的一条,也是合批之后剩余最大的成本杠杆,仍未做。 +2. **ASIN 跨任务缓存命中率低的真实原因(本次查清)**:键设计是干净的 `(country, asin)` 唯一键(`AsinResultCacheMapper.java:49-72`),TTL 按采集端真实开页时间 `observed_at`(`AsinResultCacheService.java:232`)——**不是键坏了**。0.1% 命中来自覆盖面与截断:服务端唯一写入口在 `CollectDataService.java:1855` 且硬编码 `AVAILABILITY_OK`(`AsinResultCacheService.java:187`);多选国家直接不写(`CollectDataService.java:1867-1874` → `AsinResultCacheService.java:175-178`);空价不写(`:181-183`);单次查询/写入各 500 行截断且不补查(`:95-98`、`:134-137`,默认值 yml:404-405);表没有保留期清理任务。要提命中率,动"多国家不写"和 500 截断这两处,别动 TTL。 +3. `FOR UPDATE SKIP LOCKED` 路线仍未实施。 +4. `biz_file_task.result_json` 存明文 apiKey 的泄露面仍未处理。 + +## 七、已经排除、不必再查的 + +加索引方向(瓶颈是行锁与大 JSON 列);清 `/app/java` 的 jar 备份;缩短 `DEFAULT_WAIT_MILLIS`;进一步合并 LLM 调用次数 / 词典替提词 / 拼图合并 / 家族页一次取价;空价格行的 KKBrowser 兜底耗时(只占 3.3%~3.9%);结果文件作业"纯轮询驱动"(`TaskFileJobDispatchCoordinator.java:25-45` 有事件点火);前端 `setInterval` 泄漏(两侧 8 个调用点,卸载清理与模块级单例都核过);Excel 导出(写出统一 `SXSSFWorkbook(200)` 流式,读入已改流式);`TaskObservabilityMetrics` 确认未接生产(无 `@Component`、无生产调用方、pom 无 prometheus registry),要做告警走日志字段或补 registry。 + +## 八、建议执行顺序 + +1. **A1 + B3**(外观批间重读 + 结果作业调度)——都在 jar 里,可同批发;A1 单条就能把 5000 行任务的批间空档基本抹掉。 +2. **A2**——需要一次判定口径的确认(同批同品牌共享结论),拍完就改。 +3. **A4**(18960)+ **A3**(采集机 `更新并重启.bat`,与变体攒批同一次更新)——与既欠的 18960 / 4.0.42 发版并批,不额外开窗口。 +4. **D1**(后台分包按需)——纯前端,随时可做。 +5. **B1/B2/B4** 一批发,收益是 DB 与对象存储往返,不改语义。 +6. **C2 的归因测量**与 C1/C3 的实施穿插做;不要在测出代理上限之前抬并发。