# 上线后性能 / 逻辑优化建议(2026-10-02) 审查方式:只读代码,未连生产、未压测。所有 file:line 均已逐行回读确认;凡依赖线上数据才能定量化的,标了 `【待测】` 并给出取数语句。 本报告按「能缩短多少单任务时长」排序,不按改动难度排序。 --- ## 一、结论摘要 外观专利与货源是任务时长的大头(外观占 LLM 花费 95%)。这两条链上**最贵的不是 LLM 本身,而是夹在 LLM 批次之间的串行等待**: | # | 问题 | 位置 | 每任务额外代价 | |---|---|---|---| | A1 | 每个 LLM 批次之间把全部分片从对象存储重读重解析一遍 | `AppearancePatentTaskService.java:1926`→`:3126` | 轮数 × 分片数 次远程 GET,全在批间空档,期内并发槽闲置 | | A2 | 品牌校验逐行发、每行各带一个 90 秒预算;同项目已有的批量+缓存过滤器没用 | `AppearancePatentLlmClient.java:916` | 一批 10 行 = 10 个独立 90s 预算串行 | | A3 | 货源采集链仍逐行回传 + 逐行查终态,没吃到变体链已上线的攒批 | `func/collect_data_run/handler.py:338-350` | 每行 2 次公网 HTTP | | A4 | 每次开页取 cookie 都让 Redis 全键空间 SCAN 一遍 | `maixiang_task_api/main.py:315` | 与开页次数等量(实测口径 10 万+ 次开页 = 10 万+ 次扫描) | B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全表 COUNT、结果文件作业的调度自相矛盾),C 组是吞吐上限(要先测再改),D 组是交付层低成本项。 --- ## 二、A 组:直接缩短单任务时长 ### A1 外观专利:批间全量重读分片 `[P0]` **证据链** - `modules/appearancepatent/service/AppearancePatentTaskService.java:902-904` 注释自陈「同步检测:按批次串行调用 LLM」;`:915` 取 `llm-batch-size`(yml:336 默认 **10**);`:949` 外层 `for (i += batchSize)` 串行推进。 - 每轮批内 `:970 mergeLlmRowsIntoChunks` → `:1047` 定义 → `mergeLlmRowsIntoSubmittedChunks`:`:1926 loadSubmittedChunks(task.getId())` 取回**该任务全部分片**,`:1934` 对每一片调 `readChunkRows(chunk)`。 - `:3126 readChunkRows` = `transientPayloadStorageService.resolvePayload(...)`(RustFS/OSS GET)+ 整片 JSON 反序列化。 **代价**:N 行任务 = ⌈N/10⌉ 轮,每轮 C 次载荷 GET + 全量解析(C = 分片数)。5000 行、C=25 → 500 轮 × 25 = **1.25 万次 GET、约 250 万行对象解析**,全部串在批与批之间。这段时间 `llm-row-concurrency:5`(yml:343)的槽是空着的。 `【待测】C 的真实分布`:`SELECT task_id, COUNT(*) c FROM biz_task_chunk WHERE module_type='APPEARANCE_PATENT' GROUP BY task_id ORDER BY c DESC LIMIT 20;` **改法**(纯读,不动写回) 1. 把 `Map>` 提成批循环的局部状态,在 `:1058 collectPendingLlmCandidates` 首次读片时就建好,批内 merge 只更新真正被写回的那几片; 2. 参照 similarasin 侧已有的 `indexRowsByChunkKey` 思路建 `rowKey→chunkKey` 索引,去掉 `:1910` 对全部分片的线性试探。 **风险**:分片在批中被别的入口改写时读到旧态。现状靠 `mergeChunkPayload` 的 CAS 兜住,改后仍要走同一 CAS,只省读不省写。行数与判定结果不变。 **状态(2026-10-02 10:2x):改法 1 已提交 `91d85ec6`,未发版。** 索引改为「分片键 → (payload_hash, rowKey 集合)」,在 `collectPendingLlmCandidates` 那一遍就建好, 批内 merge 只对 hash 变过的分片重读(`chunkRowKeySet`);载荷哈希与内容在所有写入点都是同一条 UPDATE 落的,可直接作新鲜度锚。 落库路径一行未动,`mergeChunkPayload` 仍自己 `selectOne` + 重读最新载荷再 CAS,索引不参与合并基底。 每批的 `loadSubmittedChunks`(DB SELECT 全部分片)保留——它就是锚,不能省。 读的次数从 `(批数+1)×分片数` 降到 `分片数 + 本批写过的片数`。 改法 2(`rowKey→chunkKey` 索引去掉逐片线性试探)**未做**:那是内存里的 O(C) 扫描,不是这次的瓶颈。 测试 `AppearancePatentChunkRowIndexTest` 3 例,逐条做过变异检验。 **货源侧同形态已消除(10-02 13:0x,未发版)** —— `SimilarAsinPipelineSupport`:判空探测与建行图 合成 `readSubmittedChunks` 的一次读取(新增 `SubmittedChunk` record,只在当次调用内传递,不做字段级 缓存),`collectPendingLlmCandidates` 改用已读到的行、不再逐片 GET。每轮 merge 的 GET 从 `2×分片数 + 写回数` 降到 `分片数 + 写回数`(3 片实测 7→4),`submitLlmForSubmittedChunk` 从 `2C` 降到 `C`; 写回次数与判定结果一行未动。测试 `SimilarAsinTaskServiceChunkReadReuseTest` 3 例(其中一例专防"做成跨调用缓存"),逐条变异检验。 **货源侧没跟着做外观那套跨批复用索引**:余下的倍数在 `flushLlmBufferedResults`——它按 chunkScopeHash 分组、 每组调一次 `mergeLlmRowsIntoChunk`,每次仍读全部分片(G 组 = G×C 次),要省得先把索引提到 flush 这一层,另计。 ### A2 外观专利:品牌校验合批 + 复用已有缓存 `[P0]` **证据链** - `modules/appearancepatent/client/AppearancePatentLlmClient.java:187-200` 是行循环,`:197 applyResult(...)`;`applyResult` 内 `:916` 调 `brandCheckClient.checkTitleText(result.title(), "Terms")`。 - `modules/brand/client/BrandCheckClient.java:201-203 checkTitleText` → `checkAll(splitTitleText(title), strategy)`;`:100-101` 预算 `total-timeout-millis` **每次调用重算**(yml:320-325:`retry-times:10 / total-timeout-millis:90000 / read-timeout-millis:60000`)。 - 同项目 `modules/collectdata/util/CollectDataBrandBatchFilter.java:26-31` 注释与 `:44-62` 实现已经做过这件事:按 10 行一批去重后一次 `checkAll`(整批共享预算)+ 512 条 LRU 判定缓存 + 远程抛错不写缓存。**外观侧完全没走它**。 **代价**:一批 10 行 = 10 个独立 90s 预算串行;上游 16890 劣化时批间隔被拉到分钟级。跨行同品牌(nike/adidas 这类高频词)零复用。 **这一条的量级取决于 16890 现在的状态**:9-28 实测 jikip 套餐彻底失效那轮,`distinct 品牌 291 / 最终判失败 290`(99.7%),A 机 45 分钟内 `整批耗时预算用尽` 290 次,当时的结论是"10 次重试纯放大时延、零收益"(`docs/ops/prod-decisions-2026-09-28.md` §八)。 - 上游**正常**时:合批+缓存省的是 10 次往返 → 1 次,收益是个常数因子; - 上游**再次劣化**时:`每行一个 90s 预算` 意味着 10 行/批最坏 900s,改成整批共享预算后最坏仍是 90s/批 —— **这条真正的价值是把爆炸半径从"行"收回"批",和外观合批那次同样的思路**。所以下手前先看一眼 16890 现在的成功率,它决定 A2 排在 A1 前还是后。 **改法**:`applyResult` 拆两段——先收齐全批 keywords,`distinct` 后一次 `checkAll`,再按行取结论;缓存口径照抄 `CollectDataBrandBatchFilter.checkAndCache`。**不要新建类**,把该过滤器提到可被外观复用的位置即可。 **风险(必须拍)**:合并后同品牌在同批内共享一次结论。上游抖动时「第 1 行 OK、第 2 行 QUERY_FAILED」会变成两行同结论 → **判定集合可能变化**,属于本项目在意的静默错判族(参见外观 id 塌陷那次)。行数不变、LLM 输出不变。 `【10-04 已落地】`没走 `CollectDataBrandBatchFilter` 复用那条路,改为 `BrandCheckClient.checkTitleTexts(List, strategy)`;实际改动比本文预估的大一圈——三个**回退点**原先也在逐行发查询,现已并入同一次批查询。落地形状、护栏与变异见 §九。未部署。 ### A3 货源采集链:套用变体链已上线的攒批 `[P0]` **证据链** - `maixiang_run_task/func/collect_data_run/handler.py:338-350 _emit`:每产出一条就 `feed(pending, False)`,紧跟 `:345 self._is_task_terminal(task_id)`。 - `func/amazon_base.py:460-471 _is_task_terminal`:每次调 `api_client.get_batch_status(task_id)`,**无节流**。 - 对照组 `func/variant-collection/handler.py:235-257`:攒批 flush + `TERMINAL_CHECK_INTERVAL` 节流 + 失败批留缓冲重发。变体链已改完,货源链没跟上。 **代价**:每行 2 次公网 HTTP(`API_BASE_URL` 走公网 121.196.149.225:18960),另加 `:343` 每行把整条 payload 打进日志。一次往返失败被 `tools/api_client.py:33-43`(timeout 30×3 + sleep 2)卡住最长约 94s。 **改法**:把变体链的缓冲与终态节流提到 `amazon_base` 的公共方法,`_emit` 走同一缓冲。 **风险**:不改行数。**需采集机跑一次 `更新并重启.bat` 才生效**(与变体那条同一批次,不额外增加发布动作)。 ### A4 取 cookie 的全键空间 SCAN `[P0]` **证据链**:`maixiang_task_api/main.py:300 /api/cookie/get` → `:315 async for k in redis_client.scan_iter(match=f"{country}:*", count=100)`。 **代价**:SCAN 的 `match` 是**扫完再过滤**,成本取决于键空间大小而非命中数。每一次开页要一个 cookie 就扫一遍全库,与队列 `LMOVE`、心跳抢同一条 Redis 连接池。 **改法**:`/cookie/add` 时 `SADD cookie:{country}`、失效时 `SREM`,`get_cookie` 改 `SRANDMEMBER cookie:{country} 3`,保留 `:301-305` 注释写明的"随机打散取用"意图(那注释是为了避免所有并发任务抢同一个 cookie 被风控拉黑)。 **风险**:存量 cookie 必须一次性回填 Set,漏回填=取不到 cookie=整链失败。这是本组唯一硬风险,上线判据要写"取空计数为 0"。 --- ## 三、B 组:DB 与对象存储往返浪费 ### B1 心跳每 60 秒整行读任务 + 全实体序列化进 Redis `[P1]` - 频率:`app_client/amazon/main.py:311 HEARTBEAT_INTERVAL = 60`,每个在跑任务一次 POST `/api/tasks/{id}/heartbeat`。 - 服务端 `modules/task/service/TaskHeartbeatService.java:101-106 selectFileTask` 只有 `eq(id).last("limit 1")`,**没有 `.select()` 投影** ⇒ 把 `biz_file_task` 的 `request_json`、`result_json` 整列读回来(`FileTaskEntity.java:23-24`)。 - `:198-202` 无条件 `handler.saveTaskCache(task)`;`AbstractModuleTaskCacheService.java:203-216` 把**整个实体** `writeValueAsString` 后 `SET` 进 Redis(24h TTL)。 - 节流只有 similar-asin 实现了(`SimilarAsinTaskHeartbeatSpi.java:46 checkpointInterval()` 是全仓唯一覆盖点),其余模块每轮心跳都写。 - 同项目已有裁剪惯例,属漏改:`TaskProgressLightAssembler.java:49`、`StaleTaskRepairService.java:70`。 **改法**:`selectFileTask` 加 `.select(id, status, moduleType, userId, updatedAt)`;新增轻字段版缓存写入(或让心跳只写进度键,任务实体交给状态变更点)。 **风险**:PriceTrack 的 `loadTaskForExecution` 依赖缓存行里的 `requestJson` 非空(`TaskFinalizeSupport.java:32-33` 已注明),必须保留 DB 兜底路径。 `【待测】result_json 字节分布`:`SELECT id, LENGTH(result_json) FROM biz_file_task WHERE module_type IN ('QUERY_ASIN','PATROL_DELETE','SHOP_DATA_CRAWL') ORDER BY 2 DESC LIMIT 20;` —— 决定这一条值不值得动。 `【10-04 已测,判断作废一半】`生产库里 MB 级的 `result_json` 全在**终态历史行**,而心跳/stale 读的是 `status='RUNNING'`(41 行、几张大列均宽 244–525 B ⇒ 整轮上界 ~31.7 KB)。所以"整行读"不是这条的伤口,剩下值得动的只有"全实体序列化进 Redis"那一半,详见 §九。 ### B2 载荷物理删除每次跑两条无 task_id 的 JSON 全表 COUNT `[P1]` - `TransientPayloadStorageService.java:329-340` 与 `:343-358`:先按 task_id 收敛查一次,**查不到就回退全表** `IN(payload_json, values)`;`:275` 的注释自己写明「调用方正常路径下引用数必然为 0」⇒ 正常删除路径**必然**走到全表回退。合计每次删除 4 条 COUNT,其中 2 条在 JSON/TEXT 列上无索引可走(V121 已删相关索引)。 - 调用面广:全仓 50+ 个 `deletePayloadIfPresent` / `deleteReplacedPayloadIfNeeded` 生产调用点(chunk 回传、scope state 覆盖、结果项升级旧对象等)。 - 已有的批量版 `TransientPayloadDeleteOrchestrator.batchReferencedPointers`(`:235`)目前只有 `ModuleHistoryCleanupService.java:339` 一个调用方在用;`TaskResultItemService.java:184` 注释显示结果项那条热路径已经改走编排器了。 **改法**:把剩余高频调用点改投 `submitDeletes(List.of(v))` + 周期 flush(编排器已带 journal 与去重);或让全局回退只在 `extractTaskId(pointer)` 解析失败时才执行(`:311` 已解析成功却仍全局查,等于把收敛当预筛而不是当边界)。 **风险**:去掉回退会重演 28459 误删——所以**只对"指针能解析出 task_id"的路径**取消全局回退,解析不出仍按现口径。 ### B3 结果文件作业:三个调度参数互相打架 `[P1]` - 每 10s claim 20 条并全部翻成 RUNNING(`TaskResultFileJobWorker.java:70-84` + yml:279 `local-worker-delay-ms:10000`、:285 `batch-size:20`); - 本地派发池只有 2 线程、in-flight 满 64 就直接回落**在调度线程内联执行**(yml:276、`TaskFileJobLocalDispatcher.java:36-37,74-78`); - 卡死线 5 分钟、每 60s 扫一次(yml:280、:283)⇒ 排队超 5 分钟的 RUNNING 被翻回 PENDING,真正开跑时 `activateRunningClaim` 的 CAS 失败,整轮白跑。 - 更实的问题:`:352-368` 对 PENDING 超阈值每轮 `retry_count++`(封顶 `MAX_RETRY_COUNT-1`=4,`MAX_RETRY_COUNT=5` 在 `:29`)⇒ **排队时间吃掉重试预算**,作业之后只要遇到一次真实 RUNNING 超时就直接判 FAILED,拿不到设计意图里的 5 次机会。 **改法**:`runPendingJobs` 的 limit 改 `min(batchSize, 本地剩余容量)`;PENDING 分支只补发 dispatch 事件、不递增 retry_count(`TaskFileJobService.java:352-368`)。 **风险**:47 个 `@Scheduled` 共用 pool-size 16(`SchedulingConfig.java:31`),内联回落会挤占其他定时任务;改完要回看 `requeued because task lock is busy` 计数有没有回升。 ### B4 其余四条已定位的重复读 / 串行下载 `[P1-P2]` | 位置 | 问题 | 量级 | 改法 | |---|---|---|---| | `SimilarAsinResultWorkbookAssembler.java:576-595`(+`:646-658`)、`AppearancePatentTaskService.java:2466-2485` | 导出时逐分片 `LIMIT 1` 分页取片,且每个源文件都全量重扫 | 源文件数 × 分片数 次单行 SELECT + 载荷 GET | 一次 `selectList` 取回片列表,按片自带 `scopeHash` 过滤(外观 `:517` 已按 submissionId 生成) | | `SimilarAsinPayloadSupport.java:210/219/238` → `:244-259` | `prompt/apiKey/imgSwitch/categorySwitch` 各读一次全量 parsed payload(下载+反序列化+行对象复制 2-3 份),调用点 `SimilarAsinPipelineSupport.java:1018-1021` | 每轮回传 × 4-6 次全量读 | 合并成一个 `readTaskSettings(task)` 一次读完返回 record | | `PuzzleImageMerger.java:97-106`(`:211-231` 重试) | 一行 16 张 1688/alibaba 图仍串行下载,单张 10s(yml:363 池是 8 但这里没用) | 每行最多 16 次串行往返,最坏 320s | 复用 `SimilarAsinImageEmbedder` 已有的 `CompletionService + downloadPool(8) + 全局 deadline` 取字节,按 index 落回原顺序 | | `SimilarAsinLlmService.java:201`(`ProductCategoryService.java:43-50` 无缓存全表读)、`:359 tree.formatTwoLevels()` 每行重算 | 类目树每批全表 SELECT、两层清单每行重拼 | 图模式 `llm-batch-size:3` ⇒ 5000 行 ≈ 1667 次全表读 | `formatTwoLevels()` memoize;树按 `max(id)/updated_at` 做秒级 TTL | `SimilarAsinImagePrefetchService.java:319 lookupBatch(...)` 已经写好但**全仓无调用方**,实际走 `:387 lookup(url)` 被 `SimilarAsinResultWorkbookAssembler.java:793-810` 在 URL 循环里逐条调;预热侧 `PREFETCH_POOL_SIZE=2` 且每 task 单 worker。属于"批量接口写了没接上"。 --- ## 四、C 组:吞吐上限,先测再改 - **C1 单任务实际并发 ≈ 2,而闸给到 12。** 外观一轮批内:文本 10 行合 1 次调用、图片 10 行按 `llm-appearance-batch-size:5` 分 2 块并发(`AppearancePatentLlmClient.java:291-292` 的 `Semaphore(llmRowConcurrency=5)` 只在块数 >1 时才起作用),批与批之间串行(A1)。`task-queue.max-concurrent:12`(yml:314)远没用满。**先做 A1,再谈抬并发**——顺序反过来只会把等待搬个地方。 - **C2 代理上游有没有账号级并发/RPM 上限,仍未归因。** 没测之前,抬并发、补消费者、MQ 化三条路都只能算猜测(外观一批 10 行线上实测 `costMs` 已到 214869/249250,慢在上游不在本机)。取数:同一任务把 `llm-row-concurrency` 从 5 抬到 8,观察 429/超时率与 `costMs` 分位;有 429 就说明上限在代理。 - **C3 按负载选机(主机B 目前基本闲着)比 MQ 化便宜一个数量级。** `owner_instance_id` + `aiimage.instance-routing` 已保证"任务在哪台就由那台跑完",只需把**新任务落地机器**从"客户端解析到谁"改成按在飞作业数选机,不碰批次语义。 - **C4 风控降级是进程全局的**:`func/amazon_base.py:163-168` 每页 401/403/503 都进同一个闸门,`config.py:51-54`(300s 窗口 / 阈值 8 / HOLD 600s)触发后把 4 槽压到 1 至少 10 分钟 ≈ 少产出 440 行(按单槽 880 行/h),且一个坏 cookie 池或一国风控会拖垮全部任务类型。改法:闸门按 `(task_type, country)` 分桶。**阈值要先看线上信号频次再动**,放宽等于真多烧代理费。 --- ## 五、D 组:交付层低成本项 - **D1 管理后台首屏比用户端大 5.2 倍。** 实测产物:`admin-frontend-vue/dist/assets/index-CAmaFJ39.js` **1,127,603 B** + `index-CSE0eCeX.css` 383,318 B;用户端 `frontend-vue/new_web_source/assets/index-BwjSp_ZA.js` 217,568 B。根因:`admin-frontend-vue/src/main.ts:3-5` 全量 `import ElementPlus` + `element-plus/dist/index.css`,`vite.config.ts:32-35` 的 build 块没有 `manualChunks`。改法照用户端(`frontend-vue/vite.config.ts:5-7` 用 ElementPlusResolver),命令式组件样式按用户端 `main.ts:7-8` 补两行。**这是纯前端构建改动,风险最低、见效最快。** `【10-04 已落地】`同树 A/B 实测入口 JS −34.7%、CSS −45.6%、dist 整树 −567,203 B;改法与护栏见 §九。只欠逐页浏览器视觉验证。**落地时没照用户端的 `ElementPlusResolver`**:自动引入会把"到底注册了哪些组件"藏进构建产物,而这条的失败模式恰恰是漏注册不报错,显式注册表才能让护栏从源码推标签清单做双向比对。 - **D2 轻量进度端点已就绪但只接了 5/12。** `frontend-vue/src/shared/api/progress-light.ts:19-32` 白名单 12 个模块、`endpoints.ts` 12 个 `progressLight` 都在;实际只有 appearancePatent / patrolDelete / queryAsin / shopDataCrawl / withdraw 五个 tab 调 `getModuleProgressLight`。`BrandSimilarAsinTab.vue:206` 仍传重型 `getSimilarAsinTaskProgressBatch`(同类还有 publish / priceTrack / collectData / deleteBrand / productRisk / shopMatch)。`useLiveTaskBoard.ts:430` 无条件调 `fetchProgressBatch`,所以每个 tab 的收益取决于它自己传的是哪个函数——照 `BrandAppearancePatentTab.vue:159` 的 `beforeBatch` + 行版本门控写法迁移即可。轮询节奏:可见 10s / 隐藏 60s(`task-progress-config.ts:16-17`)。 - **D3 后台列表拉 LONGTEXT。** `modules/imagevideo/mapper/ImageVideoAdminTaskMapper.java:19` 列表 SELECT 了 `request_json/submit_response_json/result_json/video_urls_json/archived_videos_json`(V71 为 LONGTEXT),但列表只用 `request_json` 里一个标量(`ImageVideoAdminTaskService.java:226 modeOf`),另两列只有详情 `:238-245` 用。同类:`ShopDataCrawlDailyFileService.java:138-142` 无投影读 `row_payload`(MEDIUMTEXT, V93)却只用于判空(`ShopDataCrawlTaskService.java:849`)/取 resultId(`ShopDataCrawlAdminTasksService.java:96`)。改法:列表用 `JSON_UNQUOTE(JSON_EXTRACT(...))` 取标量,大列留给详情查询。 - **D4 任务中心看板每 30s 全量 UNION COUNT + OFFSET 分页。** `TaskCenterBoardPage.vue:43,242` 每 30s 三接口;`TaskCenterQueryService.java:137` 对 `biz_file_task ∪ brand_crawl_tasks` 无时间界计数、`:144` OFFSET 无页上限;`TaskCenterQueryMapper.java:258-274` 的 UNION-ALL 每页被执行两遍,`:220-229` 含 4 个相关子查询 `EXISTS … LIKE '%…%'`。改法:总数短 TTL 缓存 + `last_id` 游标(范式见 `DedupeTotalDataService.java:194-201`)。 - **D5 gzip 需要取证再定。** 仓库里的网关模板 `scripts/deploy_nginx_gateway.py:70-84` 只有 sendfile/tcp_nopush,全仓 grep 无 `gzip on`;但线上真正生效的是主机B `/opt/1panel/www/conf.d/api.aishufu.top.conf`(不在仓库),1Panel 可能已在全局开 gzip。**先 `curl -H 'Accept-Encoding: gzip' -sI ` 看有没有 `Content-Encoding`**,有就别动。 - **D6 无依赖的串行 await**:`BrandPriceTrackTab.vue:1652-1653`、`BrandProductRiskTab.vue:495-496,805-806` 先 `await loadHistory()` 再 `await loadDashboard()`,两者互不依赖;`GroupEditorDialog.vue:58`、`pages/records/history-api.ts:17` 用 `page_size=999` 一次拉全量用户。 --- ## 六、口径已知的遗留杠杆(不是新发现,列出来免得重复讨论) 1. **外观专利图片按内容寻址缓存** —— 唯一攻图片输入 token 的一条,也是合批之后剩余最大的成本杠杆,仍未做。 2. **ASIN 跨任务缓存命中率低的真实原因(本次查清)**:键设计是干净的 `(country, asin)` 唯一键(`AsinResultCacheMapper.java:49-72`),TTL 按采集端真实开页时间 `observed_at`(`AsinResultCacheService.java:232`)——**不是键坏了**。0.1% 命中来自覆盖面与截断:服务端唯一写入口在 `CollectDataService.java:1855` 且硬编码 `AVAILABILITY_OK`(`AsinResultCacheService.java:187`);多选国家直接不写(`CollectDataService.java:1867-1874` → `AsinResultCacheService.java:175-178`);空价不写(`:181-183`);单次查询/写入各 500 行截断且不补查(`:95-98`、`:134-137`,默认值 yml:404-405);表没有保留期清理任务。要提命中率,动"多国家不写"和 500 截断这两处,别动 TTL。 3. `FOR UPDATE SKIP LOCKED` 路线仍未实施。 4. `biz_file_task.result_json` 存明文 apiKey 的泄露面仍未处理。 ## 七、已经排除、不必再查的 加索引方向(瓶颈是行锁与大 JSON 列);清 `/app/java` 的 jar 备份;缩短 `DEFAULT_WAIT_MILLIS`;进一步合并 LLM 调用次数 / 词典替提词 / 拼图合并 / 家族页一次取价;空价格行的 KKBrowser 兜底耗时(只占 3.3%~3.9%);结果文件作业"纯轮询驱动"(`TaskFileJobDispatchCoordinator.java:25-45` 有事件点火);前端 `setInterval` 泄漏(两侧 8 个调用点,卸载清理与模块级单例都核过);Excel 导出(写出统一 `SXSSFWorkbook(200)` 流式,读入已改流式);`TaskObservabilityMetrics` 确认未接生产(无 `@Component`、无生产调用方、pom 无 prometheus registry),要做告警走日志字段或补 registry。 ## 八、建议执行顺序 1. **A1 + B3**(外观批间重读 + 结果作业调度)——都在 jar 里,可同批发;A1 单条就能把 5000 行任务的批间空档基本抹掉。 2. **A2**——需要一次判定口径的确认(同批同品牌共享结论),拍完就改。 3. **A4**(18960)+ **A3**(采集机 `更新并重启.bat`,与变体攒批同一次更新)——与既欠的 18960 / 4.0.42 发版并批,不额外开窗口。 4. **D1**(后台分包按需)——纯前端,随时可做。 5. **B1/B2/B4** 一批发,收益是 DB 与对象存储往返,不改语义。 6. **C2 的归因测量**与 C1/C3 的实施穿插做;不要在测出代理上限之前抬并发。 --- ## 九、10-04 二轮:实做状态与实测否证 这一节是"做完之后回头量"的记录,与前八节的**预估**冲突时以本节为准。四条改完都在本地树,**尚未部署**。 ### D1 后台按需注册 Element Plus —— 已落地,体积差是同树 A/B 实测 改法:新增 `admin-frontend-vue/src/plugins/element.ts`(逐个 `import El*` + 按组件引 `element-plus/es/components/<短名>/style/css`),`main.ts` 改调 `installElement(app)`, 全局中文语言包换到 `App.vue` 的 ``。 **A/B 只翻 `src/main.ts` + `src/App.vue` 两个入口文件**,其余文件(含同期在改的多公司那几份) 两轮完全一致,所以下面的差值可整份归给这一条。A 组跑了两次,字节与文件名哈希完全相同(可复现): | 产物 | B 整包(HEAD) | A 按需 | 差 | | --- | --- | --- | --- | | 入口 JS | 1,129,783 B(gzip 376.44 kB) | 737,303 B(gzip 250.12 kB) | **−34.7%** | | 入口 CSS | 383,318 B(gzip 52.89 kB) | 208,595 B(gzip 29.88 kB) | **−45.6%** | | dist 整树 | 1,950,119 B | 1,382,916 B | **−567,203 B(−29.1%)** | 护栏:`tests/perf-element-on-demand.test.ts` 7 例 + `tests/perf-admin-repeat-requests.test.ts` 3 例, `tests/align-locale.test.ts` 的落点从 main.ts 迁到 App.vue(强度不降)。清单不由人手写, 而是**从 src 的 `.vue` 里把 `el-*` 标签推出来再双向比对注册表与样式导入**——按需引入最坏的 失败模式是"某页面某组件没样式/渲染成裸标签",它不会让构建变红,所以护栏必须能自己发现漏项。 变异自证 9 点全杀(M1 注册表缺项、M2 漏 dialog 样式、M3 漏 message-box 样式、M4 留死条目、 M5 在页面里图省事引整包 CSS、M6 main.ts 搬回 `use(ElementPlus)`、M7 摘掉 `:locale`、 M8 让 `reAnalyze` 再白拉一次整集、M9 把 `loadShopOptions` 放回 30s 心跳),还原后 sha256 一致。 前端全量 `node --test tests/*.test.ts`(`npm test` 就是这个命令,本仓跑不了 vitest)**1698 例 0 红**。 **仍未做:逐页浏览器视觉验证。** 上面那套护栏证的是"清单齐、没有整包入口回流", 证不了"每个页面每个组件真的长对了"——这条要人在真浏览器过一遍才算收口。 顺带两条重复请求(同批改,各由上面那条护栏钉住不得回流): - `DuplicateCheckPage.reAnalyze()` 原先 `await fetchDuplicateConsole(全空参数)` 把返回值丢掉、 紧接着 `loadConsole()` 又拉一次;console 端点纯读,那一次是白跑的整集查询 ⇒ 删掉。 - `TaskCenterBoardPage.refreshAll()` 的 `Promise.all` 里无条件带 `loadShopOptions()`, 而它是 30s 心跳走的同一个函数,店铺候选是后端 `SELECT DISTINCT` 无缓存的字典数据 ⇒ 改为 `silent` 分档,心跳不重拉。代价:新入库店铺要等下一次进页/切页签/点「刷新」才进下拉。 ### A2 外观品牌校验合批 —— 已落地,且把三个回退点并进了同一次批查询 - `BrandCheckClient` 新增 `checkTitleTexts(List, strategy)`:一次 `checkWords`、 **整批共用一个 `deadlineNanos`**、跨行 `LinkedHashSet` 去重、结论按行归因、返回与入参同序同长。 - `AppearancePatentLlmClient.inspectRows` 的形状改成"一条 `(row, LlmResult)` 队列 + 唯一出口 `applyLlmRowsInOneBatch`":标题缺失 / 标题识别失败 / 外观识别失败**三个回退点不再各自逐行发 品牌查询**(回退行查的是整条原始标题,`splitTitleText` 能切出十几个词,逐行发反而最贵), 与正常行合用同一次批查询。`pending.isEmpty()` 的早退分支也要刷,否则回退行连结论都拿不到。 单参 `applyResult(row, result)` 重载已删(grep 零调用方 + 编译验证)。 - 语义变化就是当初拍过的那条:同批同品牌共享一次结论。**行数不变、LLM 请求次数不变、 代理提取次数不变** ⇒ 零成本;收益在上游劣化时把爆炸半径从"每行一个 90s 预算"收回"每批一个"。 - 护栏:`AppearancePatentBrandBatchTest` 3 例 + `BrandCheckClientTitleBatchTest` 4 例, `AppearancePatentLlmClientTest` 里原来盯逐行 `checkTitleText` 的那条改为钉批接口 (`times(1)` + `never().checkTitleText`)。断言各自守一个坑:`times(1)` 证明合批真发生了, 而不是把逐行调用换了个名字;两行结论不同证明批内归因停在行,别行的侵权词没渗进干净行。 变异 6/6 全杀。后端全量套件 **Tests run: 3631, Failures: 0, Errors: 0**(Skipped 7)BUILD SUCCESS。 ### 实测否证:四条不要照本文的预估动手 - **#7 货源结果分片投影**:实测 ≈**0.13 ms/任务**,不改。 - **#8 stale-check 八段全列扫加 `.select()` 投影**:生产实跑一轮 `s=0`(扫描 0 行)、 整轮 29–33 ms;库里 `status='RUNNING'` 只有 **41 行**、几张大列均宽 **244–525 B** ⇒ 整轮读回来的上界 ~31.7 KB。投影在"几乎读不到行"的热路径上没有可省的字节,不改。 - **B1 的因果判断订正**:本文 B1 说"心跳每 60 秒整行读才是真伤口",**这条不成立**。 实测 MB 级的那批 `result_json` 宽度属于**终态历史行**,而心跳/stale 的读取集合是 `status='RUNNING'`(41 行 × 均宽 244–525 B ⇒ 上界 31.7 KB)。B1 剩下的真价值在 "全实体 `writeValueAsString` 进 Redis"那一半,不在整行读这一半。 - **#10 桌面跟价流水化**:主机B 的 live 路径是 `/opt/maixiang/maixiang_run_task` 的**单线程 HTTP worker**(`pt_worker` 未运行),消费速率 <1 s/条、40–88 条/分;用户感知的等待主要来自 客户端 **3 s 轮询粒度**与共享队列,不是本机串行。并发提交只会把等待从"执行"搬进"排队", 并且多条共用同一把代理租约 IP ⇒ 有增加提取次数的风险。**不做。** ### 本轮新发现、尚未处理 - 主机B `/opt/maixiang/maixiang_run_task/logs/price-track-run.log` **逐条打印 jikip 提取 URL (含 key)**,约 53 MB/日 ⇒ 同时是凭据落盘面和日志体积问题,待决定是否加日志脱敏。 - 待定档:跟价客户端首段轮询 3 s → 0.5 s(零成本,但属客户端默认值改动且要出包,不擅自改)。