Files
crawler-plugin/docs/ops/perf-review-2026-10-02.md
T
huangzd1997 468fd353f3 docs(性能): §九 记 10-04 二轮实做状态,并否证四条预估
新增一节"做完之后回头量",与前八节的预估冲突时以它为准:
- D1/A2 的落地形状、同树 A/B 实测体积、护栏例数与变异结果、以及"只欠浏览器视觉验证";
- 否证四条:货源分片投影 ≈0.13ms/任务、stale-check 八段投影(实跑 s=0、整轮 29–33ms、
  RUNNING 仅 41 行 × 均宽 244–525B ⇒ 上界 31.7KB)、桌面跟价流水化(单线程 worker
  <1s/条,等待在轮询粒度与共享队列,并发提交还会共用同一把代理租约);
- 订正 B1 的因果:MB 级 result_json 全在终态历史行,心跳读的是 RUNNING 集合,
  "整行读才是伤口"不成立,剩下值得动的只有全实体序列化进 Redis 那一半;
- 记一条未处理的新发现:主机B price-track-run.log 逐条打印含 key 的 jikip 提取 URL
  (≈53MB/日),同时是凭据落盘面和日志体积。

D1/B1 两处原文就地加了指向 §九 的标记,免得下一个人照旧预估动手。
2026-10-04 18:38:35 +08:00

261 lines
30 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 上线后性能 / 逻辑优化建议(2026-10-02)
审查方式:只读代码,未连生产、未压测。所有 file:line 均已逐行回读确认;凡依赖线上数据才能定量化的,标了 `【待测】` 并给出取数语句。
本报告按「能缩短多少单任务时长」排序,不按改动难度排序。
---
## 一、结论摘要
外观专利与货源是任务时长的大头(外观占 LLM 花费 95%)。这两条链上**最贵的不是 LLM 本身,而是夹在 LLM 批次之间的串行等待**:
| # | 问题 | 位置 | 每任务额外代价 |
|---|---|---|---|
| A1 | 每个 LLM 批次之间把全部分片从对象存储重读重解析一遍 | `AppearancePatentTaskService.java:1926`→`:3126` | 轮数 × 分片数 次远程 GET,全在批间空档,期内并发槽闲置 |
| A2 | 品牌校验逐行发、每行各带一个 90 秒预算;同项目已有的批量+缓存过滤器没用 | `AppearancePatentLlmClient.java:916` | 一批 10 行 = 10 个独立 90s 预算串行 |
| A3 | 货源采集链仍逐行回传 + 逐行查终态,没吃到变体链已上线的攒批 | `func/collect_data_run/handler.py:338-350` | 每行 2 次公网 HTTP |
| A4 | 每次开页取 cookie 都让 Redis 全键空间 SCAN 一遍 | `maixiang_task_api/main.py:315` | 与开页次数等量(实测口径 10 万+ 次开页 = 10 万+ 次扫描) |
B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全表 COUNT、结果文件作业的调度自相矛盾),C 组是吞吐上限(要先测再改),D 组是交付层低成本项。
---
## 二、A 组:直接缩短单任务时长
### A1 外观专利:批间全量重读分片 `[P0]`
**证据链**
- `modules/appearancepatent/service/AppearancePatentTaskService.java:902-904` 注释自陈「同步检测:按批次串行调用 LLM」;`:915` 取 `llm-batch-size`(yml:336 默认 **10**);`:949` 外层 `for (i += batchSize)` 串行推进。
- 每轮批内 `:970 mergeLlmRowsIntoChunks` → `:1047` 定义 → `mergeLlmRowsIntoSubmittedChunks`:`:1926 loadSubmittedChunks(task.getId())` 取回**该任务全部分片**,`:1934` 对每一片调 `readChunkRows(chunk)`。
- `:3126 readChunkRows` = `transientPayloadStorageService.resolvePayload(...)`(RustFS/OSS GET)+ 整片 JSON 反序列化。
**代价**:N 行任务 = ⌈N/10⌉ 轮,每轮 C 次载荷 GET + 全量解析(C = 分片数)。5000 行、C=25 → 500 轮 × 25 = **1.25 万次 GET、约 250 万行对象解析**,全部串在批与批之间。这段时间 `llm-row-concurrency:5`(yml:343)的槽是空着的。
`【待测】C 的真实分布`:`SELECT task_id, COUNT(*) c FROM biz_task_chunk WHERE module_type='APPEARANCE_PATENT' GROUP BY task_id ORDER BY c DESC LIMIT 20;`
**改法**(纯读,不动写回)
1. 把 `Map<chunkKey, Map<rowKey,row>>` 提成批循环的局部状态,在 `:1058 collectPendingLlmCandidates` 首次读片时就建好,批内 merge 只更新真正被写回的那几片;
2. 参照 similarasin 侧已有的 `indexRowsByChunkKey` 思路建 `rowKey→chunkKey` 索引,去掉 `:1910` 对全部分片的线性试探。
**风险**:分片在批中被别的入口改写时读到旧态。现状靠 `mergeChunkPayload` 的 CAS 兜住,改后仍要走同一 CAS,只省读不省写。行数与判定结果不变。
**状态(2026-10-02 10:2x):改法 1 已提交 `91d85ec6`,未发版。**
索引改为「分片键 → (payload_hash, rowKey 集合)」,在 `collectPendingLlmCandidates` 那一遍就建好,
批内 merge 只对 hash 变过的分片重读(`chunkRowKeySet`);载荷哈希与内容在所有写入点都是同一条 UPDATE 落的,可直接作新鲜度锚。
落库路径一行未动,`mergeChunkPayload` 仍自己 `selectOne` + 重读最新载荷再 CAS,索引不参与合并基底。
每批的 `loadSubmittedChunks`(DB SELECT 全部分片)保留——它就是锚,不能省。
读的次数从 `(批数+1)×分片数` 降到 `分片数 + 本批写过的片数`。
改法 2(`rowKey→chunkKey` 索引去掉逐片线性试探)**未做**:那是内存里的 O(C) 扫描,不是这次的瓶颈。
测试 `AppearancePatentChunkRowIndexTest` 3 例,逐条做过变异检验。
**货源侧同形态已消除(10-02 13:0x,未发版)** —— `SimilarAsinPipelineSupport`:判空探测与建行图
合成 `readSubmittedChunks` 的一次读取(新增 `SubmittedChunk` record,只在当次调用内传递,不做字段级
缓存),`collectPendingLlmCandidates` 改用已读到的行、不再逐片 GET。每轮 merge 的 GET 从
`2×分片数 + 写回数` 降到 `分片数 + 写回数`(3 片实测 7→4),`submitLlmForSubmittedChunk` 从 `2C` 降到 `C`;
写回次数与判定结果一行未动。测试 `SimilarAsinTaskServiceChunkReadReuseTest` 3 例(其中一例专防"做成跨调用缓存"),逐条变异检验。
**货源侧没跟着做外观那套跨批复用索引**:余下的倍数在 `flushLlmBufferedResults`——它按 chunkScopeHash 分组、
每组调一次 `mergeLlmRowsIntoChunk`,每次仍读全部分片(G 组 = G×C 次),要省得先把索引提到 flush 这一层,另计。
### A2 外观专利:品牌校验合批 + 复用已有缓存 `[P0]`
**证据链**
- `modules/appearancepatent/client/AppearancePatentLlmClient.java:187-200` 是行循环,`:197 applyResult(...)`;`applyResult` 内 `:916` 调 `brandCheckClient.checkTitleText(result.title(), "Terms")`。
- `modules/brand/client/BrandCheckClient.java:201-203 checkTitleText` → `checkAll(splitTitleText(title), strategy)`;`:100-101` 预算 `total-timeout-millis` **每次调用重算**(yml:320-325:`retry-times:10 / total-timeout-millis:90000 / read-timeout-millis:60000`)。
- 同项目 `modules/collectdata/util/CollectDataBrandBatchFilter.java:26-31` 注释与 `:44-62` 实现已经做过这件事:按 10 行一批去重后一次 `checkAll`(整批共享预算)+ 512 条 LRU 判定缓存 + 远程抛错不写缓存。**外观侧完全没走它**。
**代价**:一批 10 行 = 10 个独立 90s 预算串行;上游 16890 劣化时批间隔被拉到分钟级。跨行同品牌(nike/adidas 这类高频词)零复用。
**这一条的量级取决于 16890 现在的状态**:9-28 实测 jikip 套餐彻底失效那轮,`distinct 品牌 291 / 最终判失败 290`(99.7%),A 机 45 分钟内 `整批耗时预算用尽` 290 次,当时的结论是"10 次重试纯放大时延、零收益"(`docs/ops/prod-decisions-2026-09-28.md` §八)。
- 上游**正常**时:合批+缓存省的是 10 次往返 → 1 次,收益是个常数因子;
- 上游**再次劣化**时:`每行一个 90s 预算` 意味着 10 行/批最坏 900s,改成整批共享预算后最坏仍是 90s/批 —— **这条真正的价值是把爆炸半径从"行"收回"批",和外观合批那次同样的思路**。所以下手前先看一眼 16890 现在的成功率,它决定 A2 排在 A1 前还是后。
**改法**:`applyResult` 拆两段——先收齐全批 keywords,`distinct` 后一次 `checkAll`,再按行取结论;缓存口径照抄 `CollectDataBrandBatchFilter.checkAndCache`。**不要新建类**,把该过滤器提到可被外观复用的位置即可。
**风险(必须拍)**:合并后同品牌在同批内共享一次结论。上游抖动时「第 1 行 OK、第 2 行 QUERY_FAILED」会变成两行同结论 → **判定集合可能变化**,属于本项目在意的静默错判族(参见外观 id 塌陷那次)。行数不变、LLM 输出不变。
`【10-04 已落地】`没走 `CollectDataBrandBatchFilter` 复用那条路,改为 `BrandCheckClient.checkTitleTexts(List, strategy)`;实际改动比本文预估的大一圈——三个**回退点**原先也在逐行发查询,现已并入同一次批查询。落地形状、护栏与变异见 §九。未部署。
### A3 货源采集链:套用变体链已上线的攒批 `[P0]`
**证据链**
- `maixiang_run_task/func/collect_data_run/handler.py:338-350 _emit`:每产出一条就 `feed(pending, False)`,紧跟 `:345 self._is_task_terminal(task_id)`。
- `func/amazon_base.py:460-471 _is_task_terminal`:每次调 `api_client.get_batch_status(task_id)`,**无节流**。
- 对照组 `func/variant-collection/handler.py:235-257`:攒批 flush + `TERMINAL_CHECK_INTERVAL` 节流 + 失败批留缓冲重发。变体链已改完,货源链没跟上。
**代价**:每行 2 次公网 HTTP(`API_BASE_URL` 走公网 121.196.149.225:18960),另加 `:343` 每行把整条 payload 打进日志。一次往返失败被 `tools/api_client.py:33-43`(timeout 30×3 + sleep 2)卡住最长约 94s。
**改法**:把变体链的缓冲与终态节流提到 `amazon_base` 的公共方法,`_emit` 走同一缓冲。
**风险**:不改行数。**需采集机跑一次 `更新并重启.bat` 才生效**(与变体那条同一批次,不额外增加发布动作)。
### A4 取 cookie 的全键空间 SCAN `[P0]`
**证据链**:`maixiang_task_api/main.py:300 /api/cookie/get` → `:315 async for k in redis_client.scan_iter(match=f"{country}:*", count=100)`。
**代价**:SCAN 的 `match` 是**扫完再过滤**,成本取决于键空间大小而非命中数。每一次开页要一个 cookie 就扫一遍全库,与队列 `LMOVE`、心跳抢同一条 Redis 连接池。
**改法**:`/cookie/add` 时 `SADD cookie:{country}`、失效时 `SREM`,`get_cookie` 改 `SRANDMEMBER cookie:{country} 3`,保留 `:301-305` 注释写明的"随机打散取用"意图(那注释是为了避免所有并发任务抢同一个 cookie 被风控拉黑)。
**风险**:存量 cookie 必须一次性回填 Set,漏回填=取不到 cookie=整链失败。这是本组唯一硬风险,上线判据要写"取空计数为 0"。
---
## 三、B 组:DB 与对象存储往返浪费
### B1 心跳每 60 秒整行读任务 + 全实体序列化进 Redis `[P1]`
- 频率:`app_client/amazon/main.py:311 HEARTBEAT_INTERVAL = 60`,每个在跑任务一次 POST `/api/tasks/{id}/heartbeat`。
- 服务端 `modules/task/service/TaskHeartbeatService.java:101-106 selectFileTask` 只有 `eq(id).last("limit 1")`,**没有 `.select()` 投影** ⇒ 把 `biz_file_task` 的 `request_json`、`result_json` 整列读回来(`FileTaskEntity.java:23-24`)。
- `:198-202` 无条件 `handler.saveTaskCache(task)`;`AbstractModuleTaskCacheService.java:203-216` 把**整个实体** `writeValueAsString` 后 `SET` 进 Redis(24h TTL)。
- 节流只有 similar-asin 实现了(`SimilarAsinTaskHeartbeatSpi.java:46 checkpointInterval()` 是全仓唯一覆盖点),其余模块每轮心跳都写。
- 同项目已有裁剪惯例,属漏改:`TaskProgressLightAssembler.java:49`、`StaleTaskRepairService.java:70`。
**改法**:`selectFileTask` 加 `.select(id, status, moduleType, userId, updatedAt)`;新增轻字段版缓存写入(或让心跳只写进度键,任务实体交给状态变更点)。
**风险**:PriceTrack 的 `loadTaskForExecution` 依赖缓存行里的 `requestJson` 非空(`TaskFinalizeSupport.java:32-33` 已注明),必须保留 DB 兜底路径。
`【待测】result_json 字节分布`:`SELECT id, LENGTH(result_json) FROM biz_file_task WHERE module_type IN ('QUERY_ASIN','PATROL_DELETE','SHOP_DATA_CRAWL') ORDER BY 2 DESC LIMIT 20;` —— 决定这一条值不值得动。
`【10-04 已测,判断作废一半】`生产库里 MB 级的 `result_json` 全在**终态历史行**,而心跳/stale 读的是 `status='RUNNING'`(41 行、几张大列均宽 244–525 B ⇒ 整轮上界 ~31.7 KB)。所以"整行读"不是这条的伤口,剩下值得动的只有"全实体序列化进 Redis"那一半,详见 §九。
### B2 载荷物理删除每次跑两条无 task_id 的 JSON 全表 COUNT `[P1]`
- `TransientPayloadStorageService.java:329-340` 与 `:343-358`:先按 task_id 收敛查一次,**查不到就回退全表** `IN(payload_json, values)`;`:275` 的注释自己写明「调用方正常路径下引用数必然为 0」⇒ 正常删除路径**必然**走到全表回退。合计每次删除 4 条 COUNT,其中 2 条在 JSON/TEXT 列上无索引可走(V121 已删相关索引)。
- 调用面广:全仓 50+ 个 `deletePayloadIfPresent` / `deleteReplacedPayloadIfNeeded` 生产调用点(chunk 回传、scope state 覆盖、结果项升级旧对象等)。
- 已有的批量版 `TransientPayloadDeleteOrchestrator.batchReferencedPointers`(`:235`)目前只有 `ModuleHistoryCleanupService.java:339` 一个调用方在用;`TaskResultItemService.java:184` 注释显示结果项那条热路径已经改走编排器了。
**改法**:把剩余高频调用点改投 `submitDeletes(List.of(v))` + 周期 flush(编排器已带 journal 与去重);或让全局回退只在 `extractTaskId(pointer)` 解析失败时才执行(`:311` 已解析成功却仍全局查,等于把收敛当预筛而不是当边界)。
**风险**:去掉回退会重演 28459 误删——所以**只对"指针能解析出 task_id"的路径**取消全局回退,解析不出仍按现口径。
### B3 结果文件作业:三个调度参数互相打架 `[P1]`
- 每 10s claim 20 条并全部翻成 RUNNING(`TaskResultFileJobWorker.java:70-84` + yml:279 `local-worker-delay-ms:10000`、:285 `batch-size:20`);
- 本地派发池只有 2 线程、in-flight 满 64 就直接回落**在调度线程内联执行**(yml:276、`TaskFileJobLocalDispatcher.java:36-37,74-78`);
- 卡死线 5 分钟、每 60s 扫一次(yml:280、:283)⇒ 排队超 5 分钟的 RUNNING 被翻回 PENDING,真正开跑时 `activateRunningClaim` 的 CAS 失败,整轮白跑。
- 更实的问题:`:352-368` 对 PENDING 超阈值每轮 `retry_count++`(封顶 `MAX_RETRY_COUNT-1`=4,`MAX_RETRY_COUNT=5` 在 `:29`)⇒ **排队时间吃掉重试预算**,作业之后只要遇到一次真实 RUNNING 超时就直接判 FAILED,拿不到设计意图里的 5 次机会。
**改法**:`runPendingJobs` 的 limit 改 `min(batchSize, 本地剩余容量)`;PENDING 分支只补发 dispatch 事件、不递增 retry_count(`TaskFileJobService.java:352-368`)。
**风险**:47 个 `@Scheduled` 共用 pool-size 16(`SchedulingConfig.java:31`),内联回落会挤占其他定时任务;改完要回看 `requeued because task lock is busy` 计数有没有回升。
### B4 其余四条已定位的重复读 / 串行下载 `[P1-P2]`
| 位置 | 问题 | 量级 | 改法 |
|---|---|---|---|
| `SimilarAsinResultWorkbookAssembler.java:576-595`(+`:646-658`)、`AppearancePatentTaskService.java:2466-2485` | 导出时逐分片 `LIMIT 1` 分页取片,且每个源文件都全量重扫 | 源文件数 × 分片数 次单行 SELECT + 载荷 GET | 一次 `selectList` 取回片列表,按片自带 `scopeHash` 过滤(外观 `:517` 已按 submissionId 生成) |
| `SimilarAsinPayloadSupport.java:210/219/238` → `:244-259` | `prompt/apiKey/imgSwitch/categorySwitch` 各读一次全量 parsed payload(下载+反序列化+行对象复制 2-3 份),调用点 `SimilarAsinPipelineSupport.java:1018-1021` | 每轮回传 × 4-6 次全量读 | 合并成一个 `readTaskSettings(task)` 一次读完返回 record |
| `PuzzleImageMerger.java:97-106`(`:211-231` 重试) | 一行 16 张 1688/alibaba 图仍串行下载,单张 10s(yml:363 池是 8 但这里没用) | 每行最多 16 次串行往返,最坏 320s | 复用 `SimilarAsinImageEmbedder` 已有的 `CompletionService + downloadPool(8) + 全局 deadline` 取字节,按 index 落回原顺序 |
| `SimilarAsinLlmService.java:201`(`ProductCategoryService.java:43-50` 无缓存全表读)、`:359 tree.formatTwoLevels()` 每行重算 | 类目树每批全表 SELECT、两层清单每行重拼 | 图模式 `llm-batch-size:3` ⇒ 5000 行 ≈ 1667 次全表读 | `formatTwoLevels()` memoize;树按 `max(id)/updated_at` 做秒级 TTL |
`SimilarAsinImagePrefetchService.java:319 lookupBatch(...)` 已经写好但**全仓无调用方**,实际走 `:387 lookup(url)` 被 `SimilarAsinResultWorkbookAssembler.java:793-810` 在 URL 循环里逐条调;预热侧 `PREFETCH_POOL_SIZE=2` 且每 task 单 worker。属于"批量接口写了没接上"。
---
## 四、C 组:吞吐上限,先测再改
- **C1 单任务实际并发 ≈ 2,而闸给到 12。** 外观一轮批内:文本 10 行合 1 次调用、图片 10 行按 `llm-appearance-batch-size:5` 分 2 块并发(`AppearancePatentLlmClient.java:291-292` 的 `Semaphore(llmRowConcurrency=5)` 只在块数 >1 时才起作用),批与批之间串行(A1)。`task-queue.max-concurrent:12`(yml:314)远没用满。**先做 A1,再谈抬并发**——顺序反过来只会把等待搬个地方。
- **C2 代理上游有没有账号级并发/RPM 上限,仍未归因。** 没测之前,抬并发、补消费者、MQ 化三条路都只能算猜测(外观一批 10 行线上实测 `costMs` 已到 214869/249250,慢在上游不在本机)。取数:同一任务把 `llm-row-concurrency` 从 5 抬到 8,观察 429/超时率与 `costMs` 分位;有 429 就说明上限在代理。
- **C3 按负载选机(主机B 目前基本闲着)比 MQ 化便宜一个数量级。** `owner_instance_id` + `aiimage.instance-routing` 已保证"任务在哪台就由那台跑完",只需把**新任务落地机器**从"客户端解析到谁"改成按在飞作业数选机,不碰批次语义。
- **C4 风控降级是进程全局的**:`func/amazon_base.py:163-168` 每页 401/403/503 都进同一个闸门,`config.py:51-54`(300s 窗口 / 阈值 8 / HOLD 600s)触发后把 4 槽压到 1 至少 10 分钟 ≈ 少产出 440 行(按单槽 880 行/h),且一个坏 cookie 池或一国风控会拖垮全部任务类型。改法:闸门按 `(task_type, country)` 分桶。**阈值要先看线上信号频次再动**,放宽等于真多烧代理费。
---
## 五、D 组:交付层低成本项
- **D1 管理后台首屏比用户端大 5.2 倍。** 实测产物:`admin-frontend-vue/dist/assets/index-CAmaFJ39.js` **1,127,603 B** + `index-CSE0eCeX.css` 383,318 B;用户端 `frontend-vue/new_web_source/assets/index-BwjSp_ZA.js` 217,568 B。根因:`admin-frontend-vue/src/main.ts:3-5` 全量 `import ElementPlus` + `element-plus/dist/index.css`,`vite.config.ts:32-35` 的 build 块没有 `manualChunks`。改法照用户端(`frontend-vue/vite.config.ts:5-7` 用 ElementPlusResolver),命令式组件样式按用户端 `main.ts:7-8` 补两行。**这是纯前端构建改动,风险最低、见效最快。** `【10-04 已落地】`同树 A/B 实测入口 JS −34.7%、CSS −45.6%、dist 整树 −567,203 B;改法与护栏见 §九。只欠逐页浏览器视觉验证。**落地时没照用户端的 `ElementPlusResolver`**:自动引入会把"到底注册了哪些组件"藏进构建产物,而这条的失败模式恰恰是漏注册不报错,显式注册表才能让护栏从源码推标签清单做双向比对。
- **D2 轻量进度端点已就绪但只接了 5/12。** `frontend-vue/src/shared/api/progress-light.ts:19-32` 白名单 12 个模块、`endpoints.ts` 12 个 `progressLight` 都在;实际只有 appearancePatent / patrolDelete / queryAsin / shopDataCrawl / withdraw 五个 tab 调 `getModuleProgressLight`。`BrandSimilarAsinTab.vue:206` 仍传重型 `getSimilarAsinTaskProgressBatch`(同类还有 publish / priceTrack / collectData / deleteBrand / productRisk / shopMatch)。`useLiveTaskBoard.ts:430` 无条件调 `fetchProgressBatch`,所以每个 tab 的收益取决于它自己传的是哪个函数——照 `BrandAppearancePatentTab.vue:159` 的 `beforeBatch` + 行版本门控写法迁移即可。轮询节奏:可见 10s / 隐藏 60s(`task-progress-config.ts:16-17`)。
- **D3 后台列表拉 LONGTEXT。** `modules/imagevideo/mapper/ImageVideoAdminTaskMapper.java:19` 列表 SELECT 了 `request_json/submit_response_json/result_json/video_urls_json/archived_videos_json`(V71 为 LONGTEXT),但列表只用 `request_json` 里一个标量(`ImageVideoAdminTaskService.java:226 modeOf`),另两列只有详情 `:238-245` 用。同类:`ShopDataCrawlDailyFileService.java:138-142` 无投影读 `row_payload`(MEDIUMTEXT, V93)却只用于判空(`ShopDataCrawlTaskService.java:849`)/取 resultId(`ShopDataCrawlAdminTasksService.java:96`)。改法:列表用 `JSON_UNQUOTE(JSON_EXTRACT(...))` 取标量,大列留给详情查询。
- **D4 任务中心看板每 30s 全量 UNION COUNT + OFFSET 分页。** `TaskCenterBoardPage.vue:43,242` 每 30s 三接口;`TaskCenterQueryService.java:137` 对 `biz_file_task ∪ brand_crawl_tasks` 无时间界计数、`:144` OFFSET 无页上限;`TaskCenterQueryMapper.java:258-274` 的 UNION-ALL 每页被执行两遍,`:220-229` 含 4 个相关子查询 `EXISTS … LIKE '%…%'`。改法:总数短 TTL 缓存 + `last_id` 游标(范式见 `DedupeTotalDataService.java:194-201`)。
- **D5 gzip 需要取证再定。** 仓库里的网关模板 `scripts/deploy_nginx_gateway.py:70-84` 只有 sendfile/tcp_nopush,全仓 grep 无 `gzip on`;但线上真正生效的是主机B `/opt/1panel/www/conf.d/api.aishufu.top.conf`(不在仓库),1Panel 可能已在全局开 gzip。**先 `curl -H 'Accept-Encoding: gzip' -sI <json接口>` 看有没有 `Content-Encoding`**,有就别动。
- **D6 无依赖的串行 await**:`BrandPriceTrackTab.vue:1652-1653`、`BrandProductRiskTab.vue:495-496,805-806` 先 `await loadHistory()` 再 `await loadDashboard()`,两者互不依赖;`GroupEditorDialog.vue:58`、`pages/records/history-api.ts:17` 用 `page_size=999` 一次拉全量用户。
---
## 六、口径已知的遗留杠杆(不是新发现,列出来免得重复讨论)
1. **外观专利图片按内容寻址缓存** —— 唯一攻图片输入 token 的一条,也是合批之后剩余最大的成本杠杆,仍未做。
2. **ASIN 跨任务缓存命中率低的真实原因(本次查清)**:键设计是干净的 `(country, asin)` 唯一键(`AsinResultCacheMapper.java:49-72`),TTL 按采集端真实开页时间 `observed_at`(`AsinResultCacheService.java:232`)——**不是键坏了**。0.1% 命中来自覆盖面与截断:服务端唯一写入口在 `CollectDataService.java:1855` 且硬编码 `AVAILABILITY_OK`(`AsinResultCacheService.java:187`);多选国家直接不写(`CollectDataService.java:1867-1874` → `AsinResultCacheService.java:175-178`);空价不写(`:181-183`);单次查询/写入各 500 行截断且不补查(`:95-98`、`:134-137`,默认值 yml:404-405);表没有保留期清理任务。要提命中率,动"多国家不写"和 500 截断这两处,别动 TTL。
3. `FOR UPDATE SKIP LOCKED` 路线仍未实施。
4. `biz_file_task.result_json` 存明文 apiKey 的泄露面仍未处理。
## 七、已经排除、不必再查的
加索引方向(瓶颈是行锁与大 JSON 列);清 `/app/java` 的 jar 备份;缩短 `DEFAULT_WAIT_MILLIS`;进一步合并 LLM 调用次数 / 词典替提词 / 拼图合并 / 家族页一次取价;空价格行的 KKBrowser 兜底耗时(只占 3.3%~3.9%);结果文件作业"纯轮询驱动"(`TaskFileJobDispatchCoordinator.java:25-45` 有事件点火);前端 `setInterval` 泄漏(两侧 8 个调用点,卸载清理与模块级单例都核过);Excel 导出(写出统一 `SXSSFWorkbook(200)` 流式,读入已改流式);`TaskObservabilityMetrics` 确认未接生产(无 `@Component`、无生产调用方、pom 无 prometheus registry),要做告警走日志字段或补 registry。
## 八、建议执行顺序
1. **A1 + B3**(外观批间重读 + 结果作业调度)——都在 jar 里,可同批发;A1 单条就能把 5000 行任务的批间空档基本抹掉。
2. **A2**——需要一次判定口径的确认(同批同品牌共享结论),拍完就改。
3. **A4**(18960)+ **A3**(采集机 `更新并重启.bat`,与变体攒批同一次更新)——与既欠的 18960 / 4.0.42 发版并批,不额外开窗口。
4. **D1**(后台分包按需)——纯前端,随时可做。
5. **B1/B2/B4** 一批发,收益是 DB 与对象存储往返,不改语义。
6. **C2 的归因测量**与 C1/C3 的实施穿插做;不要在测出代理上限之前抬并发。
---
## 九、10-04 二轮:实做状态与实测否证
这一节是"做完之后回头量"的记录,与前八节的**预估**冲突时以本节为准。四条改完都在本地树,**尚未部署**。
### D1 后台按需注册 Element Plus —— 已落地,体积差是同树 A/B 实测
改法:新增 `admin-frontend-vue/src/plugins/element.ts`(逐个 `import El*` + 按组件引
`element-plus/es/components/<短名>/style/css`),`main.ts` 改调 `installElement(app)`,
全局中文语言包换到 `App.vue` 的 `<el-config-provider :locale="zhCn">`。
**A/B 只翻 `src/main.ts` + `src/App.vue` 两个入口文件**,其余文件(含同期在改的多公司那几份)
两轮完全一致,所以下面的差值可整份归给这一条。A 组跑了两次,字节与文件名哈希完全相同(可复现):
| 产物 | B 整包(HEAD) | A 按需 | 差 |
| --- | --- | --- | --- |
| 入口 JS | 1,129,783 B(gzip 376.44 kB) | 737,303 B(gzip 250.12 kB) | **−34.7%** |
| 入口 CSS | 383,318 B(gzip 52.89 kB) | 208,595 B(gzip 29.88 kB) | **−45.6%** |
| dist 整树 | 1,950,119 B | 1,382,916 B | **−567,203 B(−29.1%)** |
护栏:`tests/perf-element-on-demand.test.ts` 7 例 + `tests/perf-admin-repeat-requests.test.ts` 3 例,
`tests/align-locale.test.ts` 的落点从 main.ts 迁到 App.vue(强度不降)。清单不由人手写,
而是**从 src 的 `.vue` 里把 `el-*` 标签推出来再双向比对注册表与样式导入**——按需引入最坏的
失败模式是"某页面某组件没样式/渲染成裸标签",它不会让构建变红,所以护栏必须能自己发现漏项。
变异自证 9 点全杀(M1 注册表缺项、M2 漏 dialog 样式、M3 漏 message-box 样式、M4 留死条目、
M5 在页面里图省事引整包 CSS、M6 main.ts 搬回 `use(ElementPlus)`、M7 摘掉 `:locale`、
M8 让 `reAnalyze` 再白拉一次整集、M9 把 `loadShopOptions` 放回 30s 心跳),还原后 sha256 一致。
前端全量 `node --test tests/*.test.ts`(`npm test` 就是这个命令,本仓跑不了 vitest)**1698 例 0 红**。
**仍未做:逐页浏览器视觉验证。** 上面那套护栏证的是"清单齐、没有整包入口回流",
证不了"每个页面每个组件真的长对了"——这条要人在真浏览器过一遍才算收口。
顺带两条重复请求(同批改,各由上面那条护栏钉住不得回流):
- `DuplicateCheckPage.reAnalyze()` 原先 `await fetchDuplicateConsole(全空参数)` 把返回值丢掉、
紧接着 `loadConsole()` 又拉一次;console 端点纯读,那一次是白跑的整集查询 ⇒ 删掉。
- `TaskCenterBoardPage.refreshAll()` 的 `Promise.all` 里无条件带 `loadShopOptions()`,
而它是 30s 心跳走的同一个函数,店铺候选是后端 `SELECT DISTINCT` 无缓存的字典数据
⇒ 改为 `silent` 分档,心跳不重拉。代价:新入库店铺要等下一次进页/切页签/点「刷新」才进下拉。
### A2 外观品牌校验合批 —— 已落地,且把三个回退点并进了同一次批查询
- `BrandCheckClient` 新增 `checkTitleTexts(List<String>, strategy)`:一次 `checkWords`、
**整批共用一个 `deadlineNanos`**、跨行 `LinkedHashSet` 去重、结论按行归因、返回与入参同序同长。
- `AppearancePatentLlmClient.inspectRows` 的形状改成"一条 `(row, LlmResult)` 队列 + 唯一出口
`applyLlmRowsInOneBatch`":标题缺失 / 标题识别失败 / 外观识别失败**三个回退点不再各自逐行发
品牌查询**(回退行查的是整条原始标题,`splitTitleText` 能切出十几个词,逐行发反而最贵),
与正常行合用同一次批查询。`pending.isEmpty()` 的早退分支也要刷,否则回退行连结论都拿不到。
单参 `applyResult(row, result)` 重载已删(grep 零调用方 + 编译验证)。
- 语义变化就是当初拍过的那条:同批同品牌共享一次结论。**行数不变、LLM 请求次数不变、
代理提取次数不变** ⇒ 零成本;收益在上游劣化时把爆炸半径从"每行一个 90s 预算"收回"每批一个"。
- 护栏:`AppearancePatentBrandBatchTest` 3 例 + `BrandCheckClientTitleBatchTest` 4 例,
`AppearancePatentLlmClientTest` 里原来盯逐行 `checkTitleText` 的那条改为钉批接口
(`times(1)` + `never().checkTitleText`)。断言各自守一个坑:`times(1)` 证明合批真发生了,
而不是把逐行调用换了个名字;两行结论不同证明批内归因停在行,别行的侵权词没渗进干净行。
变异 6/6 全杀。后端全量套件 **Tests run: 3631, Failures: 0, Errors: 0**(Skipped 7)BUILD SUCCESS。
### 实测否证:四条不要照本文的预估动手
- **#7 货源结果分片投影**:实测 ≈**0.13 ms/任务**,不改。
- **#8 stale-check 八段全列扫加 `.select()` 投影**:生产实跑一轮 `s=0`(扫描 0 行)、
整轮 29–33 ms;库里 `status='RUNNING'` 只有 **41 行**、几张大列均宽 **244–525 B**
⇒ 整轮读回来的上界 ~31.7 KB。投影在"几乎读不到行"的热路径上没有可省的字节,不改。
- **B1 的因果判断订正**:本文 B1 说"心跳每 60 秒整行读才是真伤口",**这条不成立**。
实测 MB 级的那批 `result_json` 宽度属于**终态历史行**,而心跳/stale 的读取集合是
`status='RUNNING'`(41 行 × 均宽 244–525 B ⇒ 上界 31.7 KB)。B1 剩下的真价值在
"全实体 `writeValueAsString` 进 Redis"那一半,不在整行读这一半。
- **#10 桌面跟价流水化**:主机B 的 live 路径是 `/opt/maixiang/maixiang_run_task` 的**单线程
HTTP worker**(`pt_worker` 未运行),消费速率 <1 s/条、40–88 条/分;用户感知的等待主要来自
客户端 **3 s 轮询粒度**与共享队列,不是本机串行。并发提交只会把等待从"执行"搬进"排队",
并且多条共用同一把代理租约 IP ⇒ 有增加提取次数的风险。**不做。**
### 本轮新发现、尚未处理
- 主机B `/opt/maixiang/maixiang_run_task/logs/price-track-run.log` **逐条打印 jikip 提取 URL
(含 key)**,约 53 MB/日 ⇒ 同时是凭据落盘面和日志体积问题,待决定是否加日志脱敏。
- 待定档:跟价客户端首段轮询 3 s → 0.5 s(零成本,但属客户端默认值改动且要出包,不擅自改)。