Files
crawler-plugin/docs/ops/perf-review-2026-10-02.md
T
huangzd1997 468fd353f3 docs(性能): §九 记 10-04 二轮实做状态,并否证四条预估
新增一节"做完之后回头量",与前八节的预估冲突时以它为准:
- D1/A2 的落地形状、同树 A/B 实测体积、护栏例数与变异结果、以及"只欠浏览器视觉验证";
- 否证四条:货源分片投影 ≈0.13ms/任务、stale-check 八段投影(实跑 s=0、整轮 29–33ms、
  RUNNING 仅 41 行 × 均宽 244–525B ⇒ 上界 31.7KB)、桌面跟价流水化(单线程 worker
  <1s/条,等待在轮询粒度与共享队列,并发提交还会共用同一把代理租约);
- 订正 B1 的因果:MB 级 result_json 全在终态历史行,心跳读的是 RUNNING 集合,
  "整行读才是伤口"不成立,剩下值得动的只有全实体序列化进 Redis 那一半;
- 记一条未处理的新发现:主机B price-track-run.log 逐条打印含 key 的 jikip 提取 URL
  (≈53MB/日),同时是凭据落盘面和日志体积。

D1/B1 两处原文就地加了指向 §九 的标记,免得下一个人照旧预估动手。
2026-10-04 18:38:35 +08:00

30 KiB
Raw Blame History

上线后性能 / 逻辑优化建议(2026-10-02)

审查方式:只读代码,未连生产、未压测。所有 file:line 均已逐行回读确认;凡依赖线上数据才能定量化的,标了 【待测】 并给出取数语句。 本报告按「能缩短多少单任务时长」排序,不按改动难度排序。


一、结论摘要

外观专利与货源是任务时长的大头(外观占 LLM 花费 95%)。这两条链上最贵的不是 LLM 本身,而是夹在 LLM 批次之间的串行等待:

# 问题 位置 每任务额外代价
A1 每个 LLM 批次之间把全部分片从对象存储重读重解析一遍 AppearancePatentTaskService.java:1926→:3126 轮数 × 分片数 次远程 GET,全在批间空档,期内并发槽闲置
A2 品牌校验逐行发、每行各带一个 90 秒预算;同项目已有的批量+缓存过滤器没用 AppearancePatentLlmClient.java:916 一批 10 行 = 10 个独立 90s 预算串行
A3 货源采集链仍逐行回传 + 逐行查终态,没吃到变体链已上线的攒批 func/collect_data_run/handler.py:338-350 每行 2 次公网 HTTP
A4 每次开页取 cookie 都让 Redis 全键空间 SCAN 一遍 maixiang_task_api/main.py:315 与开页次数等量(实测口径 10 万+ 次开页 = 10 万+ 次扫描)

B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全表 COUNT、结果文件作业的调度自相矛盾),C 组是吞吐上限(要先测再改),D 组是交付层低成本项。


二、A 组:直接缩短单任务时长

A1 外观专利:批间全量重读分片 [P0]

证据链

  • modules/appearancepatent/service/AppearancePatentTaskService.java:902-904 注释自陈「同步检测:按批次串行调用 LLM」;:915 取 llm-batch-size(yml:336 默认 10);:949 外层 for (i += batchSize) 串行推进。
  • 每轮批内 :970 mergeLlmRowsIntoChunks → :1047 定义 → mergeLlmRowsIntoSubmittedChunks::1926 loadSubmittedChunks(task.getId()) 取回该任务全部分片,:1934 对每一片调 readChunkRows(chunk)。
  • :3126 readChunkRows = transientPayloadStorageService.resolvePayload(...)(RustFS/OSS GET)+ 整片 JSON 反序列化。

代价:N 行任务 = ⌈N/10⌉ 轮,每轮 C 次载荷 GET + 全量解析(C = 分片数)。5000 行、C=25 → 500 轮 × 25 = 1.25 万次 GET、约 250 万行对象解析,全部串在批与批之间。这段时间 llm-row-concurrency:5(yml:343)的槽是空着的。 【待测】C 的真实分布:SELECT task_id, COUNT(*) c FROM biz_task_chunk WHERE module_type='APPEARANCE_PATENT' GROUP BY task_id ORDER BY c DESC LIMIT 20;

改法(纯读,不动写回)

  1. 把 Map<chunkKey, Map<rowKey,row>> 提成批循环的局部状态,在 :1058 collectPendingLlmCandidates 首次读片时就建好,批内 merge 只更新真正被写回的那几片;
  2. 参照 similarasin 侧已有的 indexRowsByChunkKey 思路建 rowKey→chunkKey 索引,去掉 :1910 对全部分片的线性试探。

风险:分片在批中被别的入口改写时读到旧态。现状靠 mergeChunkPayload 的 CAS 兜住,改后仍要走同一 CAS,只省读不省写。行数与判定结果不变。

状态(2026-10-02 10:2x):改法 1 已提交 91d85ec6,未发版。 索引改为「分片键 → (payload_hash, rowKey 集合)」,在 collectPendingLlmCandidates 那一遍就建好, 批内 merge 只对 hash 变过的分片重读(chunkRowKeySet);载荷哈希与内容在所有写入点都是同一条 UPDATE 落的,可直接作新鲜度锚。 落库路径一行未动,mergeChunkPayload 仍自己 selectOne + 重读最新载荷再 CAS,索引不参与合并基底。 每批的 loadSubmittedChunks(DB SELECT 全部分片)保留——它就是锚,不能省。 读的次数从 (批数+1)×分片数 降到 分片数 + 本批写过的片数。 改法 2(rowKey→chunkKey 索引去掉逐片线性试探)未做:那是内存里的 O(C) 扫描,不是这次的瓶颈。 测试 AppearancePatentChunkRowIndexTest 3 例,逐条做过变异检验。

货源侧同形态已消除(10-02 13:0x,未发版) —— SimilarAsinPipelineSupport:判空探测与建行图 合成 readSubmittedChunks 的一次读取(新增 SubmittedChunk record,只在当次调用内传递,不做字段级 缓存),collectPendingLlmCandidates 改用已读到的行、不再逐片 GET。每轮 merge 的 GET 从 2×分片数 + 写回数 降到 分片数 + 写回数(3 片实测 7→4),submitLlmForSubmittedChunk 从 2C 降到 C; 写回次数与判定结果一行未动。测试 SimilarAsinTaskServiceChunkReadReuseTest 3 例(其中一例专防"做成跨调用缓存"),逐条变异检验。 货源侧没跟着做外观那套跨批复用索引:余下的倍数在 flushLlmBufferedResults——它按 chunkScopeHash 分组、 每组调一次 mergeLlmRowsIntoChunk,每次仍读全部分片(G 组 = G×C 次),要省得先把索引提到 flush 这一层,另计。

A2 外观专利:品牌校验合批 + 复用已有缓存 [P0]

证据链

  • modules/appearancepatent/client/AppearancePatentLlmClient.java:187-200 是行循环,:197 applyResult(...);applyResult 内 :916 调 brandCheckClient.checkTitleText(result.title(), "Terms")。
  • modules/brand/client/BrandCheckClient.java:201-203 checkTitleText → checkAll(splitTitleText(title), strategy);:100-101 预算 total-timeout-millis 每次调用重算(yml:320-325:retry-times:10 / total-timeout-millis:90000 / read-timeout-millis:60000)。
  • 同项目 modules/collectdata/util/CollectDataBrandBatchFilter.java:26-31 注释与 :44-62 实现已经做过这件事:按 10 行一批去重后一次 checkAll(整批共享预算)+ 512 条 LRU 判定缓存 + 远程抛错不写缓存。外观侧完全没走它。

代价:一批 10 行 = 10 个独立 90s 预算串行;上游 16890 劣化时批间隔被拉到分钟级。跨行同品牌(nike/adidas 这类高频词)零复用。

这一条的量级取决于 16890 现在的状态:9-28 实测 jikip 套餐彻底失效那轮,distinct 品牌 291 / 最终判失败 290(99.7%),A 机 45 分钟内 整批耗时预算用尽 290 次,当时的结论是"10 次重试纯放大时延、零收益"(docs/ops/prod-decisions-2026-09-28.md §八)。

  • 上游正常时:合批+缓存省的是 10 次往返 → 1 次,收益是个常数因子;
  • 上游再次劣化时:每行一个 90s 预算 意味着 10 行/批最坏 900s,改成整批共享预算后最坏仍是 90s/批 —— 这条真正的价值是把爆炸半径从"行"收回"批",和外观合批那次同样的思路。所以下手前先看一眼 16890 现在的成功率,它决定 A2 排在 A1 前还是后。

改法:applyResult 拆两段——先收齐全批 keywords,distinct 后一次 checkAll,再按行取结论;缓存口径照抄 CollectDataBrandBatchFilter.checkAndCache。不要新建类,把该过滤器提到可被外观复用的位置即可。

风险(必须拍):合并后同品牌在同批内共享一次结论。上游抖动时「第 1 行 OK、第 2 行 QUERY_FAILED」会变成两行同结论 → 判定集合可能变化,属于本项目在意的静默错判族(参见外观 id 塌陷那次)。行数不变、LLM 输出不变。 【10-04 已落地】没走 CollectDataBrandBatchFilter 复用那条路,改为 BrandCheckClient.checkTitleTexts(List, strategy);实际改动比本文预估的大一圈——三个回退点原先也在逐行发查询,现已并入同一次批查询。落地形状、护栏与变异见 §九。未部署。

A3 货源采集链:套用变体链已上线的攒批 [P0]

证据链

  • maixiang_run_task/func/collect_data_run/handler.py:338-350 _emit:每产出一条就 feed(pending, False),紧跟 :345 self._is_task_terminal(task_id)。
  • func/amazon_base.py:460-471 _is_task_terminal:每次调 api_client.get_batch_status(task_id),无节流。
  • 对照组 func/variant-collection/handler.py:235-257:攒批 flush + TERMINAL_CHECK_INTERVAL 节流 + 失败批留缓冲重发。变体链已改完,货源链没跟上。

代价:每行 2 次公网 HTTP(API_BASE_URL 走公网 121.196.149.225:18960),另加 :343 每行把整条 payload 打进日志。一次往返失败被 tools/api_client.py:33-43(timeout 30×3 + sleep 2)卡住最长约 94s。

改法:把变体链的缓冲与终态节流提到 amazon_base 的公共方法,_emit 走同一缓冲。 风险:不改行数。需采集机跑一次 更新并重启.bat 才生效(与变体那条同一批次,不额外增加发布动作)。

证据链:maixiang_task_api/main.py:300 /api/cookie/get → :315 async for k in redis_client.scan_iter(match=f"{country}:*", count=100)。 代价:SCAN 的 match 是扫完再过滤,成本取决于键空间大小而非命中数。每一次开页要一个 cookie 就扫一遍全库,与队列 LMOVE、心跳抢同一条 Redis 连接池。 改法:/cookie/add 时 SADD cookie:{country}、失效时 SREM,get_cookie 改 SRANDMEMBER cookie:{country} 3,保留 :301-305 注释写明的"随机打散取用"意图(那注释是为了避免所有并发任务抢同一个 cookie 被风控拉黑)。 风险:存量 cookie 必须一次性回填 Set,漏回填=取不到 cookie=整链失败。这是本组唯一硬风险,上线判据要写"取空计数为 0"。


三、B 组:DB 与对象存储往返浪费

B1 心跳每 60 秒整行读任务 + 全实体序列化进 Redis [P1]

  • 频率:app_client/amazon/main.py:311 HEARTBEAT_INTERVAL = 60,每个在跑任务一次 POST /api/tasks/{id}/heartbeat。
  • 服务端 modules/task/service/TaskHeartbeatService.java:101-106 selectFileTask 只有 eq(id).last("limit 1"),没有 .select() 投影 ⇒ 把 biz_file_task 的 request_json、result_json 整列读回来(FileTaskEntity.java:23-24)。
  • :198-202 无条件 handler.saveTaskCache(task);AbstractModuleTaskCacheService.java:203-216 把整个实体 writeValueAsString 后 SET 进 Redis(24h TTL)。
  • 节流只有 similar-asin 实现了(SimilarAsinTaskHeartbeatSpi.java:46 checkpointInterval() 是全仓唯一覆盖点),其余模块每轮心跳都写。
  • 同项目已有裁剪惯例,属漏改:TaskProgressLightAssembler.java:49、StaleTaskRepairService.java:70。

改法:selectFileTask 加 .select(id, status, moduleType, userId, updatedAt);新增轻字段版缓存写入(或让心跳只写进度键,任务实体交给状态变更点)。 风险:PriceTrack 的 loadTaskForExecution 依赖缓存行里的 requestJson 非空(TaskFinalizeSupport.java:32-33 已注明),必须保留 DB 兜底路径。 【待测】result_json 字节分布:SELECT id, LENGTH(result_json) FROM biz_file_task WHERE module_type IN ('QUERY_ASIN','PATROL_DELETE','SHOP_DATA_CRAWL') ORDER BY 2 DESC LIMIT 20; —— 决定这一条值不值得动。 【10-04 已测,判断作废一半】生产库里 MB 级的 result_json 全在终态历史行,而心跳/stale 读的是 status='RUNNING'(41 行、几张大列均宽 244–525 B ⇒ 整轮上界 ~31.7 KB)。所以"整行读"不是这条的伤口,剩下值得动的只有"全实体序列化进 Redis"那一半,详见 §九。

B2 载荷物理删除每次跑两条无 task_id 的 JSON 全表 COUNT [P1]

  • TransientPayloadStorageService.java:329-340 与 :343-358:先按 task_id 收敛查一次,查不到就回退全表 IN(payload_json, values);:275 的注释自己写明「调用方正常路径下引用数必然为 0」⇒ 正常删除路径必然走到全表回退。合计每次删除 4 条 COUNT,其中 2 条在 JSON/TEXT 列上无索引可走(V121 已删相关索引)。
  • 调用面广:全仓 50+ 个 deletePayloadIfPresent / deleteReplacedPayloadIfNeeded 生产调用点(chunk 回传、scope state 覆盖、结果项升级旧对象等)。
  • 已有的批量版 TransientPayloadDeleteOrchestrator.batchReferencedPointers(:235)目前只有 ModuleHistoryCleanupService.java:339 一个调用方在用;TaskResultItemService.java:184 注释显示结果项那条热路径已经改走编排器了。

改法:把剩余高频调用点改投 submitDeletes(List.of(v)) + 周期 flush(编排器已带 journal 与去重);或让全局回退只在 extractTaskId(pointer) 解析失败时才执行(:311 已解析成功却仍全局查,等于把收敛当预筛而不是当边界)。 风险:去掉回退会重演 28459 误删——所以只对"指针能解析出 task_id"的路径取消全局回退,解析不出仍按现口径。

B3 结果文件作业:三个调度参数互相打架 [P1]

  • 每 10s claim 20 条并全部翻成 RUNNING(TaskResultFileJobWorker.java:70-84 + yml:279 local-worker-delay-ms:10000、:285 batch-size:20);
  • 本地派发池只有 2 线程、in-flight 满 64 就直接回落在调度线程内联执行(yml:276、TaskFileJobLocalDispatcher.java:36-37,74-78);
  • 卡死线 5 分钟、每 60s 扫一次(yml:280、:283)⇒ 排队超 5 分钟的 RUNNING 被翻回 PENDING,真正开跑时 activateRunningClaim 的 CAS 失败,整轮白跑。
  • 更实的问题::352-368 对 PENDING 超阈值每轮 retry_count++(封顶 MAX_RETRY_COUNT-1=4,MAX_RETRY_COUNT=5 在 :29)⇒ 排队时间吃掉重试预算,作业之后只要遇到一次真实 RUNNING 超时就直接判 FAILED,拿不到设计意图里的 5 次机会。

改法:runPendingJobs 的 limit 改 min(batchSize, 本地剩余容量);PENDING 分支只补发 dispatch 事件、不递增 retry_count(TaskFileJobService.java:352-368)。 风险:47 个 @Scheduled 共用 pool-size 16(SchedulingConfig.java:31),内联回落会挤占其他定时任务;改完要回看 requeued because task lock is busy 计数有没有回升。

B4 其余四条已定位的重复读 / 串行下载 [P1-P2]

位置 问题 量级 改法
SimilarAsinResultWorkbookAssembler.java:576-595(+:646-658)、AppearancePatentTaskService.java:2466-2485 导出时逐分片 LIMIT 1 分页取片,且每个源文件都全量重扫 源文件数 × 分片数 次单行 SELECT + 载荷 GET 一次 selectList 取回片列表,按片自带 scopeHash 过滤(外观 :517 已按 submissionId 生成)
SimilarAsinPayloadSupport.java:210/219/238 → :244-259 prompt/apiKey/imgSwitch/categorySwitch 各读一次全量 parsed payload(下载+反序列化+行对象复制 2-3 份),调用点 SimilarAsinPipelineSupport.java:1018-1021 每轮回传 × 4-6 次全量读 合并成一个 readTaskSettings(task) 一次读完返回 record
PuzzleImageMerger.java:97-106(:211-231 重试) 一行 16 张 1688/alibaba 图仍串行下载,单张 10s(yml:363 池是 8 但这里没用) 每行最多 16 次串行往返,最坏 320s 复用 SimilarAsinImageEmbedder 已有的 CompletionService + downloadPool(8) + 全局 deadline 取字节,按 index 落回原顺序
SimilarAsinLlmService.java:201(ProductCategoryService.java:43-50 无缓存全表读)、:359 tree.formatTwoLevels() 每行重算 类目树每批全表 SELECT、两层清单每行重拼 图模式 llm-batch-size:3 ⇒ 5000 行 ≈ 1667 次全表读 formatTwoLevels() memoize;树按 max(id)/updated_at 做秒级 TTL

SimilarAsinImagePrefetchService.java:319 lookupBatch(...) 已经写好但全仓无调用方,实际走 :387 lookup(url) 被 SimilarAsinResultWorkbookAssembler.java:793-810 在 URL 循环里逐条调;预热侧 PREFETCH_POOL_SIZE=2 且每 task 单 worker。属于"批量接口写了没接上"。


四、C 组:吞吐上限,先测再改

  • C1 单任务实际并发 ≈ 2,而闸给到 12。 外观一轮批内:文本 10 行合 1 次调用、图片 10 行按 llm-appearance-batch-size:5 分 2 块并发(AppearancePatentLlmClient.java:291-292 的 Semaphore(llmRowConcurrency=5) 只在块数 >1 时才起作用),批与批之间串行(A1)。task-queue.max-concurrent:12(yml:314)远没用满。先做 A1,再谈抬并发——顺序反过来只会把等待搬个地方。
  • C2 代理上游有没有账号级并发/RPM 上限,仍未归因。 没测之前,抬并发、补消费者、MQ 化三条路都只能算猜测(外观一批 10 行线上实测 costMs 已到 214869/249250,慢在上游不在本机)。取数:同一任务把 llm-row-concurrency 从 5 抬到 8,观察 429/超时率与 costMs 分位;有 429 就说明上限在代理。
  • C3 按负载选机(主机B 目前基本闲着)比 MQ 化便宜一个数量级。 owner_instance_id + aiimage.instance-routing 已保证"任务在哪台就由那台跑完",只需把新任务落地机器从"客户端解析到谁"改成按在飞作业数选机,不碰批次语义。
  • C4 风控降级是进程全局的:func/amazon_base.py:163-168 每页 401/403/503 都进同一个闸门,config.py:51-54(300s 窗口 / 阈值 8 / HOLD 600s)触发后把 4 槽压到 1 至少 10 分钟 ≈ 少产出 440 行(按单槽 880 行/h),且一个坏 cookie 池或一国风控会拖垮全部任务类型。改法:闸门按 (task_type, country) 分桶。阈值要先看线上信号频次再动,放宽等于真多烧代理费。

五、D 组:交付层低成本项

  • D1 管理后台首屏比用户端大 5.2 倍。 实测产物:admin-frontend-vue/dist/assets/index-CAmaFJ39.js 1,127,603 B + index-CSE0eCeX.css 383,318 B;用户端 frontend-vue/new_web_source/assets/index-BwjSp_ZA.js 217,568 B。根因:admin-frontend-vue/src/main.ts:3-5 全量 import ElementPlus + element-plus/dist/index.css,vite.config.ts:32-35 的 build 块没有 manualChunks。改法照用户端(frontend-vue/vite.config.ts:5-7 用 ElementPlusResolver),命令式组件样式按用户端 main.ts:7-8 补两行。这是纯前端构建改动,风险最低、见效最快。 【10-04 已落地】同树 A/B 实测入口 JS −34.7%、CSS −45.6%、dist 整树 −567,203 B;改法与护栏见 §九。只欠逐页浏览器视觉验证。落地时没照用户端的 ElementPlusResolver:自动引入会把"到底注册了哪些组件"藏进构建产物,而这条的失败模式恰恰是漏注册不报错,显式注册表才能让护栏从源码推标签清单做双向比对。
  • D2 轻量进度端点已就绪但只接了 5/12。 frontend-vue/src/shared/api/progress-light.ts:19-32 白名单 12 个模块、endpoints.ts 12 个 progressLight 都在;实际只有 appearancePatent / patrolDelete / queryAsin / shopDataCrawl / withdraw 五个 tab 调 getModuleProgressLight。BrandSimilarAsinTab.vue:206 仍传重型 getSimilarAsinTaskProgressBatch(同类还有 publish / priceTrack / collectData / deleteBrand / productRisk / shopMatch)。useLiveTaskBoard.ts:430 无条件调 fetchProgressBatch,所以每个 tab 的收益取决于它自己传的是哪个函数——照 BrandAppearancePatentTab.vue:159 的 beforeBatch + 行版本门控写法迁移即可。轮询节奏:可见 10s / 隐藏 60s(task-progress-config.ts:16-17)。
  • D3 后台列表拉 LONGTEXT。 modules/imagevideo/mapper/ImageVideoAdminTaskMapper.java:19 列表 SELECT 了 request_json/submit_response_json/result_json/video_urls_json/archived_videos_json(V71 为 LONGTEXT),但列表只用 request_json 里一个标量(ImageVideoAdminTaskService.java:226 modeOf),另两列只有详情 :238-245 用。同类:ShopDataCrawlDailyFileService.java:138-142 无投影读 row_payload(MEDIUMTEXT, V93)却只用于判空(ShopDataCrawlTaskService.java:849)/取 resultId(ShopDataCrawlAdminTasksService.java:96)。改法:列表用 JSON_UNQUOTE(JSON_EXTRACT(...)) 取标量,大列留给详情查询。
  • D4 任务中心看板每 30s 全量 UNION COUNT + OFFSET 分页。 TaskCenterBoardPage.vue:43,242 每 30s 三接口;TaskCenterQueryService.java:137 对 biz_file_task ∪ brand_crawl_tasks 无时间界计数、:144 OFFSET 无页上限;TaskCenterQueryMapper.java:258-274 的 UNION-ALL 每页被执行两遍,:220-229 含 4 个相关子查询 EXISTS … LIKE '%…%'。改法:总数短 TTL 缓存 + last_id 游标(范式见 DedupeTotalDataService.java:194-201)。
  • D5 gzip 需要取证再定。 仓库里的网关模板 scripts/deploy_nginx_gateway.py:70-84 只有 sendfile/tcp_nopush,全仓 grep 无 gzip on;但线上真正生效的是主机B /opt/1panel/www/conf.d/api.aishufu.top.conf(不在仓库),1Panel 可能已在全局开 gzip。先 curl -H 'Accept-Encoding: gzip' -sI <json接口> 看有没有 Content-Encoding,有就别动。
  • D6 无依赖的串行 await:BrandPriceTrackTab.vue:1652-1653、BrandProductRiskTab.vue:495-496,805-806 先 await loadHistory() 再 await loadDashboard(),两者互不依赖;GroupEditorDialog.vue:58、pages/records/history-api.ts:17 用 page_size=999 一次拉全量用户。

六、口径已知的遗留杠杆(不是新发现,列出来免得重复讨论)

  1. 外观专利图片按内容寻址缓存 —— 唯一攻图片输入 token 的一条,也是合批之后剩余最大的成本杠杆,仍未做。
  2. ASIN 跨任务缓存命中率低的真实原因(本次查清):键设计是干净的 (country, asin) 唯一键(AsinResultCacheMapper.java:49-72),TTL 按采集端真实开页时间 observed_at(AsinResultCacheService.java:232)——不是键坏了。0.1% 命中来自覆盖面与截断:服务端唯一写入口在 CollectDataService.java:1855 且硬编码 AVAILABILITY_OK(AsinResultCacheService.java:187);多选国家直接不写(CollectDataService.java:1867-1874 → AsinResultCacheService.java:175-178);空价不写(:181-183);单次查询/写入各 500 行截断且不补查(:95-98、:134-137,默认值 yml:404-405);表没有保留期清理任务。要提命中率,动"多国家不写"和 500 截断这两处,别动 TTL。
  3. FOR UPDATE SKIP LOCKED 路线仍未实施。
  4. biz_file_task.result_json 存明文 apiKey 的泄露面仍未处理。

七、已经排除、不必再查的

加索引方向(瓶颈是行锁与大 JSON 列);清 /app/java 的 jar 备份;缩短 DEFAULT_WAIT_MILLIS;进一步合并 LLM 调用次数 / 词典替提词 / 拼图合并 / 家族页一次取价;空价格行的 KKBrowser 兜底耗时(只占 3.3%~3.9%);结果文件作业"纯轮询驱动"(TaskFileJobDispatchCoordinator.java:25-45 有事件点火);前端 setInterval 泄漏(两侧 8 个调用点,卸载清理与模块级单例都核过);Excel 导出(写出统一 SXSSFWorkbook(200) 流式,读入已改流式);TaskObservabilityMetrics 确认未接生产(无 @Component、无生产调用方、pom 无 prometheus registry),要做告警走日志字段或补 registry。

八、建议执行顺序

  1. A1 + B3(外观批间重读 + 结果作业调度)——都在 jar 里,可同批发;A1 单条就能把 5000 行任务的批间空档基本抹掉。
  2. A2——需要一次判定口径的确认(同批同品牌共享结论),拍完就改。
  3. A4(18960)+ A3(采集机 更新并重启.bat,与变体攒批同一次更新)——与既欠的 18960 / 4.0.42 发版并批,不额外开窗口。
  4. D1(后台分包按需)——纯前端,随时可做。
  5. B1/B2/B4 一批发,收益是 DB 与对象存储往返,不改语义。
  6. C2 的归因测量与 C1/C3 的实施穿插做;不要在测出代理上限之前抬并发。

九、10-04 二轮:实做状态与实测否证

这一节是"做完之后回头量"的记录,与前八节的预估冲突时以本节为准。四条改完都在本地树,尚未部署。

D1 后台按需注册 Element Plus —— 已落地,体积差是同树 A/B 实测

改法:新增 admin-frontend-vue/src/plugins/element.ts(逐个 import El* + 按组件引 element-plus/es/components/<短名>/style/css),main.ts 改调 installElement(app), 全局中文语言包换到 App.vue 的 <el-config-provider :locale="zhCn">。

A/B 只翻 src/main.ts + src/App.vue 两个入口文件,其余文件(含同期在改的多公司那几份) 两轮完全一致,所以下面的差值可整份归给这一条。A 组跑了两次,字节与文件名哈希完全相同(可复现):

产物 B 整包(HEAD) A 按需 差
入口 JS 1,129,783 B(gzip 376.44 kB) 737,303 B(gzip 250.12 kB) −34.7%
入口 CSS 383,318 B(gzip 52.89 kB) 208,595 B(gzip 29.88 kB) −45.6%
dist 整树 1,950,119 B 1,382,916 B −567,203 B(−29.1%)

护栏:tests/perf-element-on-demand.test.ts 7 例 + tests/perf-admin-repeat-requests.test.ts 3 例, tests/align-locale.test.ts 的落点从 main.ts 迁到 App.vue(强度不降)。清单不由人手写, 而是从 src 的 .vue 里把 el-* 标签推出来再双向比对注册表与样式导入——按需引入最坏的 失败模式是"某页面某组件没样式/渲染成裸标签",它不会让构建变红,所以护栏必须能自己发现漏项。 变异自证 9 点全杀(M1 注册表缺项、M2 漏 dialog 样式、M3 漏 message-box 样式、M4 留死条目、 M5 在页面里图省事引整包 CSS、M6 main.ts 搬回 use(ElementPlus)、M7 摘掉 :locale、 M8 让 reAnalyze 再白拉一次整集、M9 把 loadShopOptions 放回 30s 心跳),还原后 sha256 一致。 前端全量 node --test tests/*.test.ts(npm test 就是这个命令,本仓跑不了 vitest)1698 例 0 红。

仍未做:逐页浏览器视觉验证。 上面那套护栏证的是"清单齐、没有整包入口回流", 证不了"每个页面每个组件真的长对了"——这条要人在真浏览器过一遍才算收口。

顺带两条重复请求(同批改,各由上面那条护栏钉住不得回流):

  • DuplicateCheckPage.reAnalyze() 原先 await fetchDuplicateConsole(全空参数) 把返回值丢掉、 紧接着 loadConsole() 又拉一次;console 端点纯读,那一次是白跑的整集查询 ⇒ 删掉。
  • TaskCenterBoardPage.refreshAll() 的 Promise.all 里无条件带 loadShopOptions(), 而它是 30s 心跳走的同一个函数,店铺候选是后端 SELECT DISTINCT 无缓存的字典数据 ⇒ 改为 silent 分档,心跳不重拉。代价:新入库店铺要等下一次进页/切页签/点「刷新」才进下拉。

A2 外观品牌校验合批 —— 已落地,且把三个回退点并进了同一次批查询

  • BrandCheckClient 新增 checkTitleTexts(List<String>, strategy):一次 checkWords、 整批共用一个 deadlineNanos、跨行 LinkedHashSet 去重、结论按行归因、返回与入参同序同长。
  • AppearancePatentLlmClient.inspectRows 的形状改成"一条 (row, LlmResult) 队列 + 唯一出口 applyLlmRowsInOneBatch":标题缺失 / 标题识别失败 / 外观识别失败三个回退点不再各自逐行发 品牌查询(回退行查的是整条原始标题,splitTitleText 能切出十几个词,逐行发反而最贵), 与正常行合用同一次批查询。pending.isEmpty() 的早退分支也要刷,否则回退行连结论都拿不到。 单参 applyResult(row, result) 重载已删(grep 零调用方 + 编译验证)。
  • 语义变化就是当初拍过的那条:同批同品牌共享一次结论。行数不变、LLM 请求次数不变、 代理提取次数不变 ⇒ 零成本;收益在上游劣化时把爆炸半径从"每行一个 90s 预算"收回"每批一个"。
  • 护栏:AppearancePatentBrandBatchTest 3 例 + BrandCheckClientTitleBatchTest 4 例, AppearancePatentLlmClientTest 里原来盯逐行 checkTitleText 的那条改为钉批接口 (times(1) + never().checkTitleText)。断言各自守一个坑:times(1) 证明合批真发生了, 而不是把逐行调用换了个名字;两行结论不同证明批内归因停在行,别行的侵权词没渗进干净行。 变异 6/6 全杀。后端全量套件 Tests run: 3631, Failures: 0, Errors: 0(Skipped 7)BUILD SUCCESS。

实测否证:四条不要照本文的预估动手

  • #7 货源结果分片投影:实测 ≈0.13 ms/任务,不改。
  • #8 stale-check 八段全列扫加 .select() 投影:生产实跑一轮 s=0(扫描 0 行)、 整轮 29–33 ms;库里 status='RUNNING' 只有 41 行、几张大列均宽 244–525 B ⇒ 整轮读回来的上界 ~31.7 KB。投影在"几乎读不到行"的热路径上没有可省的字节,不改。
  • B1 的因果判断订正:本文 B1 说"心跳每 60 秒整行读才是真伤口",这条不成立。 实测 MB 级的那批 result_json 宽度属于终态历史行,而心跳/stale 的读取集合是 status='RUNNING'(41 行 × 均宽 244–525 B ⇒ 上界 31.7 KB)。B1 剩下的真价值在 "全实体 writeValueAsString 进 Redis"那一半,不在整行读这一半。
  • #10 桌面跟价流水化:主机B 的 live 路径是 /opt/maixiang/maixiang_run_task 的单线程 HTTP worker(pt_worker 未运行),消费速率 <1 s/条、40–88 条/分;用户感知的等待主要来自 客户端 3 s 轮询粒度与共享队列,不是本机串行。并发提交只会把等待从"执行"搬进"排队", 并且多条共用同一把代理租约 IP ⇒ 有增加提取次数的风险。不做。

本轮新发现、尚未处理

  • 主机B /opt/maixiang/maixiang_run_task/logs/price-track-run.log 逐条打印 jikip 提取 URL (含 key),约 53 MB/日 ⇒ 同时是凭据落盘面和日志体积问题,待决定是否加日志脱敏。
  • 待定档:跟价客户端首段轮询 3 s → 0.5 s(零成本,但属客户端默认值改动且要出包,不擅自改)。