新增一节"做完之后回头量",与前八节的预估冲突时以它为准: - D1/A2 的落地形状、同树 A/B 实测体积、护栏例数与变异结果、以及"只欠浏览器视觉验证"; - 否证四条:货源分片投影 ≈0.13ms/任务、stale-check 八段投影(实跑 s=0、整轮 29–33ms、 RUNNING 仅 41 行 × 均宽 244–525B ⇒ 上界 31.7KB)、桌面跟价流水化(单线程 worker <1s/条,等待在轮询粒度与共享队列,并发提交还会共用同一把代理租约); - 订正 B1 的因果:MB 级 result_json 全在终态历史行,心跳读的是 RUNNING 集合, "整行读才是伤口"不成立,剩下值得动的只有全实体序列化进 Redis 那一半; - 记一条未处理的新发现:主机B price-track-run.log 逐条打印含 key 的 jikip 提取 URL (≈53MB/日),同时是凭据落盘面和日志体积。 D1/B1 两处原文就地加了指向 §九 的标记,免得下一个人照旧预估动手。
30 KiB
上线后性能 / 逻辑优化建议(2026-10-02)
审查方式:只读代码,未连生产、未压测。所有 file:line 均已逐行回读确认;凡依赖线上数据才能定量化的,标了 【待测】 并给出取数语句。
本报告按「能缩短多少单任务时长」排序,不按改动难度排序。
一、结论摘要
外观专利与货源是任务时长的大头(外观占 LLM 花费 95%)。这两条链上最贵的不是 LLM 本身,而是夹在 LLM 批次之间的串行等待:
| # | 问题 | 位置 | 每任务额外代价 |
|---|---|---|---|
| A1 | 每个 LLM 批次之间把全部分片从对象存储重读重解析一遍 | AppearancePatentTaskService.java:1926→:3126 |
轮数 × 分片数 次远程 GET,全在批间空档,期内并发槽闲置 |
| A2 | 品牌校验逐行发、每行各带一个 90 秒预算;同项目已有的批量+缓存过滤器没用 | AppearancePatentLlmClient.java:916 |
一批 10 行 = 10 个独立 90s 预算串行 |
| A3 | 货源采集链仍逐行回传 + 逐行查终态,没吃到变体链已上线的攒批 | func/collect_data_run/handler.py:338-350 |
每行 2 次公网 HTTP |
| A4 | 每次开页取 cookie 都让 Redis 全键空间 SCAN 一遍 | maixiang_task_api/main.py:315 |
与开页次数等量(实测口径 10 万+ 次开页 = 10 万+ 次扫描) |
B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全表 COUNT、结果文件作业的调度自相矛盾),C 组是吞吐上限(要先测再改),D 组是交付层低成本项。
二、A 组:直接缩短单任务时长
A1 外观专利:批间全量重读分片 [P0]
证据链
modules/appearancepatent/service/AppearancePatentTaskService.java:902-904注释自陈「同步检测:按批次串行调用 LLM」;:915取llm-batch-size(yml:336 默认 10);:949外层for (i += batchSize)串行推进。- 每轮批内
:970 mergeLlmRowsIntoChunks→:1047定义 →mergeLlmRowsIntoSubmittedChunks::1926 loadSubmittedChunks(task.getId())取回该任务全部分片,:1934对每一片调readChunkRows(chunk)。 :3126 readChunkRows=transientPayloadStorageService.resolvePayload(...)(RustFS/OSS GET)+ 整片 JSON 反序列化。
代价:N 行任务 = ⌈N/10⌉ 轮,每轮 C 次载荷 GET + 全量解析(C = 分片数)。5000 行、C=25 → 500 轮 × 25 = 1.25 万次 GET、约 250 万行对象解析,全部串在批与批之间。这段时间 llm-row-concurrency:5(yml:343)的槽是空着的。
【待测】C 的真实分布:SELECT task_id, COUNT(*) c FROM biz_task_chunk WHERE module_type='APPEARANCE_PATENT' GROUP BY task_id ORDER BY c DESC LIMIT 20;
改法(纯读,不动写回)
- 把
Map<chunkKey, Map<rowKey,row>>提成批循环的局部状态,在:1058 collectPendingLlmCandidates首次读片时就建好,批内 merge 只更新真正被写回的那几片; - 参照 similarasin 侧已有的
indexRowsByChunkKey思路建rowKey→chunkKey索引,去掉:1910对全部分片的线性试探。
风险:分片在批中被别的入口改写时读到旧态。现状靠 mergeChunkPayload 的 CAS 兜住,改后仍要走同一 CAS,只省读不省写。行数与判定结果不变。
状态(2026-10-02 10:2x):改法 1 已提交 91d85ec6,未发版。
索引改为「分片键 → (payload_hash, rowKey 集合)」,在 collectPendingLlmCandidates 那一遍就建好,
批内 merge 只对 hash 变过的分片重读(chunkRowKeySet);载荷哈希与内容在所有写入点都是同一条 UPDATE 落的,可直接作新鲜度锚。
落库路径一行未动,mergeChunkPayload 仍自己 selectOne + 重读最新载荷再 CAS,索引不参与合并基底。
每批的 loadSubmittedChunks(DB SELECT 全部分片)保留——它就是锚,不能省。
读的次数从 (批数+1)×分片数 降到 分片数 + 本批写过的片数。
改法 2(rowKey→chunkKey 索引去掉逐片线性试探)未做:那是内存里的 O(C) 扫描,不是这次的瓶颈。
测试 AppearancePatentChunkRowIndexTest 3 例,逐条做过变异检验。
货源侧同形态已消除(10-02 13:0x,未发版) —— SimilarAsinPipelineSupport:判空探测与建行图
合成 readSubmittedChunks 的一次读取(新增 SubmittedChunk record,只在当次调用内传递,不做字段级
缓存),collectPendingLlmCandidates 改用已读到的行、不再逐片 GET。每轮 merge 的 GET 从
2×分片数 + 写回数 降到 分片数 + 写回数(3 片实测 7→4),submitLlmForSubmittedChunk 从 2C 降到 C;
写回次数与判定结果一行未动。测试 SimilarAsinTaskServiceChunkReadReuseTest 3 例(其中一例专防"做成跨调用缓存"),逐条变异检验。
货源侧没跟着做外观那套跨批复用索引:余下的倍数在 flushLlmBufferedResults——它按 chunkScopeHash 分组、
每组调一次 mergeLlmRowsIntoChunk,每次仍读全部分片(G 组 = G×C 次),要省得先把索引提到 flush 这一层,另计。
A2 外观专利:品牌校验合批 + 复用已有缓存 [P0]
证据链
modules/appearancepatent/client/AppearancePatentLlmClient.java:187-200是行循环,:197 applyResult(...);applyResult内:916调brandCheckClient.checkTitleText(result.title(), "Terms")。modules/brand/client/BrandCheckClient.java:201-203 checkTitleText→checkAll(splitTitleText(title), strategy);:100-101预算total-timeout-millis每次调用重算(yml:320-325:retry-times:10 / total-timeout-millis:90000 / read-timeout-millis:60000)。- 同项目
modules/collectdata/util/CollectDataBrandBatchFilter.java:26-31注释与:44-62实现已经做过这件事:按 10 行一批去重后一次checkAll(整批共享预算)+ 512 条 LRU 判定缓存 + 远程抛错不写缓存。外观侧完全没走它。
代价:一批 10 行 = 10 个独立 90s 预算串行;上游 16890 劣化时批间隔被拉到分钟级。跨行同品牌(nike/adidas 这类高频词)零复用。
这一条的量级取决于 16890 现在的状态:9-28 实测 jikip 套餐彻底失效那轮,distinct 品牌 291 / 最终判失败 290(99.7%),A 机 45 分钟内 整批耗时预算用尽 290 次,当时的结论是"10 次重试纯放大时延、零收益"(docs/ops/prod-decisions-2026-09-28.md §八)。
- 上游正常时:合批+缓存省的是 10 次往返 → 1 次,收益是个常数因子;
- 上游再次劣化时:
每行一个 90s 预算意味着 10 行/批最坏 900s,改成整批共享预算后最坏仍是 90s/批 —— 这条真正的价值是把爆炸半径从"行"收回"批",和外观合批那次同样的思路。所以下手前先看一眼 16890 现在的成功率,它决定 A2 排在 A1 前还是后。
改法:applyResult 拆两段——先收齐全批 keywords,distinct 后一次 checkAll,再按行取结论;缓存口径照抄 CollectDataBrandBatchFilter.checkAndCache。不要新建类,把该过滤器提到可被外观复用的位置即可。
风险(必须拍):合并后同品牌在同批内共享一次结论。上游抖动时「第 1 行 OK、第 2 行 QUERY_FAILED」会变成两行同结论 → 判定集合可能变化,属于本项目在意的静默错判族(参见外观 id 塌陷那次)。行数不变、LLM 输出不变。
【10-04 已落地】没走 CollectDataBrandBatchFilter 复用那条路,改为 BrandCheckClient.checkTitleTexts(List, strategy);实际改动比本文预估的大一圈——三个回退点原先也在逐行发查询,现已并入同一次批查询。落地形状、护栏与变异见 §九。未部署。
A3 货源采集链:套用变体链已上线的攒批 [P0]
证据链
maixiang_run_task/func/collect_data_run/handler.py:338-350 _emit:每产出一条就feed(pending, False),紧跟:345 self._is_task_terminal(task_id)。func/amazon_base.py:460-471 _is_task_terminal:每次调api_client.get_batch_status(task_id),无节流。- 对照组
func/variant-collection/handler.py:235-257:攒批 flush +TERMINAL_CHECK_INTERVAL节流 + 失败批留缓冲重发。变体链已改完,货源链没跟上。
代价:每行 2 次公网 HTTP(API_BASE_URL 走公网 121.196.149.225:18960),另加 :343 每行把整条 payload 打进日志。一次往返失败被 tools/api_client.py:33-43(timeout 30×3 + sleep 2)卡住最长约 94s。
改法:把变体链的缓冲与终态节流提到 amazon_base 的公共方法,_emit 走同一缓冲。
风险:不改行数。需采集机跑一次 更新并重启.bat 才生效(与变体那条同一批次,不额外增加发布动作)。
A4 取 cookie 的全键空间 SCAN [P0]
证据链:maixiang_task_api/main.py:300 /api/cookie/get → :315 async for k in redis_client.scan_iter(match=f"{country}:*", count=100)。
代价:SCAN 的 match 是扫完再过滤,成本取决于键空间大小而非命中数。每一次开页要一个 cookie 就扫一遍全库,与队列 LMOVE、心跳抢同一条 Redis 连接池。
改法:/cookie/add 时 SADD cookie:{country}、失效时 SREM,get_cookie 改 SRANDMEMBER cookie:{country} 3,保留 :301-305 注释写明的"随机打散取用"意图(那注释是为了避免所有并发任务抢同一个 cookie 被风控拉黑)。
风险:存量 cookie 必须一次性回填 Set,漏回填=取不到 cookie=整链失败。这是本组唯一硬风险,上线判据要写"取空计数为 0"。
三、B 组:DB 与对象存储往返浪费
B1 心跳每 60 秒整行读任务 + 全实体序列化进 Redis [P1]
- 频率:
app_client/amazon/main.py:311 HEARTBEAT_INTERVAL = 60,每个在跑任务一次 POST/api/tasks/{id}/heartbeat。 - 服务端
modules/task/service/TaskHeartbeatService.java:101-106 selectFileTask只有eq(id).last("limit 1"),没有.select()投影 ⇒ 把biz_file_task的request_json、result_json整列读回来(FileTaskEntity.java:23-24)。 :198-202无条件handler.saveTaskCache(task);AbstractModuleTaskCacheService.java:203-216把整个实体writeValueAsString后SET进 Redis(24h TTL)。- 节流只有 similar-asin 实现了(
SimilarAsinTaskHeartbeatSpi.java:46 checkpointInterval()是全仓唯一覆盖点),其余模块每轮心跳都写。 - 同项目已有裁剪惯例,属漏改:
TaskProgressLightAssembler.java:49、StaleTaskRepairService.java:70。
改法:selectFileTask 加 .select(id, status, moduleType, userId, updatedAt);新增轻字段版缓存写入(或让心跳只写进度键,任务实体交给状态变更点)。
风险:PriceTrack 的 loadTaskForExecution 依赖缓存行里的 requestJson 非空(TaskFinalizeSupport.java:32-33 已注明),必须保留 DB 兜底路径。
【待测】result_json 字节分布:SELECT id, LENGTH(result_json) FROM biz_file_task WHERE module_type IN ('QUERY_ASIN','PATROL_DELETE','SHOP_DATA_CRAWL') ORDER BY 2 DESC LIMIT 20; —— 决定这一条值不值得动。
【10-04 已测,判断作废一半】生产库里 MB 级的 result_json 全在终态历史行,而心跳/stale 读的是 status='RUNNING'(41 行、几张大列均宽 244–525 B ⇒ 整轮上界 ~31.7 KB)。所以"整行读"不是这条的伤口,剩下值得动的只有"全实体序列化进 Redis"那一半,详见 §九。
B2 载荷物理删除每次跑两条无 task_id 的 JSON 全表 COUNT [P1]
TransientPayloadStorageService.java:329-340与:343-358:先按 task_id 收敛查一次,查不到就回退全表IN(payload_json, values);:275的注释自己写明「调用方正常路径下引用数必然为 0」⇒ 正常删除路径必然走到全表回退。合计每次删除 4 条 COUNT,其中 2 条在 JSON/TEXT 列上无索引可走(V121 已删相关索引)。- 调用面广:全仓 50+ 个
deletePayloadIfPresent/deleteReplacedPayloadIfNeeded生产调用点(chunk 回传、scope state 覆盖、结果项升级旧对象等)。 - 已有的批量版
TransientPayloadDeleteOrchestrator.batchReferencedPointers(:235)目前只有ModuleHistoryCleanupService.java:339一个调用方在用;TaskResultItemService.java:184注释显示结果项那条热路径已经改走编排器了。
改法:把剩余高频调用点改投 submitDeletes(List.of(v)) + 周期 flush(编排器已带 journal 与去重);或让全局回退只在 extractTaskId(pointer) 解析失败时才执行(:311 已解析成功却仍全局查,等于把收敛当预筛而不是当边界)。
风险:去掉回退会重演 28459 误删——所以只对"指针能解析出 task_id"的路径取消全局回退,解析不出仍按现口径。
B3 结果文件作业:三个调度参数互相打架 [P1]
- 每 10s claim 20 条并全部翻成 RUNNING(
TaskResultFileJobWorker.java:70-84+ yml:279local-worker-delay-ms:10000、:285batch-size:20); - 本地派发池只有 2 线程、in-flight 满 64 就直接回落在调度线程内联执行(yml:276、
TaskFileJobLocalDispatcher.java:36-37,74-78); - 卡死线 5 分钟、每 60s 扫一次(yml:280、:283)⇒ 排队超 5 分钟的 RUNNING 被翻回 PENDING,真正开跑时
activateRunningClaim的 CAS 失败,整轮白跑。 - 更实的问题:
:352-368对 PENDING 超阈值每轮retry_count++(封顶MAX_RETRY_COUNT-1=4,MAX_RETRY_COUNT=5在:29)⇒ 排队时间吃掉重试预算,作业之后只要遇到一次真实 RUNNING 超时就直接判 FAILED,拿不到设计意图里的 5 次机会。
改法:runPendingJobs 的 limit 改 min(batchSize, 本地剩余容量);PENDING 分支只补发 dispatch 事件、不递增 retry_count(TaskFileJobService.java:352-368)。
风险:47 个 @Scheduled 共用 pool-size 16(SchedulingConfig.java:31),内联回落会挤占其他定时任务;改完要回看 requeued because task lock is busy 计数有没有回升。
B4 其余四条已定位的重复读 / 串行下载 [P1-P2]
| 位置 | 问题 | 量级 | 改法 |
|---|---|---|---|
SimilarAsinResultWorkbookAssembler.java:576-595(+:646-658)、AppearancePatentTaskService.java:2466-2485 |
导出时逐分片 LIMIT 1 分页取片,且每个源文件都全量重扫 |
源文件数 × 分片数 次单行 SELECT + 载荷 GET | 一次 selectList 取回片列表,按片自带 scopeHash 过滤(外观 :517 已按 submissionId 生成) |
SimilarAsinPayloadSupport.java:210/219/238 → :244-259 |
prompt/apiKey/imgSwitch/categorySwitch 各读一次全量 parsed payload(下载+反序列化+行对象复制 2-3 份),调用点 SimilarAsinPipelineSupport.java:1018-1021 |
每轮回传 × 4-6 次全量读 | 合并成一个 readTaskSettings(task) 一次读完返回 record |
PuzzleImageMerger.java:97-106(:211-231 重试) |
一行 16 张 1688/alibaba 图仍串行下载,单张 10s(yml:363 池是 8 但这里没用) | 每行最多 16 次串行往返,最坏 320s | 复用 SimilarAsinImageEmbedder 已有的 CompletionService + downloadPool(8) + 全局 deadline 取字节,按 index 落回原顺序 |
SimilarAsinLlmService.java:201(ProductCategoryService.java:43-50 无缓存全表读)、:359 tree.formatTwoLevels() 每行重算 |
类目树每批全表 SELECT、两层清单每行重拼 | 图模式 llm-batch-size:3 ⇒ 5000 行 ≈ 1667 次全表读 |
formatTwoLevels() memoize;树按 max(id)/updated_at 做秒级 TTL |
SimilarAsinImagePrefetchService.java:319 lookupBatch(...) 已经写好但全仓无调用方,实际走 :387 lookup(url) 被 SimilarAsinResultWorkbookAssembler.java:793-810 在 URL 循环里逐条调;预热侧 PREFETCH_POOL_SIZE=2 且每 task 单 worker。属于"批量接口写了没接上"。
四、C 组:吞吐上限,先测再改
- C1 单任务实际并发 ≈ 2,而闸给到 12。 外观一轮批内:文本 10 行合 1 次调用、图片 10 行按
llm-appearance-batch-size:5分 2 块并发(AppearancePatentLlmClient.java:291-292的Semaphore(llmRowConcurrency=5)只在块数 >1 时才起作用),批与批之间串行(A1)。task-queue.max-concurrent:12(yml:314)远没用满。先做 A1,再谈抬并发——顺序反过来只会把等待搬个地方。 - C2 代理上游有没有账号级并发/RPM 上限,仍未归因。 没测之前,抬并发、补消费者、MQ 化三条路都只能算猜测(外观一批 10 行线上实测
costMs已到 214869/249250,慢在上游不在本机)。取数:同一任务把llm-row-concurrency从 5 抬到 8,观察 429/超时率与costMs分位;有 429 就说明上限在代理。 - C3 按负载选机(主机B 目前基本闲着)比 MQ 化便宜一个数量级。
owner_instance_id+aiimage.instance-routing已保证"任务在哪台就由那台跑完",只需把新任务落地机器从"客户端解析到谁"改成按在飞作业数选机,不碰批次语义。 - C4 风控降级是进程全局的:
func/amazon_base.py:163-168每页 401/403/503 都进同一个闸门,config.py:51-54(300s 窗口 / 阈值 8 / HOLD 600s)触发后把 4 槽压到 1 至少 10 分钟 ≈ 少产出 440 行(按单槽 880 行/h),且一个坏 cookie 池或一国风控会拖垮全部任务类型。改法:闸门按(task_type, country)分桶。阈值要先看线上信号频次再动,放宽等于真多烧代理费。
五、D 组:交付层低成本项
- D1 管理后台首屏比用户端大 5.2 倍。 实测产物:
admin-frontend-vue/dist/assets/index-CAmaFJ39.js1,127,603 B +index-CSE0eCeX.css383,318 B;用户端frontend-vue/new_web_source/assets/index-BwjSp_ZA.js217,568 B。根因:admin-frontend-vue/src/main.ts:3-5全量import ElementPlus+element-plus/dist/index.css,vite.config.ts:32-35的 build 块没有manualChunks。改法照用户端(frontend-vue/vite.config.ts:5-7用 ElementPlusResolver),命令式组件样式按用户端main.ts:7-8补两行。这是纯前端构建改动,风险最低、见效最快。【10-04 已落地】同树 A/B 实测入口 JS −34.7%、CSS −45.6%、dist 整树 −567,203 B;改法与护栏见 §九。只欠逐页浏览器视觉验证。落地时没照用户端的ElementPlusResolver:自动引入会把"到底注册了哪些组件"藏进构建产物,而这条的失败模式恰恰是漏注册不报错,显式注册表才能让护栏从源码推标签清单做双向比对。 - D2 轻量进度端点已就绪但只接了 5/12。
frontend-vue/src/shared/api/progress-light.ts:19-32白名单 12 个模块、endpoints.ts12 个progressLight都在;实际只有 appearancePatent / patrolDelete / queryAsin / shopDataCrawl / withdraw 五个 tab 调getModuleProgressLight。BrandSimilarAsinTab.vue:206仍传重型getSimilarAsinTaskProgressBatch(同类还有 publish / priceTrack / collectData / deleteBrand / productRisk / shopMatch)。useLiveTaskBoard.ts:430无条件调fetchProgressBatch,所以每个 tab 的收益取决于它自己传的是哪个函数——照BrandAppearancePatentTab.vue:159的beforeBatch+ 行版本门控写法迁移即可。轮询节奏:可见 10s / 隐藏 60s(task-progress-config.ts:16-17)。 - D3 后台列表拉 LONGTEXT。
modules/imagevideo/mapper/ImageVideoAdminTaskMapper.java:19列表 SELECT 了request_json/submit_response_json/result_json/video_urls_json/archived_videos_json(V71 为 LONGTEXT),但列表只用request_json里一个标量(ImageVideoAdminTaskService.java:226 modeOf),另两列只有详情:238-245用。同类:ShopDataCrawlDailyFileService.java:138-142无投影读row_payload(MEDIUMTEXT, V93)却只用于判空(ShopDataCrawlTaskService.java:849)/取 resultId(ShopDataCrawlAdminTasksService.java:96)。改法:列表用JSON_UNQUOTE(JSON_EXTRACT(...))取标量,大列留给详情查询。 - D4 任务中心看板每 30s 全量 UNION COUNT + OFFSET 分页。
TaskCenterBoardPage.vue:43,242每 30s 三接口;TaskCenterQueryService.java:137对biz_file_task ∪ brand_crawl_tasks无时间界计数、:144OFFSET 无页上限;TaskCenterQueryMapper.java:258-274的 UNION-ALL 每页被执行两遍,:220-229含 4 个相关子查询EXISTS … LIKE '%…%'。改法:总数短 TTL 缓存 +last_id游标(范式见DedupeTotalDataService.java:194-201)。 - D5 gzip 需要取证再定。 仓库里的网关模板
scripts/deploy_nginx_gateway.py:70-84只有 sendfile/tcp_nopush,全仓 grep 无gzip on;但线上真正生效的是主机B/opt/1panel/www/conf.d/api.aishufu.top.conf(不在仓库),1Panel 可能已在全局开 gzip。先curl -H 'Accept-Encoding: gzip' -sI <json接口>看有没有Content-Encoding,有就别动。 - D6 无依赖的串行 await:
BrandPriceTrackTab.vue:1652-1653、BrandProductRiskTab.vue:495-496,805-806先await loadHistory()再await loadDashboard(),两者互不依赖;GroupEditorDialog.vue:58、pages/records/history-api.ts:17用page_size=999一次拉全量用户。
六、口径已知的遗留杠杆(不是新发现,列出来免得重复讨论)
- 外观专利图片按内容寻址缓存 —— 唯一攻图片输入 token 的一条,也是合批之后剩余最大的成本杠杆,仍未做。
- ASIN 跨任务缓存命中率低的真实原因(本次查清):键设计是干净的
(country, asin)唯一键(AsinResultCacheMapper.java:49-72),TTL 按采集端真实开页时间observed_at(AsinResultCacheService.java:232)——不是键坏了。0.1% 命中来自覆盖面与截断:服务端唯一写入口在CollectDataService.java:1855且硬编码AVAILABILITY_OK(AsinResultCacheService.java:187);多选国家直接不写(CollectDataService.java:1867-1874→AsinResultCacheService.java:175-178);空价不写(:181-183);单次查询/写入各 500 行截断且不补查(:95-98、:134-137,默认值 yml:404-405);表没有保留期清理任务。要提命中率,动"多国家不写"和 500 截断这两处,别动 TTL。 FOR UPDATE SKIP LOCKED路线仍未实施。biz_file_task.result_json存明文 apiKey 的泄露面仍未处理。
七、已经排除、不必再查的
加索引方向(瓶颈是行锁与大 JSON 列);清 /app/java 的 jar 备份;缩短 DEFAULT_WAIT_MILLIS;进一步合并 LLM 调用次数 / 词典替提词 / 拼图合并 / 家族页一次取价;空价格行的 KKBrowser 兜底耗时(只占 3.3%~3.9%);结果文件作业"纯轮询驱动"(TaskFileJobDispatchCoordinator.java:25-45 有事件点火);前端 setInterval 泄漏(两侧 8 个调用点,卸载清理与模块级单例都核过);Excel 导出(写出统一 SXSSFWorkbook(200) 流式,读入已改流式);TaskObservabilityMetrics 确认未接生产(无 @Component、无生产调用方、pom 无 prometheus registry),要做告警走日志字段或补 registry。
八、建议执行顺序
- A1 + B3(外观批间重读 + 结果作业调度)——都在 jar 里,可同批发;A1 单条就能把 5000 行任务的批间空档基本抹掉。
- A2——需要一次判定口径的确认(同批同品牌共享结论),拍完就改。
- A4(18960)+ A3(采集机
更新并重启.bat,与变体攒批同一次更新)——与既欠的 18960 / 4.0.42 发版并批,不额外开窗口。 - D1(后台分包按需)——纯前端,随时可做。
- B1/B2/B4 一批发,收益是 DB 与对象存储往返,不改语义。
- C2 的归因测量与 C1/C3 的实施穿插做;不要在测出代理上限之前抬并发。
九、10-04 二轮:实做状态与实测否证
这一节是"做完之后回头量"的记录,与前八节的预估冲突时以本节为准。四条改完都在本地树,尚未部署。
D1 后台按需注册 Element Plus —— 已落地,体积差是同树 A/B 实测
改法:新增 admin-frontend-vue/src/plugins/element.ts(逐个 import El* + 按组件引
element-plus/es/components/<短名>/style/css),main.ts 改调 installElement(app),
全局中文语言包换到 App.vue 的 <el-config-provider :locale="zhCn">。
A/B 只翻 src/main.ts + src/App.vue 两个入口文件,其余文件(含同期在改的多公司那几份)
两轮完全一致,所以下面的差值可整份归给这一条。A 组跑了两次,字节与文件名哈希完全相同(可复现):
| 产物 | B 整包(HEAD) | A 按需 | 差 |
|---|---|---|---|
| 入口 JS | 1,129,783 B(gzip 376.44 kB) | 737,303 B(gzip 250.12 kB) | −34.7% |
| 入口 CSS | 383,318 B(gzip 52.89 kB) | 208,595 B(gzip 29.88 kB) | −45.6% |
| dist 整树 | 1,950,119 B | 1,382,916 B | −567,203 B(−29.1%) |
护栏:tests/perf-element-on-demand.test.ts 7 例 + tests/perf-admin-repeat-requests.test.ts 3 例,
tests/align-locale.test.ts 的落点从 main.ts 迁到 App.vue(强度不降)。清单不由人手写,
而是从 src 的 .vue 里把 el-* 标签推出来再双向比对注册表与样式导入——按需引入最坏的
失败模式是"某页面某组件没样式/渲染成裸标签",它不会让构建变红,所以护栏必须能自己发现漏项。
变异自证 9 点全杀(M1 注册表缺项、M2 漏 dialog 样式、M3 漏 message-box 样式、M4 留死条目、
M5 在页面里图省事引整包 CSS、M6 main.ts 搬回 use(ElementPlus)、M7 摘掉 :locale、
M8 让 reAnalyze 再白拉一次整集、M9 把 loadShopOptions 放回 30s 心跳),还原后 sha256 一致。
前端全量 node --test tests/*.test.ts(npm test 就是这个命令,本仓跑不了 vitest)1698 例 0 红。
仍未做:逐页浏览器视觉验证。 上面那套护栏证的是"清单齐、没有整包入口回流", 证不了"每个页面每个组件真的长对了"——这条要人在真浏览器过一遍才算收口。
顺带两条重复请求(同批改,各由上面那条护栏钉住不得回流):
DuplicateCheckPage.reAnalyze()原先await fetchDuplicateConsole(全空参数)把返回值丢掉、 紧接着loadConsole()又拉一次;console 端点纯读,那一次是白跑的整集查询 ⇒ 删掉。TaskCenterBoardPage.refreshAll()的Promise.all里无条件带loadShopOptions(), 而它是 30s 心跳走的同一个函数,店铺候选是后端SELECT DISTINCT无缓存的字典数据 ⇒ 改为silent分档,心跳不重拉。代价:新入库店铺要等下一次进页/切页签/点「刷新」才进下拉。
A2 外观品牌校验合批 —— 已落地,且把三个回退点并进了同一次批查询
BrandCheckClient新增checkTitleTexts(List<String>, strategy):一次checkWords、 整批共用一个deadlineNanos、跨行LinkedHashSet去重、结论按行归因、返回与入参同序同长。AppearancePatentLlmClient.inspectRows的形状改成"一条(row, LlmResult)队列 + 唯一出口applyLlmRowsInOneBatch":标题缺失 / 标题识别失败 / 外观识别失败三个回退点不再各自逐行发 品牌查询(回退行查的是整条原始标题,splitTitleText能切出十几个词,逐行发反而最贵), 与正常行合用同一次批查询。pending.isEmpty()的早退分支也要刷,否则回退行连结论都拿不到。 单参applyResult(row, result)重载已删(grep 零调用方 + 编译验证)。- 语义变化就是当初拍过的那条:同批同品牌共享一次结论。行数不变、LLM 请求次数不变、 代理提取次数不变 ⇒ 零成本;收益在上游劣化时把爆炸半径从"每行一个 90s 预算"收回"每批一个"。
- 护栏:
AppearancePatentBrandBatchTest3 例 +BrandCheckClientTitleBatchTest4 例,AppearancePatentLlmClientTest里原来盯逐行checkTitleText的那条改为钉批接口 (times(1)+never().checkTitleText)。断言各自守一个坑:times(1)证明合批真发生了, 而不是把逐行调用换了个名字;两行结论不同证明批内归因停在行,别行的侵权词没渗进干净行。 变异 6/6 全杀。后端全量套件 Tests run: 3631, Failures: 0, Errors: 0(Skipped 7)BUILD SUCCESS。
实测否证:四条不要照本文的预估动手
- #7 货源结果分片投影:实测 ≈0.13 ms/任务,不改。
- #8 stale-check 八段全列扫加
.select()投影:生产实跑一轮s=0(扫描 0 行)、 整轮 29–33 ms;库里status='RUNNING'只有 41 行、几张大列均宽 244–525 B ⇒ 整轮读回来的上界 ~31.7 KB。投影在"几乎读不到行"的热路径上没有可省的字节,不改。 - B1 的因果判断订正:本文 B1 说"心跳每 60 秒整行读才是真伤口",这条不成立。
实测 MB 级的那批
result_json宽度属于终态历史行,而心跳/stale 的读取集合是status='RUNNING'(41 行 × 均宽 244–525 B ⇒ 上界 31.7 KB)。B1 剩下的真价值在 "全实体writeValueAsString进 Redis"那一半,不在整行读这一半。 - #10 桌面跟价流水化:主机B 的 live 路径是
/opt/maixiang/maixiang_run_task的单线程 HTTP worker(pt_worker未运行),消费速率 <1 s/条、40–88 条/分;用户感知的等待主要来自 客户端 3 s 轮询粒度与共享队列,不是本机串行。并发提交只会把等待从"执行"搬进"排队", 并且多条共用同一把代理租约 IP ⇒ 有增加提取次数的风险。不做。
本轮新发现、尚未处理
- 主机B
/opt/maixiang/maixiang_run_task/logs/price-track-run.log逐条打印 jikip 提取 URL (含 key),约 53 MB/日 ⇒ 同时是凭据落盘面和日志体积问题,待决定是否加日志脱敏。 - 待定档:跟价客户端首段轮询 3 s → 0.5 s(零成本,但属客户端默认值改动且要出包,不擅自改)。