From 468fd353f3793b76c4f63211f55d060e087aa8ce Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Sun, 4 Oct 2026 18:38:35 +0800 Subject: [PATCH] =?UTF-8?q?docs(=E6=80=A7=E8=83=BD):=20=C2=A7=E4=B9=9D=20?= =?UTF-8?q?=E8=AE=B0=2010-04=20=E4=BA=8C=E8=BD=AE=E5=AE=9E=E5=81=9A?= =?UTF-8?q?=E7=8A=B6=E6=80=81=EF=BC=8C=E5=B9=B6=E5=90=A6=E8=AF=81=E5=9B=9B?= =?UTF-8?q?=E6=9D=A1=E9=A2=84=E4=BC=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 新增一节"做完之后回头量",与前八节的预估冲突时以它为准: - D1/A2 的落地形状、同树 A/B 实测体积、护栏例数与变异结果、以及"只欠浏览器视觉验证"; - 否证四条:货源分片投影 ≈0.13ms/任务、stale-check 八段投影(实跑 s=0、整轮 29–33ms、 RUNNING 仅 41 行 × 均宽 244–525B ⇒ 上界 31.7KB)、桌面跟价流水化(单线程 worker <1s/条,等待在轮询粒度与共享队列,并发提交还会共用同一把代理租约); - 订正 B1 的因果:MB 级 result_json 全在终态历史行,心跳读的是 RUNNING 集合, "整行读才是伤口"不成立,剩下值得动的只有全实体序列化进 Redis 那一半; - 记一条未处理的新发现:主机B price-track-run.log 逐条打印含 key 的 jikip 提取 URL (≈53MB/日),同时是凭据落盘面和日志体积。 D1/B1 两处原文就地加了指向 §九 的标记,免得下一个人照旧预估动手。 --- docs/ops/perf-review-2026-10-02.md | 82 +++++++++++++++++++++++++++++- 1 file changed, 81 insertions(+), 1 deletion(-) diff --git a/docs/ops/perf-review-2026-10-02.md b/docs/ops/perf-review-2026-10-02.md index 46f416b3c..3f2226b98 100644 --- a/docs/ops/perf-review-2026-10-02.md +++ b/docs/ops/perf-review-2026-10-02.md @@ -71,6 +71,7 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全 **改法**:`applyResult` 拆两段——先收齐全批 keywords,`distinct` 后一次 `checkAll`,再按行取结论;缓存口径照抄 `CollectDataBrandBatchFilter.checkAndCache`。**不要新建类**,把该过滤器提到可被外观复用的位置即可。 **风险(必须拍)**:合并后同品牌在同批内共享一次结论。上游抖动时「第 1 行 OK、第 2 行 QUERY_FAILED」会变成两行同结论 → **判定集合可能变化**,属于本项目在意的静默错判族(参见外观 id 塌陷那次)。行数不变、LLM 输出不变。 +`【10-04 已落地】`没走 `CollectDataBrandBatchFilter` 复用那条路,改为 `BrandCheckClient.checkTitleTexts(List, strategy)`;实际改动比本文预估的大一圈——三个**回退点**原先也在逐行发查询,现已并入同一次批查询。落地形状、护栏与变异见 §九。未部署。 ### A3 货源采集链:套用变体链已上线的攒批 `[P0]` @@ -106,6 +107,7 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全 **改法**:`selectFileTask` 加 `.select(id, status, moduleType, userId, updatedAt)`;新增轻字段版缓存写入(或让心跳只写进度键,任务实体交给状态变更点)。 **风险**:PriceTrack 的 `loadTaskForExecution` 依赖缓存行里的 `requestJson` 非空(`TaskFinalizeSupport.java:32-33` 已注明),必须保留 DB 兜底路径。 `【待测】result_json 字节分布`:`SELECT id, LENGTH(result_json) FROM biz_file_task WHERE module_type IN ('QUERY_ASIN','PATROL_DELETE','SHOP_DATA_CRAWL') ORDER BY 2 DESC LIMIT 20;` —— 决定这一条值不值得动。 +`【10-04 已测,判断作废一半】`生产库里 MB 级的 `result_json` 全在**终态历史行**,而心跳/stale 读的是 `status='RUNNING'`(41 行、几张大列均宽 244–525 B ⇒ 整轮上界 ~31.7 KB)。所以"整行读"不是这条的伤口,剩下值得动的只有"全实体序列化进 Redis"那一半,详见 §九。 ### B2 载荷物理删除每次跑两条无 task_id 的 JSON 全表 COUNT `[P1]` @@ -150,7 +152,7 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全 ## 五、D 组:交付层低成本项 -- **D1 管理后台首屏比用户端大 5.2 倍。** 实测产物:`admin-frontend-vue/dist/assets/index-CAmaFJ39.js` **1,127,603 B** + `index-CSE0eCeX.css` 383,318 B;用户端 `frontend-vue/new_web_source/assets/index-BwjSp_ZA.js` 217,568 B。根因:`admin-frontend-vue/src/main.ts:3-5` 全量 `import ElementPlus` + `element-plus/dist/index.css`,`vite.config.ts:32-35` 的 build 块没有 `manualChunks`。改法照用户端(`frontend-vue/vite.config.ts:5-7` 用 ElementPlusResolver),命令式组件样式按用户端 `main.ts:7-8` 补两行。**这是纯前端构建改动,风险最低、见效最快。** +- **D1 管理后台首屏比用户端大 5.2 倍。** 实测产物:`admin-frontend-vue/dist/assets/index-CAmaFJ39.js` **1,127,603 B** + `index-CSE0eCeX.css` 383,318 B;用户端 `frontend-vue/new_web_source/assets/index-BwjSp_ZA.js` 217,568 B。根因:`admin-frontend-vue/src/main.ts:3-5` 全量 `import ElementPlus` + `element-plus/dist/index.css`,`vite.config.ts:32-35` 的 build 块没有 `manualChunks`。改法照用户端(`frontend-vue/vite.config.ts:5-7` 用 ElementPlusResolver),命令式组件样式按用户端 `main.ts:7-8` 补两行。**这是纯前端构建改动,风险最低、见效最快。** `【10-04 已落地】`同树 A/B 实测入口 JS −34.7%、CSS −45.6%、dist 整树 −567,203 B;改法与护栏见 §九。只欠逐页浏览器视觉验证。**落地时没照用户端的 `ElementPlusResolver`**:自动引入会把"到底注册了哪些组件"藏进构建产物,而这条的失败模式恰恰是漏注册不报错,显式注册表才能让护栏从源码推标签清单做双向比对。 - **D2 轻量进度端点已就绪但只接了 5/12。** `frontend-vue/src/shared/api/progress-light.ts:19-32` 白名单 12 个模块、`endpoints.ts` 12 个 `progressLight` 都在;实际只有 appearancePatent / patrolDelete / queryAsin / shopDataCrawl / withdraw 五个 tab 调 `getModuleProgressLight`。`BrandSimilarAsinTab.vue:206` 仍传重型 `getSimilarAsinTaskProgressBatch`(同类还有 publish / priceTrack / collectData / deleteBrand / productRisk / shopMatch)。`useLiveTaskBoard.ts:430` 无条件调 `fetchProgressBatch`,所以每个 tab 的收益取决于它自己传的是哪个函数——照 `BrandAppearancePatentTab.vue:159` 的 `beforeBatch` + 行版本门控写法迁移即可。轮询节奏:可见 10s / 隐藏 60s(`task-progress-config.ts:16-17`)。 - **D3 后台列表拉 LONGTEXT。** `modules/imagevideo/mapper/ImageVideoAdminTaskMapper.java:19` 列表 SELECT 了 `request_json/submit_response_json/result_json/video_urls_json/archived_videos_json`(V71 为 LONGTEXT),但列表只用 `request_json` 里一个标量(`ImageVideoAdminTaskService.java:226 modeOf`),另两列只有详情 `:238-245` 用。同类:`ShopDataCrawlDailyFileService.java:138-142` 无投影读 `row_payload`(MEDIUMTEXT, V93)却只用于判空(`ShopDataCrawlTaskService.java:849`)/取 resultId(`ShopDataCrawlAdminTasksService.java:96`)。改法:列表用 `JSON_UNQUOTE(JSON_EXTRACT(...))` 取标量,大列留给详情查询。 - **D4 任务中心看板每 30s 全量 UNION COUNT + OFFSET 分页。** `TaskCenterBoardPage.vue:43,242` 每 30s 三接口;`TaskCenterQueryService.java:137` 对 `biz_file_task ∪ brand_crawl_tasks` 无时间界计数、`:144` OFFSET 无页上限;`TaskCenterQueryMapper.java:258-274` 的 UNION-ALL 每页被执行两遍,`:220-229` 含 4 个相关子查询 `EXISTS … LIKE '%…%'`。改法:总数短 TTL 缓存 + `last_id` 游标(范式见 `DedupeTotalDataService.java:194-201`)。 @@ -178,3 +180,81 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全 4. **D1**(后台分包按需)——纯前端,随时可做。 5. **B1/B2/B4** 一批发,收益是 DB 与对象存储往返,不改语义。 6. **C2 的归因测量**与 C1/C3 的实施穿插做;不要在测出代理上限之前抬并发。 + +--- + +## 九、10-04 二轮:实做状态与实测否证 + +这一节是"做完之后回头量"的记录,与前八节的**预估**冲突时以本节为准。四条改完都在本地树,**尚未部署**。 + +### D1 后台按需注册 Element Plus —— 已落地,体积差是同树 A/B 实测 + +改法:新增 `admin-frontend-vue/src/plugins/element.ts`(逐个 `import El*` + 按组件引 +`element-plus/es/components/<短名>/style/css`),`main.ts` 改调 `installElement(app)`, +全局中文语言包换到 `App.vue` 的 ``。 + +**A/B 只翻 `src/main.ts` + `src/App.vue` 两个入口文件**,其余文件(含同期在改的多公司那几份) +两轮完全一致,所以下面的差值可整份归给这一条。A 组跑了两次,字节与文件名哈希完全相同(可复现): + +| 产物 | B 整包(HEAD) | A 按需 | 差 | +| --- | --- | --- | --- | +| 入口 JS | 1,129,783 B(gzip 376.44 kB) | 737,303 B(gzip 250.12 kB) | **−34.7%** | +| 入口 CSS | 383,318 B(gzip 52.89 kB) | 208,595 B(gzip 29.88 kB) | **−45.6%** | +| dist 整树 | 1,950,119 B | 1,382,916 B | **−567,203 B(−29.1%)** | + +护栏:`tests/perf-element-on-demand.test.ts` 7 例 + `tests/perf-admin-repeat-requests.test.ts` 3 例, +`tests/align-locale.test.ts` 的落点从 main.ts 迁到 App.vue(强度不降)。清单不由人手写, +而是**从 src 的 `.vue` 里把 `el-*` 标签推出来再双向比对注册表与样式导入**——按需引入最坏的 +失败模式是"某页面某组件没样式/渲染成裸标签",它不会让构建变红,所以护栏必须能自己发现漏项。 +变异自证 9 点全杀(M1 注册表缺项、M2 漏 dialog 样式、M3 漏 message-box 样式、M4 留死条目、 +M5 在页面里图省事引整包 CSS、M6 main.ts 搬回 `use(ElementPlus)`、M7 摘掉 `:locale`、 +M8 让 `reAnalyze` 再白拉一次整集、M9 把 `loadShopOptions` 放回 30s 心跳),还原后 sha256 一致。 +前端全量 `node --test tests/*.test.ts`(`npm test` 就是这个命令,本仓跑不了 vitest)**1698 例 0 红**。 + +**仍未做:逐页浏览器视觉验证。** 上面那套护栏证的是"清单齐、没有整包入口回流", +证不了"每个页面每个组件真的长对了"——这条要人在真浏览器过一遍才算收口。 + +顺带两条重复请求(同批改,各由上面那条护栏钉住不得回流): +- `DuplicateCheckPage.reAnalyze()` 原先 `await fetchDuplicateConsole(全空参数)` 把返回值丢掉、 + 紧接着 `loadConsole()` 又拉一次;console 端点纯读,那一次是白跑的整集查询 ⇒ 删掉。 +- `TaskCenterBoardPage.refreshAll()` 的 `Promise.all` 里无条件带 `loadShopOptions()`, + 而它是 30s 心跳走的同一个函数,店铺候选是后端 `SELECT DISTINCT` 无缓存的字典数据 + ⇒ 改为 `silent` 分档,心跳不重拉。代价:新入库店铺要等下一次进页/切页签/点「刷新」才进下拉。 + +### A2 外观品牌校验合批 —— 已落地,且把三个回退点并进了同一次批查询 + +- `BrandCheckClient` 新增 `checkTitleTexts(List, strategy)`:一次 `checkWords`、 + **整批共用一个 `deadlineNanos`**、跨行 `LinkedHashSet` 去重、结论按行归因、返回与入参同序同长。 +- `AppearancePatentLlmClient.inspectRows` 的形状改成"一条 `(row, LlmResult)` 队列 + 唯一出口 + `applyLlmRowsInOneBatch`":标题缺失 / 标题识别失败 / 外观识别失败**三个回退点不再各自逐行发 + 品牌查询**(回退行查的是整条原始标题,`splitTitleText` 能切出十几个词,逐行发反而最贵), + 与正常行合用同一次批查询。`pending.isEmpty()` 的早退分支也要刷,否则回退行连结论都拿不到。 + 单参 `applyResult(row, result)` 重载已删(grep 零调用方 + 编译验证)。 +- 语义变化就是当初拍过的那条:同批同品牌共享一次结论。**行数不变、LLM 请求次数不变、 + 代理提取次数不变** ⇒ 零成本;收益在上游劣化时把爆炸半径从"每行一个 90s 预算"收回"每批一个"。 +- 护栏:`AppearancePatentBrandBatchTest` 3 例 + `BrandCheckClientTitleBatchTest` 4 例, + `AppearancePatentLlmClientTest` 里原来盯逐行 `checkTitleText` 的那条改为钉批接口 + (`times(1)` + `never().checkTitleText`)。断言各自守一个坑:`times(1)` 证明合批真发生了, + 而不是把逐行调用换了个名字;两行结论不同证明批内归因停在行,别行的侵权词没渗进干净行。 + 变异 6/6 全杀。后端全量套件 **Tests run: 3631, Failures: 0, Errors: 0**(Skipped 7)BUILD SUCCESS。 + +### 实测否证:四条不要照本文的预估动手 + +- **#7 货源结果分片投影**:实测 ≈**0.13 ms/任务**,不改。 +- **#8 stale-check 八段全列扫加 `.select()` 投影**:生产实跑一轮 `s=0`(扫描 0 行)、 + 整轮 29–33 ms;库里 `status='RUNNING'` 只有 **41 行**、几张大列均宽 **244–525 B** + ⇒ 整轮读回来的上界 ~31.7 KB。投影在"几乎读不到行"的热路径上没有可省的字节,不改。 +- **B1 的因果判断订正**:本文 B1 说"心跳每 60 秒整行读才是真伤口",**这条不成立**。 + 实测 MB 级的那批 `result_json` 宽度属于**终态历史行**,而心跳/stale 的读取集合是 + `status='RUNNING'`(41 行 × 均宽 244–525 B ⇒ 上界 31.7 KB)。B1 剩下的真价值在 + "全实体 `writeValueAsString` 进 Redis"那一半,不在整行读这一半。 +- **#10 桌面跟价流水化**:主机B 的 live 路径是 `/opt/maixiang/maixiang_run_task` 的**单线程 + HTTP worker**(`pt_worker` 未运行),消费速率 <1 s/条、40–88 条/分;用户感知的等待主要来自 + 客户端 **3 s 轮询粒度**与共享队列,不是本机串行。并发提交只会把等待从"执行"搬进"排队", + 并且多条共用同一把代理租约 IP ⇒ 有增加提取次数的风险。**不做。** + +### 本轮新发现、尚未处理 + +- 主机B `/opt/maixiang/maixiang_run_task/logs/price-track-run.log` **逐条打印 jikip 提取 URL + (含 key)**,约 53 MB/日 ⇒ 同时是凭据落盘面和日志体积问题,待决定是否加日志脱敏。 +- 待定档:跟价客户端首段轮询 3 s → 0.5 s(零成本,但属客户端默认值改动且要出包,不擅自改)。