docs(性能): §九 记 10-04 二轮实做状态,并否证四条预估

新增一节"做完之后回头量",与前八节的预估冲突时以它为准:
- D1/A2 的落地形状、同树 A/B 实测体积、护栏例数与变异结果、以及"只欠浏览器视觉验证";
- 否证四条:货源分片投影 ≈0.13ms/任务、stale-check 八段投影(实跑 s=0、整轮 29–33ms、
  RUNNING 仅 41 行 × 均宽 244–525B ⇒ 上界 31.7KB)、桌面跟价流水化(单线程 worker
  <1s/条,等待在轮询粒度与共享队列,并发提交还会共用同一把代理租约);
- 订正 B1 的因果:MB 级 result_json 全在终态历史行,心跳读的是 RUNNING 集合,
  "整行读才是伤口"不成立,剩下值得动的只有全实体序列化进 Redis 那一半;
- 记一条未处理的新发现:主机B price-track-run.log 逐条打印含 key 的 jikip 提取 URL
  (≈53MB/日),同时是凭据落盘面和日志体积。

D1/B1 两处原文就地加了指向 §九 的标记,免得下一个人照旧预估动手。
This commit is contained in:
2026-10-04 18:38:35 +08:00
parent 3432232ee1
commit 468fd353f3
+81 -1
View File
@@ -71,6 +71,7 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全
**改法**:`applyResult` 拆两段——先收齐全批 keywords,`distinct` 后一次 `checkAll`,再按行取结论;缓存口径照抄 `CollectDataBrandBatchFilter.checkAndCache`。**不要新建类**,把该过滤器提到可被外观复用的位置即可。
**风险(必须拍)**:合并后同品牌在同批内共享一次结论。上游抖动时「第 1 行 OK、第 2 行 QUERY_FAILED」会变成两行同结论 → **判定集合可能变化**,属于本项目在意的静默错判族(参见外观 id 塌陷那次)。行数不变、LLM 输出不变。
`【10-04 已落地】`没走 `CollectDataBrandBatchFilter` 复用那条路,改为 `BrandCheckClient.checkTitleTexts(List, strategy)`;实际改动比本文预估的大一圈——三个**回退点**原先也在逐行发查询,现已并入同一次批查询。落地形状、护栏与变异见 §九。未部署。
### A3 货源采集链:套用变体链已上线的攒批 `[P0]`
@@ -106,6 +107,7 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全
**改法**:`selectFileTask` 加 `.select(id, status, moduleType, userId, updatedAt)`;新增轻字段版缓存写入(或让心跳只写进度键,任务实体交给状态变更点)。
**风险**:PriceTrack 的 `loadTaskForExecution` 依赖缓存行里的 `requestJson` 非空(`TaskFinalizeSupport.java:32-33` 已注明),必须保留 DB 兜底路径。
`【待测】result_json 字节分布`:`SELECT id, LENGTH(result_json) FROM biz_file_task WHERE module_type IN ('QUERY_ASIN','PATROL_DELETE','SHOP_DATA_CRAWL') ORDER BY 2 DESC LIMIT 20;` —— 决定这一条值不值得动。
`【10-04 已测,判断作废一半】`生产库里 MB 级的 `result_json` 全在**终态历史行**,而心跳/stale 读的是 `status='RUNNING'`(41 行、几张大列均宽 244–525 B ⇒ 整轮上界 ~31.7 KB)。所以"整行读"不是这条的伤口,剩下值得动的只有"全实体序列化进 Redis"那一半,详见 §九。
### B2 载荷物理删除每次跑两条无 task_id 的 JSON 全表 COUNT `[P1]`
@@ -150,7 +152,7 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全
## 五、D 组:交付层低成本项
- **D1 管理后台首屏比用户端大 5.2 倍。** 实测产物:`admin-frontend-vue/dist/assets/index-CAmaFJ39.js` **1,127,603 B** + `index-CSE0eCeX.css` 383,318 B;用户端 `frontend-vue/new_web_source/assets/index-BwjSp_ZA.js` 217,568 B。根因:`admin-frontend-vue/src/main.ts:3-5` 全量 `import ElementPlus` + `element-plus/dist/index.css`,`vite.config.ts:32-35` 的 build 块没有 `manualChunks`。改法照用户端(`frontend-vue/vite.config.ts:5-7` 用 ElementPlusResolver),命令式组件样式按用户端 `main.ts:7-8` 补两行。**这是纯前端构建改动,风险最低、见效最快。**
- **D1 管理后台首屏比用户端大 5.2 倍。** 实测产物:`admin-frontend-vue/dist/assets/index-CAmaFJ39.js` **1,127,603 B** + `index-CSE0eCeX.css` 383,318 B;用户端 `frontend-vue/new_web_source/assets/index-BwjSp_ZA.js` 217,568 B。根因:`admin-frontend-vue/src/main.ts:3-5` 全量 `import ElementPlus` + `element-plus/dist/index.css`,`vite.config.ts:32-35` 的 build 块没有 `manualChunks`。改法照用户端(`frontend-vue/vite.config.ts:5-7` 用 ElementPlusResolver),命令式组件样式按用户端 `main.ts:7-8` 补两行。**这是纯前端构建改动,风险最低、见效最快。** `【10-04 已落地】`同树 A/B 实测入口 JS −34.7%、CSS −45.6%、dist 整树 −567,203 B;改法与护栏见 §九。只欠逐页浏览器视觉验证。**落地时没照用户端的 `ElementPlusResolver`**:自动引入会把"到底注册了哪些组件"藏进构建产物,而这条的失败模式恰恰是漏注册不报错,显式注册表才能让护栏从源码推标签清单做双向比对。
- **D2 轻量进度端点已就绪但只接了 5/12。** `frontend-vue/src/shared/api/progress-light.ts:19-32` 白名单 12 个模块、`endpoints.ts` 12 个 `progressLight` 都在;实际只有 appearancePatent / patrolDelete / queryAsin / shopDataCrawl / withdraw 五个 tab 调 `getModuleProgressLight`。`BrandSimilarAsinTab.vue:206` 仍传重型 `getSimilarAsinTaskProgressBatch`(同类还有 publish / priceTrack / collectData / deleteBrand / productRisk / shopMatch)。`useLiveTaskBoard.ts:430` 无条件调 `fetchProgressBatch`,所以每个 tab 的收益取决于它自己传的是哪个函数——照 `BrandAppearancePatentTab.vue:159` 的 `beforeBatch` + 行版本门控写法迁移即可。轮询节奏:可见 10s / 隐藏 60s(`task-progress-config.ts:16-17`)。
- **D3 后台列表拉 LONGTEXT。** `modules/imagevideo/mapper/ImageVideoAdminTaskMapper.java:19` 列表 SELECT 了 `request_json/submit_response_json/result_json/video_urls_json/archived_videos_json`(V71 为 LONGTEXT),但列表只用 `request_json` 里一个标量(`ImageVideoAdminTaskService.java:226 modeOf`),另两列只有详情 `:238-245` 用。同类:`ShopDataCrawlDailyFileService.java:138-142` 无投影读 `row_payload`(MEDIUMTEXT, V93)却只用于判空(`ShopDataCrawlTaskService.java:849`)/取 resultId(`ShopDataCrawlAdminTasksService.java:96`)。改法:列表用 `JSON_UNQUOTE(JSON_EXTRACT(...))` 取标量,大列留给详情查询。
- **D4 任务中心看板每 30s 全量 UNION COUNT + OFFSET 分页。** `TaskCenterBoardPage.vue:43,242` 每 30s 三接口;`TaskCenterQueryService.java:137` 对 `biz_file_task ∪ brand_crawl_tasks` 无时间界计数、`:144` OFFSET 无页上限;`TaskCenterQueryMapper.java:258-274` 的 UNION-ALL 每页被执行两遍,`:220-229` 含 4 个相关子查询 `EXISTS … LIKE '%…%'`。改法:总数短 TTL 缓存 + `last_id` 游标(范式见 `DedupeTotalDataService.java:194-201`)。
@@ -178,3 +180,81 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全
4. **D1**(后台分包按需)——纯前端,随时可做。
5. **B1/B2/B4** 一批发,收益是 DB 与对象存储往返,不改语义。
6. **C2 的归因测量**与 C1/C3 的实施穿插做;不要在测出代理上限之前抬并发。
---
## 九、10-04 二轮:实做状态与实测否证
这一节是"做完之后回头量"的记录,与前八节的**预估**冲突时以本节为准。四条改完都在本地树,**尚未部署**。
### D1 后台按需注册 Element Plus —— 已落地,体积差是同树 A/B 实测
改法:新增 `admin-frontend-vue/src/plugins/element.ts`(逐个 `import El*` + 按组件引
`element-plus/es/components/<短名>/style/css`),`main.ts` 改调 `installElement(app)`,
全局中文语言包换到 `App.vue` 的 `<el-config-provider :locale="zhCn">`。
**A/B 只翻 `src/main.ts` + `src/App.vue` 两个入口文件**,其余文件(含同期在改的多公司那几份)
两轮完全一致,所以下面的差值可整份归给这一条。A 组跑了两次,字节与文件名哈希完全相同(可复现):
| 产物 | B 整包(HEAD) | A 按需 | 差 |
| --- | --- | --- | --- |
| 入口 JS | 1,129,783 B(gzip 376.44 kB) | 737,303 B(gzip 250.12 kB) | **−34.7%** |
| 入口 CSS | 383,318 B(gzip 52.89 kB) | 208,595 B(gzip 29.88 kB) | **−45.6%** |
| dist 整树 | 1,950,119 B | 1,382,916 B | **−567,203 B(−29.1%)** |
护栏:`tests/perf-element-on-demand.test.ts` 7 例 + `tests/perf-admin-repeat-requests.test.ts` 3 例,
`tests/align-locale.test.ts` 的落点从 main.ts 迁到 App.vue(强度不降)。清单不由人手写,
而是**从 src 的 `.vue` 里把 `el-*` 标签推出来再双向比对注册表与样式导入**——按需引入最坏的
失败模式是"某页面某组件没样式/渲染成裸标签",它不会让构建变红,所以护栏必须能自己发现漏项。
变异自证 9 点全杀(M1 注册表缺项、M2 漏 dialog 样式、M3 漏 message-box 样式、M4 留死条目、
M5 在页面里图省事引整包 CSS、M6 main.ts 搬回 `use(ElementPlus)`、M7 摘掉 `:locale`、
M8 让 `reAnalyze` 再白拉一次整集、M9 把 `loadShopOptions` 放回 30s 心跳),还原后 sha256 一致。
前端全量 `node --test tests/*.test.ts`(`npm test` 就是这个命令,本仓跑不了 vitest)**1698 例 0 红**。
**仍未做:逐页浏览器视觉验证。** 上面那套护栏证的是"清单齐、没有整包入口回流",
证不了"每个页面每个组件真的长对了"——这条要人在真浏览器过一遍才算收口。
顺带两条重复请求(同批改,各由上面那条护栏钉住不得回流):
- `DuplicateCheckPage.reAnalyze()` 原先 `await fetchDuplicateConsole(全空参数)` 把返回值丢掉、
紧接着 `loadConsole()` 又拉一次;console 端点纯读,那一次是白跑的整集查询 ⇒ 删掉。
- `TaskCenterBoardPage.refreshAll()` 的 `Promise.all` 里无条件带 `loadShopOptions()`,
而它是 30s 心跳走的同一个函数,店铺候选是后端 `SELECT DISTINCT` 无缓存的字典数据
⇒ 改为 `silent` 分档,心跳不重拉。代价:新入库店铺要等下一次进页/切页签/点「刷新」才进下拉。
### A2 外观品牌校验合批 —— 已落地,且把三个回退点并进了同一次批查询
- `BrandCheckClient` 新增 `checkTitleTexts(List<String>, strategy)`:一次 `checkWords`、
**整批共用一个 `deadlineNanos`**、跨行 `LinkedHashSet` 去重、结论按行归因、返回与入参同序同长。
- `AppearancePatentLlmClient.inspectRows` 的形状改成"一条 `(row, LlmResult)` 队列 + 唯一出口
`applyLlmRowsInOneBatch`":标题缺失 / 标题识别失败 / 外观识别失败**三个回退点不再各自逐行发
品牌查询**(回退行查的是整条原始标题,`splitTitleText` 能切出十几个词,逐行发反而最贵),
与正常行合用同一次批查询。`pending.isEmpty()` 的早退分支也要刷,否则回退行连结论都拿不到。
单参 `applyResult(row, result)` 重载已删(grep 零调用方 + 编译验证)。
- 语义变化就是当初拍过的那条:同批同品牌共享一次结论。**行数不变、LLM 请求次数不变、
代理提取次数不变** ⇒ 零成本;收益在上游劣化时把爆炸半径从"每行一个 90s 预算"收回"每批一个"。
- 护栏:`AppearancePatentBrandBatchTest` 3 例 + `BrandCheckClientTitleBatchTest` 4 例,
`AppearancePatentLlmClientTest` 里原来盯逐行 `checkTitleText` 的那条改为钉批接口
(`times(1)` + `never().checkTitleText`)。断言各自守一个坑:`times(1)` 证明合批真发生了,
而不是把逐行调用换了个名字;两行结论不同证明批内归因停在行,别行的侵权词没渗进干净行。
变异 6/6 全杀。后端全量套件 **Tests run: 3631, Failures: 0, Errors: 0**(Skipped 7)BUILD SUCCESS。
### 实测否证:四条不要照本文的预估动手
- **#7 货源结果分片投影**:实测 ≈**0.13 ms/任务**,不改。
- **#8 stale-check 八段全列扫加 `.select()` 投影**:生产实跑一轮 `s=0`(扫描 0 行)、
整轮 29–33 ms;库里 `status='RUNNING'` 只有 **41 行**、几张大列均宽 **244–525 B**
⇒ 整轮读回来的上界 ~31.7 KB。投影在"几乎读不到行"的热路径上没有可省的字节,不改。
- **B1 的因果判断订正**:本文 B1 说"心跳每 60 秒整行读才是真伤口",**这条不成立**。
实测 MB 级的那批 `result_json` 宽度属于**终态历史行**,而心跳/stale 的读取集合是
`status='RUNNING'`(41 行 × 均宽 244–525 B ⇒ 上界 31.7 KB)。B1 剩下的真价值在
"全实体 `writeValueAsString` 进 Redis"那一半,不在整行读这一半。
- **#10 桌面跟价流水化**:主机B 的 live 路径是 `/opt/maixiang/maixiang_run_task` 的**单线程
HTTP worker**(`pt_worker` 未运行),消费速率 <1 s/条、40–88 条/分;用户感知的等待主要来自
客户端 **3 s 轮询粒度**与共享队列,不是本机串行。并发提交只会把等待从"执行"搬进"排队",
并且多条共用同一把代理租约 IP ⇒ 有增加提取次数的风险。**不做。**
### 本轮新发现、尚未处理
- 主机B `/opt/maixiang/maixiang_run_task/logs/price-track-run.log` **逐条打印 jikip 提取 URL
(含 key)**,约 53 MB/日 ⇒ 同时是凭据落盘面和日志体积问题,待决定是否加日志脱敏。
- 待定档:跟价客户端首段轮询 3 s → 0.5 s(零成本,但属客户端默认值改动且要出包,不擅自改)。