feat(phase-5): B60 console 分页与矩阵预聚合+P1-B5/6/7/8 性能热点收口
接管另一路会话的 Phase 5 在飞件收口(5A/5C 主体由那一路落码,本笔补齐 P1-B7 与两处台账并整量验证)。 - 5A/B60:撞款 console 的行窗口在服务端真分页(响应 dup 行数 ≤ pageSize,total_dup 仍是未分页 总数)、dupGroup 判据收归服务端单一出处(前端 dupWithinGroup 删掉,两套同名规则不再分叉)、 排序先于切窗;后管矩阵改预聚合+列窗 40。读数(200 列 × 50 行):每行 3 店 8.4 → 5.3 → 0.7ms (12.4×),每行 40 店 83.7 → 18.4 → 1.8ms(45.3×)。服务端不设列窗是判断不是漏做:shops 每行 只有 5 个标量,而矩阵的列来自已分页的行——给 shops 再加分页会把"全局指标读全集"和"列窗读本页" 两套语义搅在一起。浏览器首屏/交互耗时本机拿不到,登记为 Phase 6 现网复量。 - P1-B6:claim 循环的父任务终态判定折成一次批量 IN(TaskFileJobBatchQueries+Mapper XML, 铁律 1 收口在 Mapper),逐行 CAS 认领一字不动。 - P1-B5:V187 只建 idx_biz_file_task_resume_of;审计给的候选集索引**有意不建**(V184 前缀已覆盖, OR/IS-NULL 与 COALESCE 不可索引),判据把这条负判定钉住。真库 EXPLAIN 本机无 MySQL,顺延现网。 - P1-B8:结果载荷的对象存储删除移到 afterCommit,事务里不再做 120s 超时的网络调用。 - P1-B7:结果集读取按窗提交+收割(窗口=线程池队列容量的一半)。审计把它记成"无 limit",但截断 是正确性错误不是性能取舍,真能收的是"整份结果集被读两遍"——一次性提交时每支 Future 把解好的 载荷扣在自己身上直到全部收割完,峰值=结果集+另一份整副本;分窗后副本只驻留一窗。流式组装 契约要改 4 个模块的调用方,本 Phase 未做,别读成 P1-B7 已闭环。 - SourceScanTest 台账随之登记:裸名 25 → 26、调用方 18 → 19(P1-B7 的窗口判据只能打在源码上—— 线程池只有 8 个线程,"同时开始读几行"改前改后读数相同,差异只体现在堆上,mock 数不出来)。
This commit is contained in:
@@ -0,0 +1,41 @@
|
||||
-- V187: 自动续跑反查「是否已有重试子任务」的缺失索引(Phase 5 / 审计 P1-B5)
|
||||
--
|
||||
-- 病灶:TaskResumeService 每天真在跑的两条谓词,一条都没有索引可用——
|
||||
-- 1) `WHERE resume_of_task_id = ?`(hasRetryChild,原判「这单已经重试过了」)
|
||||
-- V129 只加了 resume_of_task_id / resume_attempt 两列(:26、:38),**一支索引都没配**,
|
||||
-- 于是巡检每轮对每个候选单各做一次全表扫;500 个候选=500 次全表扫,
|
||||
-- 而这张表是 biz_file_task(现网十万级行)。
|
||||
-- 2) `WHERE resume_of_task_id IS NOT NULL AND status IN (活态)`(stopDuplicateChildren 幂等清账)
|
||||
-- 同一列的另一条谓词,同样裸扫。
|
||||
-- 两条共用一条 `(resume_of_task_id)` 即可:InnoDB 的二级索引带主键尾巴,IS NOT NULL 那支
|
||||
-- 也能走索引范围扫(不是全表)。
|
||||
--
|
||||
-- 有意**不加**的另一支(审计建议的 `(status, module_type, resume_attempt, updated_at)`):
|
||||
-- 候选集那条查询的等值前缀 (status, module_type) 已由 V184 的
|
||||
-- idx_biz_file_task_status_module_created 覆盖;`resume_attempt IS NULL OR resume_attempt < n`
|
||||
-- 是 OR/IS-NULL 残差谓词(不吃索引,只能当过滤条件),`COALESCE(finished_at, updated_at) >= ?`
|
||||
-- 是表达式谓词(同样不吃索引,见 V184 头注释对 collect_channel 的同一口径)。
|
||||
-- 再建一条同前缀索引=只写不读、白白摊在每次 INSERT/UPDATE 上——与 V186「别让一条推测性
|
||||
-- 索引进基线」同判。真库 EXPLAIN 若显示候选集这一支仍需回表扫太多行,抬时间列入索引
|
||||
-- 留到现网复量之后单独立项(本机无 MySQL,未跑过 EXPLAIN,见蓝图 Phase 5 实录)。
|
||||
--
|
||||
-- 风险:ALTER TABLE ADD INDEX 需申请元数据锁(MySQL 8 在线 DDL,INPLACE),建议低峰执行;
|
||||
-- 本迁移按 information_schema 判存,重跑不会因索引已存在而失败。
|
||||
-- 回滚(手工):
|
||||
-- ALTER TABLE biz_file_task DROP INDEX idx_biz_file_task_resume_of;
|
||||
|
||||
SET @db_name = DATABASE();
|
||||
|
||||
-- biz_file_task(resume_of_task_id)
|
||||
SET @idx_exists := (
|
||||
SELECT COUNT(*) FROM information_schema.STATISTICS
|
||||
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_file_task'
|
||||
AND INDEX_NAME = 'idx_biz_file_task_resume_of'
|
||||
);
|
||||
SET @sql := IF(@idx_exists = 0,
|
||||
'ALTER TABLE biz_file_task ADD INDEX idx_biz_file_task_resume_of (resume_of_task_id)',
|
||||
'SELECT 1'
|
||||
);
|
||||
PREPARE stmt FROM @sql;
|
||||
EXECUTE stmt;
|
||||
DEALLOCATE PREPARE stmt;
|
||||
@@ -7,4 +7,14 @@
|
||||
SELECT status FROM biz_file_task WHERE id = #{taskId}
|
||||
</select>
|
||||
|
||||
<!-- P1-B6:claim 循环的批量档。终态值域由调用方传入(正本=TaskStatuses.FileTask.TERMINAL),
|
||||
这里不写死状态字符串;两个 IN 集合都由服务层保证非空。 -->
|
||||
<select id="selectTerminalFileTaskIds" resultType="java.lang.Long">
|
||||
SELECT id FROM biz_file_task
|
||||
WHERE id IN
|
||||
<foreach collection="taskIds" item="taskId" open="(" separator="," close=")">#{taskId}</foreach>
|
||||
AND status IN
|
||||
<foreach collection="terminalStatuses" item="st" open="(" separator="," close=")">#{st}</foreach>
|
||||
</select>
|
||||
|
||||
</mapper>
|
||||
|
||||
Reference in New Issue
Block a user