perf(代码审查落地): 后端 A1-A8 与前端 C1-C8 加固,retention 清理补索引(V141)
A 组(backend-java): - A1 载荷引用计数不再无条件回落全表 COUNT - A2 结果行读取由 LIMIT 1 改整页 - A3 ziniao 索引缓存过期判断下推 SQL - A4 循环子任务认领改 CAS,失败一律抛 - A5 建单事务里不碰外部 IO - A6 连接池补网络层超时(connectTimeout/socketTimeout,env 可覆盖) - A7 日志留现场 + 异步落盘 - A8 其余:货源图片预取、结果工作簿装配等 - V141:三条 retention DELETE 的可用索引,其中 biz_price_track_loop_run 用 STORED 生成列承载 COALESCE 时间线(该表实测 881 行/17MB,COPY 秒级) C 组(frontend-vue):URL 取值走 safe-url、行号取值走 row-id、 交付视频任务状态抽成 delivery-video-task-state.ts,各补用例。
This commit is contained in:
@@ -27,6 +27,13 @@ spring:
|
||||
max-lifetime: ${AIIMAGE_DB_POOL_MAX_LIFETIME_MS:1500000}
|
||||
keepalive-time: ${AIIMAGE_DB_POOL_KEEPALIVE_TIME_MS:120000}
|
||||
leak-detection-threshold: ${AIIMAGE_DB_POOL_LEAK_DETECT_MS:15000}
|
||||
# 网络层超时兜底:此前只有 Hikari 的取连接/校验超时,socket 读没有上限——
|
||||
# 一条卡在 DB 侧的语句会把 Tomcat 工作线程挂到服务端结束为止,只能人工 kill 容器。
|
||||
# 刻意走 data-source-properties 而不是改上面 URL 的兜底默认值:生产用 AIIMAGE_DB_URL
|
||||
# 整体覆盖 URL,只改兜底值对线上无效。单位为毫秒(Connector/J 口径)。
|
||||
data-source-properties:
|
||||
connectTimeout: ${AIIMAGE_DB_CONNECT_TIMEOUT_MS:5000}
|
||||
socketTimeout: ${AIIMAGE_DB_SOCKET_TIMEOUT_MS:300000}
|
||||
flyway:
|
||||
enabled: ${AIIMAGE_FLYWAY_ENABLED:true}
|
||||
locations: classpath:db
|
||||
|
||||
@@ -0,0 +1,37 @@
|
||||
-- 保留清理(retention)三条分批 DELETE 的可用索引。
|
||||
--
|
||||
-- 三条 DELETE 的 WHERE 都落不到任何现有索引上,只能全表扫描;InnoDB 的 DELETE 会对扫描过的行
|
||||
-- 加锁,03:50/04:20/04:40 三条又挤在同一窗口,于是清理任务与同期写入互相等待(生产的锁等待
|
||||
-- 与慢 SQL 有一条来源就在这里)。这里只追加索引/生成列,不改任何历史迁移文件。
|
||||
|
||||
-- 1) device_log_file:DELETE ... WHERE log_date < #{cutoff} LIMIT n
|
||||
-- uk_device_log_file(source, device_id, file_name, log_date) 里 log_date 在第 4 列,
|
||||
-- 不带前三列时左前缀用不上;idx_device_log_last_upload 是另一条时间线(V127:24-25)。
|
||||
ALTER TABLE device_log_file
|
||||
ADD KEY idx_device_log_log_date (log_date),
|
||||
ALGORITHM = INPLACE, LOCK = NONE;
|
||||
|
||||
-- 2) shop_data_duplicate_scan:DELETE ... WHERE created_at < #{cutoff} AND id < #{protectFromId} LIMIT n
|
||||
-- 现有 idx_status_created(status, created_at) 首列是 status,而本 DELETE 不带 status 条件(V108)。
|
||||
ALTER TABLE shop_data_duplicate_scan
|
||||
ADD KEY idx_sds_created_at (created_at),
|
||||
ALGORITHM = INPLACE, LOCK = NONE;
|
||||
|
||||
-- 3) biz_price_track_loop_run:DELETE ... WHERE status IN ('SUCCESS','FAILED','STOPPED')
|
||||
-- AND COALESCE(finished_at, updated_at, created_at) < #{cutoff} LIMIT n
|
||||
-- 被 COALESCE 包住的表达式不可走索引(非 sargable),所以落一个 STORED 生成列承载同一时间线,
|
||||
-- 再建 (status, cleanup_at) 复合索引;现有 idx_user_status(user_id, status) 首列是 user_id,
|
||||
-- 同样用不上(V26:20-21)。
|
||||
--
|
||||
-- 应用侧不写这一列:PriceTrackLoopRunEntity 没有 cleanup_at 字段,MyBatis-Plus 按实体列生成
|
||||
-- INSERT/UPDATE 的列清单,不会带上它。加 STORED 生成列需要重建表(ALGORITHM=COPY),
|
||||
-- 该表行数=循环批次数量级,且每行带 3 个 MEDIUMTEXT(V26:12-14),
|
||||
-- 上线前需在从库实测耗时再定执行窗口。
|
||||
ALTER TABLE biz_price_track_loop_run
|
||||
ADD COLUMN cleanup_at DATETIME GENERATED ALWAYS AS (COALESCE(finished_at, updated_at, created_at)) STORED
|
||||
COMMENT '保留清理时间线(生成列,由 finished_at/updated_at/created_at 兜底,应用勿写)',
|
||||
ALGORITHM = COPY;
|
||||
|
||||
ALTER TABLE biz_price_track_loop_run
|
||||
ADD KEY idx_loop_run_cleanup (status, cleanup_at),
|
||||
ALGORITHM = INPLACE, LOCK = NONE;
|
||||
@@ -26,16 +26,30 @@
|
||||
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
|
||||
<fileNamePattern>${APP_LOG_ARCHIVE}</fileNamePattern>
|
||||
<maxFileSize>50MB</maxFileSize>
|
||||
<maxHistory>1</maxHistory>
|
||||
<!-- 原先 maxHistory=1 且 cleanHistoryOnStart=true:每次发版重启就把一天以上的
|
||||
历史日志抹掉,跨天问题(跟价/外观任务 4~24 小时)事后无现场可查。
|
||||
磁盘占用由 totalSizeCap 兜住,不靠砍天数。 -->
|
||||
<maxHistory>14</maxHistory>
|
||||
<totalSizeCap>500MB</totalSizeCap>
|
||||
<cleanHistoryOnStart>true</cleanHistoryOnStart>
|
||||
<cleanHistoryOnStart>false</cleanHistoryOnStart>
|
||||
</rollingPolicy>
|
||||
</appender>
|
||||
|
||||
<!-- 文件落盘改异步:高频调度日志(1s/2s 级)此前同步占住业务线程,
|
||||
而巡检的日志速率判据正是靠这些行。discardingThreshold=0 表示队列满时
|
||||
宁可阻塞调用线程也不丢日志——丢日志会让"最近时刻"判据假死。 -->
|
||||
<appender name="FILE_ASYNC" class="ch.qos.logback.classic.AsyncAppender">
|
||||
<queueSize>8192</queueSize>
|
||||
<discardingThreshold>0</discardingThreshold>
|
||||
<neverBlock>false</neverBlock>
|
||||
<includeCallerData>false</includeCallerData>
|
||||
<appender-ref ref="FILE"/>
|
||||
</appender>
|
||||
|
||||
<logger name="com.nanri.aiimage" level="${APP_LOG_LEVEL}"/>
|
||||
|
||||
<root level="${ROOT_LOG_LEVEL}">
|
||||
<appender-ref ref="CONSOLE"/>
|
||||
<appender-ref ref="FILE"/>
|
||||
<appender-ref ref="FILE_ASYNC"/>
|
||||
</root>
|
||||
</configuration>
|
||||
|
||||
Reference in New Issue
Block a user