Files
crawler-plugin/backend-java/src/test/java/com/nanri/aiimage/config/PendingPhase5LogVolumeAndMdcTest.java
T
huangzd1997 217f5eec62 feat(phase-5): AC-19/AC-21 读路径时间窗与 keyset、心跳瘦读、菜单缓存、去 RAND、MDC 与补检限流
AC-19(P1-B1/B2/B3/B4)
- 任务中心(P1-B1):TaskCenterQueryService.tasks() 不带 startTime 时补 90 天默认窗口
  (startOfDefaultWindow),不再把 null 透传给 12 模块 UNION 扫全历史;selectTaskPage 的
  `LIMIT ? OFFSET ?` 改成 (createdAt,id) 游标,深翻页的 skip 挪进新语句
  selectTaskPageAnchor——它只投影 (id,createdAt) 两列。宽/窄两份 UNION 共用同一对筛选片段
  (taskFilterT/taskFilterB),锚点与页查询筛的行集在结构上不可能漂;页码语义、total、
  响应结构与前端全部不变。
- 关键词抽词(P1-B2):selectRandomUnused 不再 ORDER BY RAND()(全表 filesort)。
  服务层先 countHit 数命中集、再把窗口起点掷在 [0, total-limit],按 k.id 有序取一段后
  在内存洗牌。分布口径变了(连续 id 的一段 vs 逐行独立随机),已如实登记。
- 心跳(P1-B3):selectFileTask 只捞 id/moduleType/status/userId/updatedAt 五列;
  需要整实体的模块由新 SPI 默认方法 heartbeatNeedsFullTaskEntity()(默认 true=保守)
  声明后补一次主键读,collect-data/similar-asin/appearance-patent 三个只用
  task.getId() 的显式豁免。半行进 saveTaskCache 会写出坏缓存,比多读一次列难查得多。
  markInterrupted 改走整实体读(要 errorMessage 并同步模块缓存/快照)。
- 权限菜单(P1-B4):loadMenus 加 (companyId,menuType) 短 TTL(30s) 快照缓存,
  五处目录写路径 create/update/delete/reorder/copyTreeFromTemplate 全部写时失效;
  只缓存目录本体、不缓存用户授权行——撤权必须下一请求就生效。

AC-21(审计 §5/PERF §6)
- RequestTraceFilter 把已解析却只进日志参数的 requestId 写入 MDC(缺失写 "-"),
  finally 里 MDC.clear()(tomcat 线程复用,不清就把上一条的 id 带给下一条日志);
  logback-spring.xml 的两条 pattern 默认值 + application.yml 显式设的 file/console
  两条同批改带 [%X{requestId}]——本文件那两条会盖掉默认值,漏一处线上照样看不见。
- AppearancePatentDeliverySupport.requestRecheckForMissingRows 的补检轮 WARN 按任务限流:
  5 分钟窗口内首条 WARN(带 suppressedInLastWindow 汇总),其余降 DEBUG。刻意不吃
  recheckRounds/countRecheckRound 那对轮次计数——那是 scheduleFallbackRecheck 的补检预算,
  从日志路径再计一次会让"限流"吃掉业务预算、任务更早被判补检耗尽。
  "补检排不上队"那条不受限流(要人处置的信号不许压)。

契约激活与判据变更
- PendingPhase5ReadPathTest 5 例、PendingPhase5LogVolumeAndMdcTest 3 例全部去 @Disabled 转绿;
  后者预置的 logback 路径层级写错(mainSourcesRoot() 已是 src/main/java),激活时修正,
  并补一条 application.yml 的 pattern 判据(只增不减)。
- 新增 AppearancePatentRecheckWarnThrottleTest 3 例:钉实跑读数(6 轮只留 1 条 WARN + 5 条
  DEBUG、按任务隔离、排不上队仍出声),形状尺子之外的行为证据。
- TaskCenterQueryMapperSqlTest +2 例(锚点窄投影、游标收窄两分支)、
  TaskCenterQueryServiceTest +3 例(默认窗口、第一页不付锚点钱、页码越界返回空页)。
- 三处既有判据按新契约反转,一支没注释掉:selectTaskPage 的 `LIMIT ? OFFSET ?`→游标、
  分页参数绑定数 2→1/16→18/8→7;tasks() 三处 isNull()→notNull()(默认窗口生效本身成为断言)。
- 棘轮登记:SQL 分层语句总数 143→144(新语句点名),MigratedSqlEquivalenceTest
  XML_SELECT_TOTAL 99→100、LEDGER_ROWS 85→84、LEDGER_SELECTS 60→59——
  selectTaskPage 那一行整条摘出基准账本并点名进 NOT_MIGRATED,因为基准是"搬迁前的注解原文",
  改写它等于让等价性测试替新 SQL 背书。
- application.yml 走 hash-object+update-index 只提交本轮 pattern 那一格(4/2),
  另一路会话在飞的 client-task-pull 注释格原样留在工作树未提交。

读数:后端 mvn -o test 5,021 例/0 Failures/0 Errors/19 skipped(6:21 min,
较 Phase 4 的 5,013 净增 8 例=激活 8 例预置后新增 8 例判据);fat jar 实起,落盘行带出
`[main] INFO  [] c.nanri.aiimage.AiImageApplication - Starting...` 证明 MDC 位真在渲染;
本机无 MySQL ⇒ Hikari 反复 Starting、Tomcat 未监听,请求级 requestId 关联与现网四样本顺延 Phase 6。
2026-10-29 16:32:46 +08:00

83 lines
4.3 KiB
Java
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package com.nanri.aiimage.config;
import com.nanri.aiimage.testutil.SourceScan;
import org.junit.jupiter.api.DisplayName;
import org.junit.jupiter.api.Test;
import java.nio.file.Files;
import java.nio.file.Path;
import static org.assertj.core.api.Assertions.assertThat;
/**
* AC-21(R8/审计 §5、PERF_REPORT §6):补检 WARN 必须按 job/轮次收敛,全站日志必须能按请求关联。
*
* <p>两条实测证据:
* <ul>
* <li><b>补检 WARN 风暴</b>:{@code AppearancePatentDeliverySupport.java:123-124} 对同一
* task/job 每轮补检打一条 {@code 交付缺口触发补检轮} WARN;
* {@code docs/audit/PERF_REPORT.md:189} 实录 task 32609/job 23345 三分钟 478 条
* (≈9,560 条/小时),任务长期停在"有 12 行未完成检测,补检一轮后重新组装"的循环里。
* 同文件 {@code :167-201} 的 {@code scheduleFallbackRecheck} 已经有轮次闸
* ({@code taskCacheService.recheckRounds/countRecheckRound}),
* AC 要的正是把同一对计数键接到 {@code requestRecheckForMissingRows} 上:
* 要么按 job/轮次限流,要么一条汇总。</li>
* <li><b>无 MDC</b>:{@code RequestTraceFilter.java:47-51} 已经解析出
* {@code X-Request-Id / X-Amzn-Trace-Id / Traceparent},但只塞进日志参数
* (:63-79),从不 {@code MDC.put}——全仓 {@code grep MDC} 零命中;
* {@code logback-spring.xml:7-8} 的两条 pattern 里也没有 {@code %X{...}},
* 于是 571 处 log 无法按请求关联(审计 §5.2 判断:"补 MDC 比加日志量更有效")。</li>
* </ul>
*
* <p>客户端/worker 的单文件大小上限与保留口径统一,另有两支预置:
* {@code app_client/tests/test_pending_phase1_日志脱敏与轮转.py}(AC-1,含大小轮转)与
* {@code scripts/tests/test_pending_phase5_worker日志轮转与保留.py}(AC-21 的 worker 侧)。
*/
@DisplayName("AC-21 日志量级与请求关联契约")
class PendingPhase5LogVolumeAndMdcTest {
@Test
void 补检轮_WARN_必须按_job_或轮次收敛() {
String support = SourceScan.withoutComments(
SourceScan.sourceText("AppearancePatentDeliverySupport.java"));
String body = SourceScan.methodBody(support, "requestRecheckForMissingRows");
assertThat(body)
.as("§5/PERF §6:每轮一条 WARN 就是 9,560 条/小时;必须复用 :182/:197 那对轮次计数键")
.containsAnyOf("recheckRounds", "countRecheckRound", "throttle", "summary");
}
@Test
void 请求入口必须把_requestId_写进_MDC() {
String filter = SourceScan.withoutComments(SourceScan.sourceText("RequestTraceFilter.java"));
assertThat(filter)
.as("§5.2:requestId 已解析却不入 MDC,571 处日志无法按请求关联")
.contains("MDC.put");
assertThat(filter)
.as("退出请求必须清 MDC(线程复用会把上一请求的 id 带给下一条日志)")
.contains("MDC.clear");
}
@Test
void 日志_pattern_必须带出_MDC_位() throws Exception {
// 预置时这条路径写错了层级(mainSourcesRoot() 已经是 src/main/java,../../ 只退到 src/),
// Phase 5 激活时按真实落点修正——判据本身一字未减。
Path logbackXml = com.nanri.aiimage.testutil.SourceScan.mainSourcesRoot()
.resolve("../../../src/main/resources/logback-spring.xml")
.normalize();
String xml = Files.readString(logbackXml);
assertThat(xml)
.as("pattern 里没有 %X{...} 时,MDC 写了也看不见(FILE/CONSOLE 两条都要带)")
.contains("%X{requestId}");
// application.yml 显式设了 logging.pattern.*,会把 logback 里的 defaultValue 整条盖掉 ⇒
// 只改 logback 等于改了一份线上读不到的默认值。两处必须同时带出 MDC 位。
String application = Files.readString(logbackXml.resolveSibling("application.yml"));
assertThat(application)
.as("application.yml 的 pattern 覆盖了 logback 默认值,漏改这一处线上照样看不见 requestId")
.contains("%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level [%X{requestId}] %logger{36} - %msg%n");
}
}