217f5eec62
AC-19(P1-B1/B2/B3/B4)
- 任务中心(P1-B1):TaskCenterQueryService.tasks() 不带 startTime 时补 90 天默认窗口
(startOfDefaultWindow),不再把 null 透传给 12 模块 UNION 扫全历史;selectTaskPage 的
`LIMIT ? OFFSET ?` 改成 (createdAt,id) 游标,深翻页的 skip 挪进新语句
selectTaskPageAnchor——它只投影 (id,createdAt) 两列。宽/窄两份 UNION 共用同一对筛选片段
(taskFilterT/taskFilterB),锚点与页查询筛的行集在结构上不可能漂;页码语义、total、
响应结构与前端全部不变。
- 关键词抽词(P1-B2):selectRandomUnused 不再 ORDER BY RAND()(全表 filesort)。
服务层先 countHit 数命中集、再把窗口起点掷在 [0, total-limit],按 k.id 有序取一段后
在内存洗牌。分布口径变了(连续 id 的一段 vs 逐行独立随机),已如实登记。
- 心跳(P1-B3):selectFileTask 只捞 id/moduleType/status/userId/updatedAt 五列;
需要整实体的模块由新 SPI 默认方法 heartbeatNeedsFullTaskEntity()(默认 true=保守)
声明后补一次主键读,collect-data/similar-asin/appearance-patent 三个只用
task.getId() 的显式豁免。半行进 saveTaskCache 会写出坏缓存,比多读一次列难查得多。
markInterrupted 改走整实体读(要 errorMessage 并同步模块缓存/快照)。
- 权限菜单(P1-B4):loadMenus 加 (companyId,menuType) 短 TTL(30s) 快照缓存,
五处目录写路径 create/update/delete/reorder/copyTreeFromTemplate 全部写时失效;
只缓存目录本体、不缓存用户授权行——撤权必须下一请求就生效。
AC-21(审计 §5/PERF §6)
- RequestTraceFilter 把已解析却只进日志参数的 requestId 写入 MDC(缺失写 "-"),
finally 里 MDC.clear()(tomcat 线程复用,不清就把上一条的 id 带给下一条日志);
logback-spring.xml 的两条 pattern 默认值 + application.yml 显式设的 file/console
两条同批改带 [%X{requestId}]——本文件那两条会盖掉默认值,漏一处线上照样看不见。
- AppearancePatentDeliverySupport.requestRecheckForMissingRows 的补检轮 WARN 按任务限流:
5 分钟窗口内首条 WARN(带 suppressedInLastWindow 汇总),其余降 DEBUG。刻意不吃
recheckRounds/countRecheckRound 那对轮次计数——那是 scheduleFallbackRecheck 的补检预算,
从日志路径再计一次会让"限流"吃掉业务预算、任务更早被判补检耗尽。
"补检排不上队"那条不受限流(要人处置的信号不许压)。
契约激活与判据变更
- PendingPhase5ReadPathTest 5 例、PendingPhase5LogVolumeAndMdcTest 3 例全部去 @Disabled 转绿;
后者预置的 logback 路径层级写错(mainSourcesRoot() 已是 src/main/java),激活时修正,
并补一条 application.yml 的 pattern 判据(只增不减)。
- 新增 AppearancePatentRecheckWarnThrottleTest 3 例:钉实跑读数(6 轮只留 1 条 WARN + 5 条
DEBUG、按任务隔离、排不上队仍出声),形状尺子之外的行为证据。
- TaskCenterQueryMapperSqlTest +2 例(锚点窄投影、游标收窄两分支)、
TaskCenterQueryServiceTest +3 例(默认窗口、第一页不付锚点钱、页码越界返回空页)。
- 三处既有判据按新契约反转,一支没注释掉:selectTaskPage 的 `LIMIT ? OFFSET ?`→游标、
分页参数绑定数 2→1/16→18/8→7;tasks() 三处 isNull()→notNull()(默认窗口生效本身成为断言)。
- 棘轮登记:SQL 分层语句总数 143→144(新语句点名),MigratedSqlEquivalenceTest
XML_SELECT_TOTAL 99→100、LEDGER_ROWS 85→84、LEDGER_SELECTS 60→59——
selectTaskPage 那一行整条摘出基准账本并点名进 NOT_MIGRATED,因为基准是"搬迁前的注解原文",
改写它等于让等价性测试替新 SQL 背书。
- application.yml 走 hash-object+update-index 只提交本轮 pattern 那一格(4/2),
另一路会话在飞的 client-task-pull 注释格原样留在工作树未提交。
读数:后端 mvn -o test 5,021 例/0 Failures/0 Errors/19 skipped(6:21 min,
较 Phase 4 的 5,013 净增 8 例=激活 8 例预置后新增 8 例判据);fat jar 实起,落盘行带出
`[main] INFO [] c.nanri.aiimage.AiImageApplication - Starting...` 证明 MDC 位真在渲染;
本机无 MySQL ⇒ Hikari 反复 Starting、Tomcat 未监听,请求级 requestId 关联与现网四样本顺延 Phase 6。
83 lines
4.3 KiB
Java
83 lines
4.3 KiB
Java
package com.nanri.aiimage.config;
|
||
|
||
import com.nanri.aiimage.testutil.SourceScan;
|
||
import org.junit.jupiter.api.DisplayName;
|
||
import org.junit.jupiter.api.Test;
|
||
|
||
import java.nio.file.Files;
|
||
import java.nio.file.Path;
|
||
|
||
import static org.assertj.core.api.Assertions.assertThat;
|
||
|
||
/**
|
||
* AC-21(R8/审计 §5、PERF_REPORT §6):补检 WARN 必须按 job/轮次收敛,全站日志必须能按请求关联。
|
||
*
|
||
* <p>两条实测证据:
|
||
* <ul>
|
||
* <li><b>补检 WARN 风暴</b>:{@code AppearancePatentDeliverySupport.java:123-124} 对同一
|
||
* task/job 每轮补检打一条 {@code 交付缺口触发补检轮} WARN;
|
||
* {@code docs/audit/PERF_REPORT.md:189} 实录 task 32609/job 23345 三分钟 478 条
|
||
* (≈9,560 条/小时),任务长期停在"有 12 行未完成检测,补检一轮后重新组装"的循环里。
|
||
* 同文件 {@code :167-201} 的 {@code scheduleFallbackRecheck} 已经有轮次闸
|
||
* ({@code taskCacheService.recheckRounds/countRecheckRound}),
|
||
* AC 要的正是把同一对计数键接到 {@code requestRecheckForMissingRows} 上:
|
||
* 要么按 job/轮次限流,要么一条汇总。</li>
|
||
* <li><b>无 MDC</b>:{@code RequestTraceFilter.java:47-51} 已经解析出
|
||
* {@code X-Request-Id / X-Amzn-Trace-Id / Traceparent},但只塞进日志参数
|
||
* (:63-79),从不 {@code MDC.put}——全仓 {@code grep MDC} 零命中;
|
||
* {@code logback-spring.xml:7-8} 的两条 pattern 里也没有 {@code %X{...}},
|
||
* 于是 571 处 log 无法按请求关联(审计 §5.2 判断:"补 MDC 比加日志量更有效")。</li>
|
||
* </ul>
|
||
*
|
||
* <p>客户端/worker 的单文件大小上限与保留口径统一,另有两支预置:
|
||
* {@code app_client/tests/test_pending_phase1_日志脱敏与轮转.py}(AC-1,含大小轮转)与
|
||
* {@code scripts/tests/test_pending_phase5_worker日志轮转与保留.py}(AC-21 的 worker 侧)。
|
||
*/
|
||
@DisplayName("AC-21 日志量级与请求关联契约")
|
||
class PendingPhase5LogVolumeAndMdcTest {
|
||
|
||
@Test
|
||
void 补检轮_WARN_必须按_job_或轮次收敛() {
|
||
String support = SourceScan.withoutComments(
|
||
SourceScan.sourceText("AppearancePatentDeliverySupport.java"));
|
||
String body = SourceScan.methodBody(support, "requestRecheckForMissingRows");
|
||
|
||
assertThat(body)
|
||
.as("§5/PERF §6:每轮一条 WARN 就是 9,560 条/小时;必须复用 :182/:197 那对轮次计数键")
|
||
.containsAnyOf("recheckRounds", "countRecheckRound", "throttle", "summary");
|
||
}
|
||
|
||
@Test
|
||
void 请求入口必须把_requestId_写进_MDC() {
|
||
String filter = SourceScan.withoutComments(SourceScan.sourceText("RequestTraceFilter.java"));
|
||
|
||
assertThat(filter)
|
||
.as("§5.2:requestId 已解析却不入 MDC,571 处日志无法按请求关联")
|
||
.contains("MDC.put");
|
||
assertThat(filter)
|
||
.as("退出请求必须清 MDC(线程复用会把上一请求的 id 带给下一条日志)")
|
||
.contains("MDC.clear");
|
||
}
|
||
|
||
@Test
|
||
void 日志_pattern_必须带出_MDC_位() throws Exception {
|
||
// 预置时这条路径写错了层级(mainSourcesRoot() 已经是 src/main/java,../../ 只退到 src/),
|
||
// Phase 5 激活时按真实落点修正——判据本身一字未减。
|
||
Path logbackXml = com.nanri.aiimage.testutil.SourceScan.mainSourcesRoot()
|
||
.resolve("../../../src/main/resources/logback-spring.xml")
|
||
.normalize();
|
||
String xml = Files.readString(logbackXml);
|
||
|
||
assertThat(xml)
|
||
.as("pattern 里没有 %X{...} 时,MDC 写了也看不见(FILE/CONSOLE 两条都要带)")
|
||
.contains("%X{requestId}");
|
||
|
||
// application.yml 显式设了 logging.pattern.*,会把 logback 里的 defaultValue 整条盖掉 ⇒
|
||
// 只改 logback 等于改了一份线上读不到的默认值。两处必须同时带出 MDC 位。
|
||
String application = Files.readString(logbackXml.resolveSibling("application.yml"));
|
||
assertThat(application)
|
||
.as("application.yml 的 pattern 覆盖了 logback 默认值,漏改这一处线上照样看不见 requestId")
|
||
.contains("%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level [%X{requestId}] %logger{36} - %msg%n");
|
||
}
|
||
}
|