feat(phase-5): AC-19/AC-21 读路径时间窗与 keyset、心跳瘦读、菜单缓存、去 RAND、MDC 与补检限流
AC-19(P1-B1/B2/B3/B4)
- 任务中心(P1-B1):TaskCenterQueryService.tasks() 不带 startTime 时补 90 天默认窗口
(startOfDefaultWindow),不再把 null 透传给 12 模块 UNION 扫全历史;selectTaskPage 的
`LIMIT ? OFFSET ?` 改成 (createdAt,id) 游标,深翻页的 skip 挪进新语句
selectTaskPageAnchor——它只投影 (id,createdAt) 两列。宽/窄两份 UNION 共用同一对筛选片段
(taskFilterT/taskFilterB),锚点与页查询筛的行集在结构上不可能漂;页码语义、total、
响应结构与前端全部不变。
- 关键词抽词(P1-B2):selectRandomUnused 不再 ORDER BY RAND()(全表 filesort)。
服务层先 countHit 数命中集、再把窗口起点掷在 [0, total-limit],按 k.id 有序取一段后
在内存洗牌。分布口径变了(连续 id 的一段 vs 逐行独立随机),已如实登记。
- 心跳(P1-B3):selectFileTask 只捞 id/moduleType/status/userId/updatedAt 五列;
需要整实体的模块由新 SPI 默认方法 heartbeatNeedsFullTaskEntity()(默认 true=保守)
声明后补一次主键读,collect-data/similar-asin/appearance-patent 三个只用
task.getId() 的显式豁免。半行进 saveTaskCache 会写出坏缓存,比多读一次列难查得多。
markInterrupted 改走整实体读(要 errorMessage 并同步模块缓存/快照)。
- 权限菜单(P1-B4):loadMenus 加 (companyId,menuType) 短 TTL(30s) 快照缓存,
五处目录写路径 create/update/delete/reorder/copyTreeFromTemplate 全部写时失效;
只缓存目录本体、不缓存用户授权行——撤权必须下一请求就生效。
AC-21(审计 §5/PERF §6)
- RequestTraceFilter 把已解析却只进日志参数的 requestId 写入 MDC(缺失写 "-"),
finally 里 MDC.clear()(tomcat 线程复用,不清就把上一条的 id 带给下一条日志);
logback-spring.xml 的两条 pattern 默认值 + application.yml 显式设的 file/console
两条同批改带 [%X{requestId}]——本文件那两条会盖掉默认值,漏一处线上照样看不见。
- AppearancePatentDeliverySupport.requestRecheckForMissingRows 的补检轮 WARN 按任务限流:
5 分钟窗口内首条 WARN(带 suppressedInLastWindow 汇总),其余降 DEBUG。刻意不吃
recheckRounds/countRecheckRound 那对轮次计数——那是 scheduleFallbackRecheck 的补检预算,
从日志路径再计一次会让"限流"吃掉业务预算、任务更早被判补检耗尽。
"补检排不上队"那条不受限流(要人处置的信号不许压)。
契约激活与判据变更
- PendingPhase5ReadPathTest 5 例、PendingPhase5LogVolumeAndMdcTest 3 例全部去 @Disabled 转绿;
后者预置的 logback 路径层级写错(mainSourcesRoot() 已是 src/main/java),激活时修正,
并补一条 application.yml 的 pattern 判据(只增不减)。
- 新增 AppearancePatentRecheckWarnThrottleTest 3 例:钉实跑读数(6 轮只留 1 条 WARN + 5 条
DEBUG、按任务隔离、排不上队仍出声),形状尺子之外的行为证据。
- TaskCenterQueryMapperSqlTest +2 例(锚点窄投影、游标收窄两分支)、
TaskCenterQueryServiceTest +3 例(默认窗口、第一页不付锚点钱、页码越界返回空页)。
- 三处既有判据按新契约反转,一支没注释掉:selectTaskPage 的 `LIMIT ? OFFSET ?`→游标、
分页参数绑定数 2→1/16→18/8→7;tasks() 三处 isNull()→notNull()(默认窗口生效本身成为断言)。
- 棘轮登记:SQL 分层语句总数 143→144(新语句点名),MigratedSqlEquivalenceTest
XML_SELECT_TOTAL 99→100、LEDGER_ROWS 85→84、LEDGER_SELECTS 60→59——
selectTaskPage 那一行整条摘出基准账本并点名进 NOT_MIGRATED,因为基准是"搬迁前的注解原文",
改写它等于让等价性测试替新 SQL 背书。
- application.yml 走 hash-object+update-index 只提交本轮 pattern 那一格(4/2),
另一路会话在飞的 client-task-pull 注释格原样留在工作树未提交。
读数:后端 mvn -o test 5,021 例/0 Failures/0 Errors/19 skipped(6:21 min,
较 Phase 4 的 5,013 净增 8 例=激活 8 例预置后新增 8 例判据);fat jar 实起,落盘行带出
`[main] INFO [] c.nanri.aiimage.AiImageApplication - Starting...` 证明 MDC 位真在渲染;
本机无 MySQL ⇒ Hikari 反复 Starting、Tomcat 未监听,请求级 requestId 关联与现网四样本顺延 Phase 6。
This commit is contained in:
@@ -7,6 +7,7 @@ import jakarta.servlet.http.HttpServletResponse;
|
||||
import java.util.Locale;
|
||||
import org.slf4j.Logger;
|
||||
import org.slf4j.LoggerFactory;
|
||||
import org.slf4j.MDC;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.stereotype.Component;
|
||||
import org.springframework.web.filter.OncePerRequestFilter;
|
||||
@@ -18,6 +19,13 @@ import java.util.Optional;
|
||||
@Component
|
||||
public class RequestTraceFilter extends OncePerRequestFilter {
|
||||
|
||||
/**
|
||||
* AC-21(审计 §5.2):requestId 早在 2026-09 就被解析出来了,却只塞进这一行日志的参数里,
|
||||
* 全仓没有一处 {@code MDC.put} ⇒ 一个请求里另外 570 处日志互相认不出彼此。
|
||||
* 入 MDC 之后,logback 的 {@code %X{requestId}} 把整条请求链缝起来(含异步 appender 落盘)。
|
||||
*/
|
||||
static final String MDC_REQUEST_ID = "requestId";
|
||||
|
||||
private static final Logger log = LoggerFactory.getLogger(RequestTraceFilter.class);
|
||||
|
||||
private static final int MIN_REQUEST_BODY_CACHE_LIMIT_BYTES = 1024 * 1024;
|
||||
@@ -55,6 +63,9 @@ public class RequestTraceFilter extends OncePerRequestFilter {
|
||||
response.setHeader("X-AIIMAGE-Instance-Source", instanceMetadata.getSource());
|
||||
response.setHeader("X-AIIMAGE-Instance-Stable", String.valueOf(instanceMetadata.isStable()));
|
||||
|
||||
// tomcat 线程是复用的:不清 MDC 的话,下一条请求(哪怕没有 requestId)会带上上一条的 id,
|
||||
// 按请求关联反而变成按请求串案。缺失也写 "-",让 pattern 里这一位永远存在、格式不抖。
|
||||
MDC.put(MDC_REQUEST_ID, blankToDash(requestId));
|
||||
try {
|
||||
filterChain.doFilter(requestToUse, response);
|
||||
} finally {
|
||||
@@ -96,6 +107,7 @@ public class RequestTraceFilter extends OncePerRequestFilter {
|
||||
costMs
|
||||
);
|
||||
}
|
||||
MDC.clear();
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
+6
@@ -50,6 +50,12 @@ public class AppearancePatentTaskHeartbeatSpi implements TaskModuleHeartbeatSpi
|
||||
task.getId(), moduleType(), jobTouchIntervalMillis());
|
||||
}
|
||||
|
||||
/** 只把 {@code task.getId()} 交给作业续期,不写模块缓存 ⇒ 心跳可以吃瘦读(AC-19/P1-B3)。 */
|
||||
@Override
|
||||
public boolean heartbeatNeedsFullTaskEntity() {
|
||||
return false;
|
||||
}
|
||||
|
||||
private long jobTouchIntervalMillis() {
|
||||
return Math.max(1_000L, appearancePatentProperties.getDbJobTouchIntervalMillis());
|
||||
}
|
||||
|
||||
+58
-2
@@ -17,6 +17,8 @@ import lombok.extern.slf4j.Slf4j;
|
||||
import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
import java.util.Map;
|
||||
import java.util.concurrent.ConcurrentHashMap;
|
||||
import java.util.concurrent.atomic.AtomicLong;
|
||||
|
||||
/**
|
||||
* 外观专利的交付闸门与补检(E 聚类之一),从 {@code AppearancePatentTaskService} <b>原样搬移</b>
|
||||
@@ -30,6 +32,20 @@ public class AppearancePatentDeliverySupport {
|
||||
|
||||
private static final String STATUS_FAILED = TaskStatuses.FileTask.FAILED;
|
||||
|
||||
/**
|
||||
* AC-21(审计 §5、PERF_REPORT §6):交付缺口补检 WARN 的按任务限流窗口。
|
||||
*
|
||||
* <p>现网实录 task 32609/job 23345 三分钟 478 条(≈9,560 条/小时):结果文件作业每 15s
|
||||
* 被 claim 一轮,同一批缺口行每轮原样再报一次,字段一字不差,日志里没有新信息,只有量。
|
||||
*
|
||||
* <p>本类按调用现取(不是 Spring bean,{@code AppearancePatentTaskService#deliverySupport()}
|
||||
* 每次 new 一只),所以限流态只能挂静态:一个 JVM 一份,两台实例各打各的,不互相吞计数。
|
||||
* 条目数由 {@link #WARN_TASKS_MAX} 兜住,超了就先把窗口已过期的清出去。
|
||||
*/
|
||||
static final long RECHECK_WARN_WINDOW_MILLIS = 300_000L;
|
||||
static final int WARN_TASKS_MAX = 1024;
|
||||
private static final ConcurrentHashMap<Long, RecheckWarnWindow> RECHECK_WARN_WINDOWS = new ConcurrentHashMap<>();
|
||||
|
||||
private final String moduleType;
|
||||
private final AppearancePatentProperties properties;
|
||||
private final AppearancePatentTaskCacheService taskCacheService;
|
||||
@@ -120,8 +136,7 @@ public class AppearancePatentDeliverySupport {
|
||||
boolean requeued = taskFileJobService.requeue(job.getId(),
|
||||
"有 " + facts.missingRows() + " 行未完成检测,补检一轮后重新组装结果文件");
|
||||
if (requeued) {
|
||||
log.warn("[appearance-patent] 交付缺口触发补检轮 taskId={} jobId={} missingRows={} keys={} noDataRows={}",
|
||||
task.getId(), job.getId(), facts.missingRows(), keys.size(), facts.noDataRows());
|
||||
throttleRecheckWarning(task, job, facts);
|
||||
return true;
|
||||
}
|
||||
log.warn("[appearance-patent] 交付缺口补检排不上队,转失败兜底出口按补检预算处置 taskId={} jobId={} missingRows={}",
|
||||
@@ -129,6 +144,47 @@ public class AppearancePatentDeliverySupport {
|
||||
throw new BusinessException("有 " + facts.missingRows() + " 行未完成检测,等待补检轮");
|
||||
}
|
||||
|
||||
/**
|
||||
* 补检轮 WARN 的限流出口(AC-21):同一任务在一个窗口内只留一条 WARN,窗口里被压掉的条数
|
||||
* 随下一条 WARN 一起汇总出去({@code suppressedInLastWindow}),窗口内的重复轮次降 DEBUG。
|
||||
*
|
||||
* <p>刻意不去碰 {@code taskCacheService.recheckRounds/countRecheckRound} 那对轮次计数:
|
||||
* 那是 {@link #scheduleFallbackRecheck} 的补检预算({@code recheckMaxRounds})。从这条路径
|
||||
* 再计一次,会让「日志限流」吃掉业务预算,任务更早被判「补检已耗尽」——那是行为变更,不是治理。
|
||||
*
|
||||
* <p>并发口径:读-判-写三步之间有竞争,最坏情况是同窗口多打一条 WARN。限流是为了压日志量,
|
||||
* 不是为了恰好一条,不值得为它加锁或把整张表串行化。
|
||||
*/
|
||||
private void throttleRecheckWarning(FileTaskEntity task, TaskFileJobEntity job,
|
||||
AppearancePatentRowOutcome.Facts facts) {
|
||||
long now = System.currentTimeMillis();
|
||||
RecheckWarnWindow current = RECHECK_WARN_WINDOWS.get(task.getId());
|
||||
if (current != null && now - current.startedAtMillis < RECHECK_WARN_WINDOW_MILLIS) {
|
||||
log.debug("[appearance-patent] 交付缺口触发补检轮 taskId={} jobId={} missingRows={} keys={}(限流:窗口内第 {} 条)",
|
||||
task.getId(), job.getId(), facts.missingRows(), facts.missingKeys().size(),
|
||||
current.suppressed.incrementAndGet());
|
||||
return;
|
||||
}
|
||||
log.warn("[appearance-patent] 交付缺口触发补检轮 taskId={} jobId={} missingRows={} keys={} noDataRows={} suppressedInLastWindow={}",
|
||||
task.getId(), job.getId(), facts.missingRows(), facts.missingKeys().size(),
|
||||
facts.noDataRows(), current == null ? 0L : current.suppressed.get());
|
||||
if (RECHECK_WARN_WINDOWS.size() >= WARN_TASKS_MAX) {
|
||||
RECHECK_WARN_WINDOWS.entrySet().removeIf(entry ->
|
||||
now - entry.getValue().startedAtMillis >= RECHECK_WARN_WINDOW_MILLIS);
|
||||
}
|
||||
RECHECK_WARN_WINDOWS.put(task.getId(), new RecheckWarnWindow(now));
|
||||
}
|
||||
|
||||
/** 一个任务在一个限流窗口里的补检告警态:窗口起始时刻 + 窗口内被压到 DEBUG 的条数。 */
|
||||
private static final class RecheckWarnWindow {
|
||||
private final long startedAtMillis;
|
||||
private final AtomicLong suppressed = new AtomicLong();
|
||||
|
||||
private RecheckWarnWindow(long startedAtMillis) {
|
||||
this.startedAtMillis = startedAtMillis;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* 只量行账、不出表。补检的决定必须做在 {@code assembleResultWorkbook} 之前,而那一跑完就把
|
||||
* 成品传上 OSS 并挂好了 {@code resultFileUrl}。判据与出表共用
|
||||
|
||||
+9
@@ -25,4 +25,13 @@ public class CollectDataTaskHeartbeatSpi implements TaskModuleHeartbeatSpi {
|
||||
public void touchHeartbeat(Long taskId, TaskHeartbeatRequest request) {
|
||||
collectDataService.updateProgress(taskId, request);
|
||||
}
|
||||
|
||||
/**
|
||||
* 进度写走 {@code updateProgress(taskId, request)} 自己按主键取数,心跳不需要整实体
|
||||
* (AC-19/P1-B3:采集任务的心跳最密,两列大 JSON 每 30s 捞一次纯属白付)。
|
||||
*/
|
||||
@Override
|
||||
public boolean heartbeatNeedsFullTaskEntity() {
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
+16
-3
@@ -41,11 +41,13 @@ import org.springframework.transaction.annotation.Transactional;
|
||||
import java.time.LocalDate;
|
||||
import java.time.LocalDateTime;
|
||||
import java.util.ArrayList;
|
||||
import java.util.Collections;
|
||||
import java.util.LinkedHashMap;
|
||||
import java.util.LinkedHashSet;
|
||||
import java.util.List;
|
||||
import java.util.Map;
|
||||
import java.util.Set;
|
||||
import java.util.concurrent.ThreadLocalRandom;
|
||||
|
||||
/**
|
||||
* 五国关键词共享(桌面 Tkinter 工具的 web 化)。
|
||||
@@ -200,12 +202,23 @@ public class KeywordShareService {
|
||||
Long count) {
|
||||
KeywordShareFilterQuery filter = buildFilter(companyId, viewerUserName, country, category, subCategory,
|
||||
categoryL3, categoryL4, search, FILTER_UNUSED, null, false);
|
||||
filter.setOffset(0);
|
||||
long safeCount = count == null ? DEFAULT_RANDOM_COUNT : Math.min(Math.max(count, 1), MAX_RANDOM_COUNT);
|
||||
filter.setLimit(safeCount);
|
||||
return keywordShareMapper.selectRandomUnused(filter).stream()
|
||||
// AC-19(审计 P1-B2):窗口起点先数命中集再掷,MySQL 就不必给全表打 RAND 后 filesort。
|
||||
// 掷的是起点而非每一行,所以同一批词的相邻关系仍在(一次抽到的是连续 id 的一段),
|
||||
// 服务层洗牌补回"散着"的观感;命中集不足一批时起点恒 0,与旧口径同为"全给你"。
|
||||
filter.setOffset(randomWindowOffset(keywordShareMapper.countHit(filter), safeCount));
|
||||
List<KeywordShareRowVo> window = new ArrayList<>(keywordShareMapper.selectRandomUnused(filter).stream()
|
||||
.map(this::normalizeRow)
|
||||
.toList();
|
||||
.toList());
|
||||
Collections.shuffle(window);
|
||||
return window;
|
||||
}
|
||||
|
||||
/** 随机窗口起点:落在 {@code [0, total - count]},装得下整批才有得掷。 */
|
||||
static long randomWindowOffset(long total, long count) {
|
||||
long span = total - count;
|
||||
return span > 0 ? ThreadLocalRandom.current().nextLong(span + 1) : 0L;
|
||||
}
|
||||
|
||||
// ---------------------------------------------------------------- 写操作
|
||||
|
||||
+44
-7
@@ -261,6 +261,7 @@ public class PermissionMenuService {
|
||||
entity.setCompanyId(companyId);
|
||||
entity.setSortOrder(resolveSortOrder(companyId, menuType, request.getSortOrder(), null));
|
||||
permissionMenuMapper.insert(entity);
|
||||
invalidateMenuTreeCache();
|
||||
return toItemVo(getMenuById(entity.getId()));
|
||||
}
|
||||
|
||||
@@ -300,6 +301,7 @@ public class PermissionMenuService {
|
||||
entity.setRoutePath(routePath);
|
||||
entity.setSortOrder(resolveSortOrder(companyId, menuType, request.getSortOrder(), id));
|
||||
permissionMenuMapper.updateById(entity);
|
||||
invalidateMenuTreeCache();
|
||||
return toItemVo(getMenuById(id));
|
||||
}
|
||||
|
||||
@@ -321,6 +323,7 @@ public class PermissionMenuService {
|
||||
// installations without the FK are cleaned up as well.
|
||||
userColumnPermissionMapper.deleteByColumnId(entity.getId());
|
||||
permissionMenuMapper.deleteById(entity.getId());
|
||||
invalidateMenuTreeCache();
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -376,6 +379,7 @@ public class PermissionMenuService {
|
||||
}
|
||||
sort += 10;
|
||||
}
|
||||
invalidateMenuTreeCache();
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -457,6 +461,7 @@ public class PermissionMenuService {
|
||||
}
|
||||
log.info("[menu-tree-copy] 新公司菜单树已建 companyId={} template={} rows={}",
|
||||
companyId, templateCompanyId, inserted);
|
||||
invalidateMenuTreeCache();
|
||||
return inserted;
|
||||
}
|
||||
|
||||
@@ -1031,6 +1036,29 @@ public class PermissionMenuService {
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* AC-19(审计 P1-B4):目录树的短 TTL 缓存。
|
||||
*
|
||||
* <p>侧边栏、每个受管入口的 {@code hasAnyAdminMenu}、可授予全集都从 {@code loadMenus} 取同一棵
|
||||
* 树,此前每请求重查一遍再在内存里排序展开。目录结构是"配一次、几个月不动"的数据,
|
||||
* 30 秒的窗口换来热路径少一次全表取数。
|
||||
*
|
||||
* <p>只缓存目录本体,**不缓存用户授权行**:撤权必须下一次请求就生效,那是安全语义;
|
||||
* 目录结构最多陈旧一个 TTL(写路径都同机 {@code invalidateMenuTreeCache},跨实例靠 TTL 收敛)。
|
||||
* 键是 (companyId, menuType),company 维度来自库里的用户行而非请求参数,条数有界。
|
||||
*/
|
||||
private static final long MENU_CACHE_TTL_MILLIS = 30_000L;
|
||||
private final Map<String, CachedMenuTree> menuTreeCache = new java.util.concurrent.ConcurrentHashMap<>();
|
||||
|
||||
/** 一棵已排序的目录树快照与其入缓存的时刻。 */
|
||||
private record CachedMenuTree(List<PermissionMenuEntity> menus, long cachedAtMillis) {
|
||||
}
|
||||
|
||||
/** 目录写路径共用的失效出口:结构变了就把整份快照丢掉,下一次现取。 */
|
||||
private void invalidateMenuTreeCache() {
|
||||
menuTreeCache.clear();
|
||||
}
|
||||
|
||||
/**
|
||||
* 目录取数的唯一出口(§4):{@code companyId} 非空时只返回那一棵树的行。
|
||||
* 授权树、有效菜单、可授予全集、越权判定都从这里取数,所以公司收窄改这一处就够一片。
|
||||
@@ -1038,14 +1066,23 @@ public class PermissionMenuService {
|
||||
* @param companyId null 只来自「无操作者 / 无归属」的历史与测试路径,此时退回全量目录
|
||||
*/
|
||||
private List<PermissionMenuEntity> loadMenus(Long companyId, String menuType) {
|
||||
List<PermissionMenuEntity> rows = loadRawMenus(companyId, menuType);
|
||||
if (rows == null || rows.isEmpty()) {
|
||||
return List.of();
|
||||
String cacheKey = (companyId == null ? "*" : companyId.toString())
|
||||
+ '|' + normalizeMenuType(menuType);
|
||||
long now = System.currentTimeMillis();
|
||||
CachedMenuTree cached = menuTreeCache.get(cacheKey);
|
||||
if (cached != null && now - cached.cachedAtMillis() < MENU_CACHE_TTL_MILLIS) {
|
||||
return cached.menus();
|
||||
}
|
||||
return rows.stream()
|
||||
.filter(row -> row != null && row.getId() != null)
|
||||
.sorted(menuComparator())
|
||||
.toList();
|
||||
List<PermissionMenuEntity> rows = loadRawMenus(companyId, menuType);
|
||||
// 不可变快照:缓存出去的东西被调用方就地改一笔,下一次请求会读到别人的写入
|
||||
List<PermissionMenuEntity> sorted = rows == null || rows.isEmpty()
|
||||
? List.of()
|
||||
: rows.stream()
|
||||
.filter(row -> row != null && row.getId() != null)
|
||||
.sorted(menuComparator())
|
||||
.toList();
|
||||
menuTreeCache.put(cacheKey, new CachedMenuTree(sorted, now));
|
||||
return sorted;
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
+6
@@ -47,6 +47,12 @@ public class SimilarAsinTaskHeartbeatSpi implements TaskModuleHeartbeatSpi {
|
||||
return Duration.ofMillis(checkpointIntervalMillis());
|
||||
}
|
||||
|
||||
/** 只把 {@code task.getId()} 交给作业续期,不写模块缓存 ⇒ 心跳可以吃瘦读(AC-19/P1-B3)。 */
|
||||
@Override
|
||||
public boolean heartbeatNeedsFullTaskEntity() {
|
||||
return false;
|
||||
}
|
||||
|
||||
private long checkpointIntervalMillis() {
|
||||
return Math.max(1_000L, similarAsinProperties.getDbTaskTouchIntervalMillis());
|
||||
}
|
||||
|
||||
+33
-3
@@ -79,7 +79,7 @@ public class TaskHeartbeatService {
|
||||
boolean brandOnly = MODULE_BRAND.equalsIgnoreCase(requestedModuleType);
|
||||
boolean skipBrandLookup = MODULE_SHOP_DATA_CRAWL.equalsIgnoreCase(requestedModuleType);
|
||||
|
||||
TaskHeartbeatVo fileResult = brandOnly ? null : touchFileTaskIfRunning(selectFileTask(taskId), request);
|
||||
TaskHeartbeatVo fileResult = brandOnly ? null : touchFileTaskIfRunning(taskId, request);
|
||||
TaskHeartbeatVo brandResult = skipBrandLookup ? null : brandTaskHeartbeatSpi.heartbeat(taskId, request);
|
||||
|
||||
// 心跳到达打点:陈旧判死线用它把「心跳时钟」改成从首次心跳起算(见 StaleTaskHeartbeatPolicy)。
|
||||
@@ -112,7 +112,26 @@ public class TaskHeartbeatService {
|
||||
return TaskHeartbeatVo.notAlive(null, null, "task not found");
|
||||
}
|
||||
|
||||
/**
|
||||
* AC-19(审计 P1-B3):心跳热路径的任务读只取活性判定要的五列。
|
||||
*
|
||||
* <p>{@code biz_file_task.request_json}/{@code result_json} 能到 MB 级,而这条读是
|
||||
* 「每单每 30s 一次」的热路径,原实现整行捞回来只为读 id/moduleType/status/userId/updatedAt。
|
||||
* 需要把实体交给模块 SPI 的({@code saveTaskCache} 会把整个实体序列化进模块缓存),
|
||||
* 由 {@link TaskModuleHeartbeatSpi#heartbeatNeedsFullTaskEntity()} 声明后走
|
||||
* {@link #selectFullFileTask}——半行进缓存比多读两列难查得多,所以宁可多一次主键点查。
|
||||
*/
|
||||
private FileTaskEntity selectFileTask(Long taskId) {
|
||||
LambdaQueryWrapper<FileTaskEntity> fileQuery = new LambdaQueryWrapper<FileTaskEntity>()
|
||||
.select(FileTaskEntity::getId, FileTaskEntity::getModuleType, FileTaskEntity::getStatus,
|
||||
FileTaskEntity::getUserId, FileTaskEntity::getUpdatedAt)
|
||||
.eq(FileTaskEntity::getId, taskId)
|
||||
.last("limit 1");
|
||||
return fileTaskMapper.selectOne(fileQuery);
|
||||
}
|
||||
|
||||
/** 整实体读:客户端中断恢复(要 errorMessage,并把实体同步进模块缓存与快照)与声明需要整行的模块心跳。 */
|
||||
private FileTaskEntity selectFullFileTask(Long taskId) {
|
||||
LambdaQueryWrapper<FileTaskEntity> fileQuery = new LambdaQueryWrapper<FileTaskEntity>()
|
||||
.eq(FileTaskEntity::getId, taskId)
|
||||
.last("limit 1");
|
||||
@@ -132,7 +151,7 @@ public class TaskHeartbeatService {
|
||||
String safeReason = (reason == null || reason.isBlank())
|
||||
? "客户端异常中断,任务已自动失败"
|
||||
: "客户端异常中断: " + reason.trim();
|
||||
FileTaskEntity fileTask = selectFileTask(taskId);
|
||||
FileTaskEntity fileTask = selectFullFileTask(taskId);
|
||||
if (fileTask != null) {
|
||||
String status = fileTask.getStatus();
|
||||
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
|
||||
@@ -167,12 +186,23 @@ public class TaskHeartbeatService {
|
||||
return TaskHeartbeatVo.notAlive(null, null, "task not found");
|
||||
}
|
||||
|
||||
private TaskHeartbeatVo touchFileTaskIfRunning(FileTaskEntity task, TaskHeartbeatRequest request) {
|
||||
private TaskHeartbeatVo touchFileTaskIfRunning(Long taskId, TaskHeartbeatRequest request) {
|
||||
FileTaskEntity task = selectFileTask(taskId);
|
||||
if (task == null) {
|
||||
return null;
|
||||
}
|
||||
String moduleType = task.getModuleType() == null ? "" : task.getModuleType();
|
||||
TaskModuleHeartbeatSpi handler = moduleHandlers.get(moduleType);
|
||||
if (handler != null && handler.heartbeatNeedsFullTaskEntity()) {
|
||||
// 归属校验与模块缓存回写都吃整实体(publish/shop-data-crawl 读实例路由列,
|
||||
// 七个模块的 saveTaskCache 把实体序列化落盘),瘦行给它们会写出半行 ⇒ 补一次主键读。
|
||||
task = selectFullFileTask(taskId);
|
||||
if (task == null) {
|
||||
return null;
|
||||
}
|
||||
moduleType = task.getModuleType() == null ? "" : task.getModuleType();
|
||||
handler = moduleHandlers.get(moduleType);
|
||||
}
|
||||
if (handler != null) {
|
||||
handler.ensureOwnership(task, moduleType + " task heartbeat");
|
||||
}
|
||||
|
||||
+15
@@ -44,6 +44,21 @@ public interface TaskModuleHeartbeatSpi {
|
||||
default void onHeartbeat(FileTaskEntity task) {
|
||||
}
|
||||
|
||||
/**
|
||||
* 心跳时是否需要整行 {@code FileTaskEntity}。
|
||||
*
|
||||
* <p>AC-19(审计 P1-B3):心跳是「每单每 30s 一次」的热路径,而 {@code biz_file_task} 的
|
||||
* {@code request_json}/{@code result_json} 能到 MB 级。task 侧默认只捞活性判定要的五列,
|
||||
* 只有真把实体交出去用的模块才付整行读的钱——即 {@link #saveTaskCache(FileTaskEntity)}
|
||||
* 会把实体序列化进模块缓存的那些(半行进缓存比多读一次列难查得多)。
|
||||
*
|
||||
* <p>默认 {@code true}(保守):新模块不改这儿就维持今天的取整行行为。只用得到
|
||||
* {@code task.getId()} 的实现才显式改成 false。
|
||||
*/
|
||||
default boolean heartbeatNeedsFullTaskEntity() {
|
||||
return true;
|
||||
}
|
||||
|
||||
/**
|
||||
* biz_file_task.updated_at 检查点节流间隔。
|
||||
*
|
||||
|
||||
+23
-1
@@ -217,6 +217,27 @@ public interface TaskCenterQueryMapper {
|
||||
+ USER_SCOPE_B
|
||||
+ ")";
|
||||
|
||||
/**
|
||||
* 页首游标锚点(AC-19/P1-B1):第 N 页那一行的前一行——按同一套筛选与同一个排序键
|
||||
* {@code (createdAt DESC, id DESC)} 走到 {@code offset} 处,只取两列。
|
||||
*
|
||||
* <p>深翻页的 skip 只在这条窄语句里发生,页查询本身改用游标;两条必须共用同一份 UNION
|
||||
* (mapper XML 的 {@code taskUnionRows}),否则锚点算的是另一批行,第 N 页会安静地给错。
|
||||
*/
|
||||
TaskCenterTaskRow selectTaskPageAnchor(@Param("userIds") List<Long> userIds,
|
||||
@Param("moduleType") String moduleType,
|
||||
@Param("statuses") List<String> statuses,
|
||||
@Param("shop") String shop,
|
||||
@Param("startTime") LocalDateTime startTime,
|
||||
@Param("endTime") LocalDateTime endTime,
|
||||
@Param("offset") long offset);
|
||||
|
||||
/**
|
||||
* 任务列表一页:keyset 游标取数,不再吃 OFFSET。
|
||||
*
|
||||
* <p>{@code afterCreatedAt}/{@code afterId} 同时给值才是游标(第一页两个都为 null = 从头取);
|
||||
* 游标条件能被我方的 MySQL 8.4 压进 UNION 分支,从而用上 created_at 索引。
|
||||
*/
|
||||
List<TaskCenterTaskRow> selectTaskPage(@Param("userIds") List<Long> userIds,
|
||||
@Param("moduleType") String moduleType,
|
||||
@Param("statuses") List<String> statuses,
|
||||
@@ -224,7 +245,8 @@ public interface TaskCenterQueryMapper {
|
||||
@Param("startTime") LocalDateTime startTime,
|
||||
@Param("endTime") LocalDateTime endTime,
|
||||
@Param("limit") long limit,
|
||||
@Param("offset") long offset);
|
||||
@Param("afterCreatedAt") LocalDateTime afterCreatedAt,
|
||||
@Param("afterId") Long afterId);
|
||||
|
||||
long countTaskPage(@Param("userIds") List<Long> userIds,
|
||||
@Param("moduleType") String moduleType,
|
||||
|
||||
+38
-3
@@ -51,6 +51,11 @@ public class TaskCenterQueryService {
|
||||
private static final long ACTIVE_TASK_SCAN_CAP = 500;
|
||||
private static final long DEFAULT_PAGE_SIZE = 20;
|
||||
private static final long MAX_PAGE_SIZE = 100;
|
||||
/**
|
||||
* AC-19(审计 P1-B1):任务中心默认时间窗(天)。请求不带 {@code startTime} 时由服务层补上,
|
||||
* 页码跳转与总数都只在这个窗口里发生;带 {@code startTime} 就完全按请求走。
|
||||
*/
|
||||
private static final int DEFAULT_WINDOW_DAYS = 90;
|
||||
/**
|
||||
* 心跳位置读取封顶,与页大小同源:看板一页最多 100 行、30 秒一轮。
|
||||
* 沿用 light 侧那个 20 的话,第 21 行之后的在跑任务永远读不到进度。
|
||||
@@ -117,15 +122,34 @@ public class TaskCenterQueryService {
|
||||
}
|
||||
|
||||
List<String> statuses = statusFilter(query.getStatus());
|
||||
// AC-19(审计 P1-B1):时间窗先补再传,count 与页查询共用同一个窗口口径。
|
||||
LocalDateTime startTime = startOfDefaultWindow(query.getStartTime());
|
||||
LocalDateTime endTime = query.getEndTime();
|
||||
long total = queryMapper.countTaskPage(userIds, query.getModuleType(), statuses,
|
||||
query.getShop(), query.getStartTime(), query.getEndTime());
|
||||
query.getShop(), startTime, endTime);
|
||||
if (total <= 0) {
|
||||
return TaskCenterTaskPageVo.empty(page, pageSize);
|
||||
}
|
||||
|
||||
// 深翻页的 skip 交给窄锚点语句(只投影 createdAt,id 两列),页查询本身走 keyset 游标:
|
||||
// 游标条件能被 MySQL 压进 UNION 分支用上 created_at 索引,OFFSET 不能,只能物化整个 UNION。
|
||||
long offset = (page - 1) * pageSize;
|
||||
LocalDateTime afterCreatedAt = null;
|
||||
Long afterId = null;
|
||||
if (offset > 0) {
|
||||
TaskCenterTaskRow anchor = queryMapper.selectTaskPageAnchor(userIds, query.getModuleType(),
|
||||
statuses, query.getShop(), startTime, endTime, offset);
|
||||
if (anchor == null || anchor.getCreatedAt() == null || anchor.getId() == null) {
|
||||
// 页码落在窗口之外:与旧实现取到空行同样返回空页,不拿 null 游标去要第一页
|
||||
return TaskCenterTaskPageVo.empty(page, pageSize);
|
||||
}
|
||||
afterCreatedAt = anchor.getCreatedAt();
|
||||
afterId = anchor.getId();
|
||||
}
|
||||
|
||||
List<TaskCenterTaskRow> rows = queryMapper.selectTaskPage(userIds, query.getModuleType(),
|
||||
statuses, query.getShop(), query.getStartTime(), query.getEndTime(),
|
||||
pageSize, (page - 1) * pageSize);
|
||||
statuses, query.getShop(), startTime, endTime,
|
||||
pageSize, afterCreatedAt, afterId);
|
||||
if (rows == null || rows.isEmpty()) {
|
||||
return TaskCenterTaskPageVo.empty(page, pageSize);
|
||||
}
|
||||
@@ -138,6 +162,17 @@ public class TaskCenterQueryService {
|
||||
return vo;
|
||||
}
|
||||
|
||||
/**
|
||||
* 默认时间窗起点(AC-19/P1-B1):没带 {@code startTime} 才补 {@code now - 90 天}。
|
||||
*
|
||||
* <p>这一条给 UNION 的两个分支各加一条 {@code created_at} 下界,是把「全历史物化再排序」
|
||||
* 换成「按索引取窗口」的那一刀。代价是对管理员可见的行为收紧:90 天前的任务不再默认出现在
|
||||
* 列表与总数里,必须显式传 startTime 才能翻旧账——Phase 6 真机总验收要按这条复现一次翻页路径。
|
||||
*/
|
||||
static LocalDateTime startOfDefaultWindow(LocalDateTime requested) {
|
||||
return requested != null ? requested : LocalDateTime.now().minusDays(DEFAULT_WINDOW_DAYS);
|
||||
}
|
||||
|
||||
/**
|
||||
* 状态筛选展开:空白 = 不裁剪;{@code ACTIVE} = 前端默认的「执行中」,等于三个进行中状态的合并
|
||||
* (与判卡住用的 {@link #ACTIVE_STATUSES} 同一组,不另定口径);{@code SUCCESS}/{@code FAILED}
|
||||
|
||||
Reference in New Issue
Block a user