From e90e5e7f644d378555b7ed875c99353725b2923f Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Sun, 18 Oct 2026 17:12:28 +0800 Subject: [PATCH] =?UTF-8?q?fix(=E9=87=87=E9=9B=86=E6=95=B0=E6=8D=AE):=20?= =?UTF-8?q?=E5=BF=83=E8=B7=B3=E8=90=BD=E5=BA=93=E8=8A=82=E6=B5=81=E6=94=B9?= =?UTF-8?q?=E6=8C=89=E4=BB=BB=E5=8A=A1=E8=87=AA=E8=BA=AB=E8=AE=A1=E6=97=B6?= =?UTF-8?q?=EF=BC=9B=E7=A9=BA=E7=BB=93=E6=9E=9C=E6=96=87=E4=BB=B6=E4=B8=8D?= =?UTF-8?q?=E5=86=8D=E5=86=92=E5=85=85=E6=88=90=E5=8A=9F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 两处独立缺陷,同一场事故(task 31253:已完成 + 总进度 25% + 下载是空白): 1) lastProgressFlushMillis 是单例上的一个全局时间戳,却被用来做每支任务的心跳 落库节流(注释里写的「任务级」是意图,不是实现)。约 20 支采集任务并跑时, 任一任务的落库都会重置它,于是「心跳内容不变」的那支永远落在别人刚刷过的窗口 里被丢弃,updated_at 停止前进,30 分钟陈旧巡检把还在正常回传分片的活任务判死 ——21:52 被 stale 收尾,而客户端 20:47 还在回传第 19 个分片。计时改成读任务 自身的 updated_at,并在每次心跳 :479 的重读上自然成立,不需要额外 catch (CatchSilenceRatchetTest 的口径同批核过)。 2) 结果文件组装没有任何空表守卫:明细 sheet 唯一数据源 biz_task_result_item 为 0 行时,仍然出表(4373 字节纯表头、111ms)、上传、写 row_count=0 并把任务标成 SUCCESS。现在写出行数与表内行数不一致、或表内 0 行而计数有行,一律抛异常让作业 重试,宁可不给文件也不给一张空表。全部行被过滤(计数也是 0)仍是合法空结果。 3) 组装阶段重算的 finalRowCount 此前从不落库——persistStats 只改内存实体,紧随的 唯一那条 UPDATE 不含 result_json,界面上的「保留 N 行」于是永远停在组装前的插入 计数(31253 表里 0 行仍显示 93;对照 31300 表里 292 行计数却写 130)。补进同一条 条件更新。 --- .../service/CollectDataService.java | 72 +++++++++++++---- .../CollectDataPartialResultNoticeTest.java | 62 +++++++++++++++ .../CollectDataProgressThrottleTest.java | 78 ++++++++++++++----- 3 files changed, 178 insertions(+), 34 deletions(-) diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/collectdata/service/CollectDataService.java b/backend-java/src/main/java/com/nanri/aiimage/modules/collectdata/service/CollectDataService.java index c0ece9244..4fb46f812 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/collectdata/service/CollectDataService.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/collectdata/service/CollectDataService.java @@ -81,6 +81,7 @@ import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.PushbackInputStream; +import java.time.Duration; import java.time.LocalDateTime; import java.time.format.DateTimeFormatter; import java.util.ArrayList; @@ -222,9 +223,6 @@ public class CollectDataService { @Value("${aiimage.collect-data.progress-dirty-window-millis:30000}") private long progressDirtyWindowMillis; - /** 上次进度统计实际落库时间戳(任务级,单机内存态;无锁竞争风险由任务分布式锁兜底)。 */ - private long lastProgressFlushMillis; - /** 采集源文件大小上限。0/负值回退默认 50MB,防止解析无界增长。 */ private long resolveMaxSourceFileBytes() { Long configured = maxSourceFileBytes; @@ -518,34 +516,51 @@ public class CollectDataService { changed = true; } if (!changed) { - // 内容未变化:仅当脏数据兜底窗口到期时才强制刷新一次, + // 内容未变化:仅当该任务自身的脏数据兜底窗口到期时才强制刷新一次, // 否则零 UPDATE(重复心跳幂等)。 - if (!shouldForceProgressFlush()) { + if (!shouldForceProgressFlush(task)) { return; } - } else if (shouldThrottleProgressFlush()) { + } else if (shouldThrottleProgressFlush(task)) { // 节流窗口内:合并写(只更新内存态、不落库),窗口到期后统一持久化。 return; } persistStats(task, stats); + // 计时就写在这个随 UPDATE 一起落库的字段上:写失败时库里的 updated_at 仍是旧值, + // 下一条心跳在 :479 重新 selectById 读到的还是旧值,会立刻补刷——不需要额外的 + // catch 回滚内存态(那会多一个 catch 块,且掩盖「本方法每次心跳都重读 DB」这一事实)。 task.setUpdatedAt(LocalDateTime.now()); fileTaskMapper.updateById(task); - lastProgressFlushMillis = System.currentTimeMillis(); } /** - * 节流判定:progressThrottleMillis>0 且距上次实际落库未超过窗口 → 合并写(跳过 UPDATE)。 + * 节流判定:距**该任务自身**上次落库未超过窗口 → 合并写(跳过 UPDATE)。 * progressThrottleMillis<=0 视为关闭节流,恒返回 false(每次心跳都落库,兼容旧行为)。 */ - private boolean shouldThrottleProgressFlush() { + private boolean shouldThrottleProgressFlush(FileTaskEntity task) { return progressThrottleMillis > 0 - && System.currentTimeMillis() - lastProgressFlushMillis < progressThrottleMillis; + && millisSinceTaskFlush(task) < progressThrottleMillis; } - /** 脏数据兜底判定:progressDirtyWindowMillis>0 且距上次实际落库超过窗口 → 强制刷新一次。 */ - private boolean shouldForceProgressFlush() { + /** 脏数据兜底判定:该任务自身距上次落库超过窗口 → 强制刷新一次,保证陈旧巡检看不到在跑的任务。 */ + private boolean shouldForceProgressFlush(FileTaskEntity task) { return progressDirtyWindowMillis > 0 - && System.currentTimeMillis() - lastProgressFlushMillis >= progressDirtyWindowMillis; + && millisSinceTaskFlush(task) >= progressDirtyWindowMillis; + } + + /** + * 计时一律取任务自身的 updated_at,不许换成服务上的单个时间戳:本方法是单例, + * 全局时间戳会被并发任务(实测约 20 支采集任务同时在跑)中任何一个的落库重置, + * 于是「心跳内容不变」的任务永远落在别人刚刷过的窗口里被丢弃,updated_at 停止前进, + * 30 分钟陈旧巡检把还在正常回传分片的活任务判死并终态化(task 31253:20:47 仍在回传, + * 21:52 被 stale 收尾,结果文件按当时的空明细出表)。 + */ + private long millisSinceTaskFlush(FileTaskEntity task) { + LocalDateTime last = task.getUpdatedAt(); + if (last == null) { + return Long.MAX_VALUE; + } + return Math.max(0L, Duration.between(last, LocalDateTime.now()).toMillis()); } @Scheduled(cron = "${aiimage.collect-data.stale-check-cron:0 */2 * * * *}") @@ -1163,6 +1178,8 @@ public class CollectDataService { batch -> streamFinalRows(task.getId(), batch), stats.summaries, batch -> streamRawRows(task.getId(), batch)); + // 空表头文件不得当作成果交付:先校验再上传(见 guardDetailRowsWritten)。 + guardDetailRowsWritten(task.getId(), finalRowCount, stats); String objectKey = ossStorageService.uploadResultFile(xlsx, MODULE_TYPE); // 复用同一份 stats 更新 finalRowCount 后再持久化,避免重复 loadStats 丢失 summaries。 @@ -1198,6 +1215,10 @@ public class CollectDataService { .set(FileTaskEntity::getStatus, STATUS_SUCCESS) .set(FileTaskEntity::getSuccessFileCount, 1) .set(FileTaskEntity::getFailedFileCount, 0) + // 组装阶段按明细表重算的 finalRowCount 必须随本条 UPDATE 一起落库: + // persistStats 只改内存实体,此前这条语句不含 result_json,导致界面上的 + // 「保留 N 行」永远停在组装前的插入计数(task 31253:表里 0 行仍显示 93)。 + .set(FileTaskEntity::getResultJson, task.getResultJson()) .set(FileTaskEntity::getErrorMessage, null) .set(FileTaskEntity::getUpdatedAt, LocalDateTime.now()) .set(FileTaskEntity::getFinishedAt, LocalDateTime.now())); @@ -1225,6 +1246,31 @@ public class CollectDataService { } } + /** + * 空明细守卫:明细 sheet 的行唯一来自 biz_task_result_item,写出的行数必须与表内行数一致。 + * 不一致就抛异常让结果文件作业重试,而不是上传一份只有表头的 xlsx 再把任务标成成功—— + * 后者在界面上就是「已完成 + 保留 N 行 + 下载下来是空白」(task 31253 实测:明细表 0 行、 + * 出表耗时 111ms、文件 4373 字节纯表头,而 result_json 里的计数仍写着 93,两边都对不上账)。 + * 表内确实 0 行且计数也是 0(全部行被过滤掉)属于合法空结果,照常出表。 + */ + private void guardDetailRowsWritten(Long taskId, long finalRowCount, CollectDataStats stats) { + Long stored = taskResultItemMapper.selectCount(new LambdaQueryWrapper() + .eq(TaskResultItemEntity::getTaskId, taskId) + .in(TaskResultItemEntity::getModuleType, MODULE_TYPE, LEGACY_MODULE_TYPE)); + long itemRows = stored == null ? 0L : stored; + if (itemRows > 0L) { + if (finalRowCount < itemRows) { + throw new BusinessException("采集结果明细共 " + itemRows + " 行,本次仅写出 " + finalRowCount + + " 行,结果文件不生成缺行版本,等待重试"); + } + return; + } + if (stats != null && stats.finalRowCount > 0) { + throw new BusinessException("采集结果计数为 " + stats.finalRowCount + " 行,但结果明细表为空," + + "结果文件不生成空表,等待重试"); + } + } + /** * 分批流式读取采集结果明细(按 id 分页游标),每批消费完即可释放, * 避免几十万行明细对象整体驻留堆内存;返回写入的明细行总数。 diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/collectdata/service/CollectDataPartialResultNoticeTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/collectdata/service/CollectDataPartialResultNoticeTest.java index c32662e6a..7fdcd7170 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/collectdata/service/CollectDataPartialResultNoticeTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/collectdata/service/CollectDataPartialResultNoticeTest.java @@ -4,6 +4,7 @@ import cn.hutool.core.io.FileUtil; import com.baomidou.mybatisplus.core.MybatisConfiguration; import com.baomidou.mybatisplus.core.metadata.TableInfoHelper; import com.fasterxml.jackson.databind.ObjectMapper; +import com.nanri.aiimage.common.exception.BusinessException; import com.nanri.aiimage.modules.notification.service.NotificationDispatchService; import com.nanri.aiimage.modules.task.mapper.FileResultMapper; import com.nanri.aiimage.modules.task.mapper.FileTaskMapper; @@ -25,11 +26,13 @@ import org.mockito.junit.jupiter.MockitoExtension; import java.io.File; import static org.assertj.core.api.Assertions.assertThat; +import static org.assertj.core.api.Assertions.assertThatThrownBy; import static org.mockito.ArgumentMatchers.any; import static org.mockito.ArgumentMatchers.anyLong; import static org.mockito.ArgumentMatchers.anyString; import static org.mockito.ArgumentMatchers.eq; import static org.mockito.ArgumentMatchers.isNull; +import static org.mockito.Mockito.never; import static org.mockito.Mockito.verify; import static org.mockito.Mockito.when; @@ -49,6 +52,7 @@ class CollectDataPartialResultNoticeTest { @Mock private FileTaskMapper fileTaskMapper; @Mock private FileResultMapper fileResultMapper; + @Mock private com.nanri.aiimage.modules.task.mapper.TaskResultItemMapper taskResultItemMapper; @Mock private CollectDataExcelAssemblyService excelAssemblyService; @Mock private OssStorageService ossStorageService; @Mock private NotificationDispatchService notificationDispatchService; @@ -102,6 +106,8 @@ class CollectDataPartialResultNoticeTest { when(fileTaskMapper.selectById(TASK_ID)).thenReturn(taskWithQueryFailedRows(7)); when(fileResultMapper.selectById(5001L)).thenReturn(result()); when(excelAssemblyService.writeWorkbookStreaming(any(), any(), any(), any())).thenReturn(12L); + // 空明细守卫按明细表行数校验:happy path 下表内行数与写出行数一致。 + when(taskResultItemMapper.selectCount(any())).thenReturn(12L); when(ossStorageService.uploadResultFile(any(), anyString())).thenReturn("collect-data/29991.xlsx"); // 条件更新返回 1:任务翻成成功,这条「部分缺失」通知才会推给用户 when(fileTaskMapper.update(isNull(), any())).thenReturn(1); @@ -138,6 +144,8 @@ class CollectDataPartialResultNoticeTest { when(fileTaskMapper.selectById(TASK_ID)).thenReturn(taskWithQueryFailedRows(7)); when(fileResultMapper.selectById(5001L)).thenReturn(result()); when(excelAssemblyService.writeWorkbookStreaming(any(), any(), any(), any())).thenReturn(12L); + // 空明细守卫按明细表行数校验:happy path 下表内行数与写出行数一致。 + when(taskResultItemMapper.selectCount(any())).thenReturn(12L); when(ossStorageService.uploadResultFile(any(), anyString())).thenReturn("collect-data/29991.xlsx"); when(fileTaskMapper.update(isNull(), any())).thenReturn(0); @@ -146,4 +154,58 @@ class CollectDataPartialResultNoticeTest { verify(notificationDispatchService, org.mockito.Mockito.never()) .pushPartialResult(anyLong(), anyLong(), anyString(), anyString(), anyString()); } + + /** 空明细守卫:明细表有 20 行而本次只写出 12 行=静默丢行,必须让作业重试而不是出缺行文件。 */ + @Test + void 明细缺行时不得上传文件并把任务标成功() { + when(fileTaskMapper.selectById(TASK_ID)).thenReturn(taskWithQueryFailedRows(0)); + when(fileResultMapper.selectById(5001L)).thenReturn(result()); + when(excelAssemblyService.writeWorkbookStreaming(any(), any(), any(), any())).thenReturn(12L); + when(taskResultItemMapper.selectCount(any())).thenReturn(20L); + + assertThatThrownBy(() -> service.processResultFileJob(job())) + .isInstanceOf(BusinessException.class) + .hasMessageContaining("仅写出 12 行"); + + verify(ossStorageService, never()).uploadResultFile(any(), anyString()); + verify(fileTaskMapper, never()).update(isNull(), any()); + } + + /** + * 空明细守卫:task 31253 的形状——result_json 的插入计数写着 93,明细表却一行都没有, + * 于是产出一份 4373 字节的纯表头 xlsx、row_count=0,任务仍被标成「已完成」。 + * 计数与唯一数据源对不上账时不许出表。 + */ + @Test + void 计数有行而明细表为空时不得出空文件() { + FileTaskEntity task = taskWithQueryFailedRows(0); + task.setResultJson("{\"finalRowCount\":93}"); + when(fileTaskMapper.selectById(TASK_ID)).thenReturn(task); + when(fileResultMapper.selectById(5001L)).thenReturn(result()); + when(excelAssemblyService.writeWorkbookStreaming(any(), any(), any(), any())).thenReturn(0L); + when(taskResultItemMapper.selectCount(any())).thenReturn(0L); + + assertThatThrownBy(() -> service.processResultFileJob(job())) + .isInstanceOf(BusinessException.class) + .hasMessageContaining("明细表为空"); + + verify(ossStorageService, never()).uploadResultFile(any(), anyString()); + } + + /** 合法空结果:明细表 0 行且计数也是 0(全部行被过滤掉),照常出表并标成功。 */ + @Test + void 全部行被过滤时空表仍合法出表() { + FileTaskEntity task = taskWithQueryFailedRows(0); + task.setResultJson("{}"); + when(fileTaskMapper.selectById(TASK_ID)).thenReturn(task); + when(fileResultMapper.selectById(5001L)).thenReturn(result()); + when(excelAssemblyService.writeWorkbookStreaming(any(), any(), any(), any())).thenReturn(0L); + when(taskResultItemMapper.selectCount(any())).thenReturn(0L); + when(ossStorageService.uploadResultFile(any(), anyString())).thenReturn("collect-data/29991.xlsx"); + when(fileTaskMapper.update(isNull(), any())).thenReturn(1); + + service.processResultFileJob(job()); + + verify(ossStorageService).uploadResultFile(any(), anyString()); + } } diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/collectdata/service/CollectDataProgressThrottleTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/collectdata/service/CollectDataProgressThrottleTest.java index 5f56a2fc5..65f9ffca2 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/collectdata/service/CollectDataProgressThrottleTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/collectdata/service/CollectDataProgressThrottleTest.java @@ -16,6 +16,7 @@ import org.mockito.Spy; import org.mockito.junit.jupiter.MockitoExtension; import org.springframework.test.util.ReflectionTestUtils; +import java.time.LocalDateTime; import java.util.concurrent.atomic.AtomicInteger; import static org.assertj.core.api.Assertions.assertThat; @@ -34,6 +35,9 @@ import static org.mockito.Mockito.when; * (submitResult 的 done/error/普通 chunk、failTask、finalizeStaleTasks) * 强制执行一次持久化,最终进度不丢失。persistStats 内容感知: * 序列化结果与既有 result_json 逐字节一致时不重写,重复心跳零 UPDATE。 + * + * 节流计时一律按任务自身(updated_at),不再共享服务上的全局时间戳——全局计时会被并发 + * 任务互相重置,把内容不变的心跳饿死成永不落库,进而被陈旧巡检误杀(见并发回归用例)。 */ @ExtendWith(MockitoExtension.class) class CollectDataProgressThrottleTest { @@ -96,9 +100,8 @@ class CollectDataProgressThrottleTest { assertThat(task.getResultJson()).contains("\"totalRows\":10"); assertThat(task.getResultJson()).contains("\"processedRows\":1"); - // 窗口到期后的心跳再次持久化(节流窗口重置)。 - ReflectionTestUtils.setField(service, "lastProgressFlushMillis", - System.currentTimeMillis() - 61_000L); + // 窗口到期后的心跳再次持久化(该任务自身计时到期)。 + task.setUpdatedAt(LocalDateTime.now().minusSeconds(61)); TaskHeartbeatRequest third = new TaskHeartbeatRequest(); third.setCurrent(2); third.setTotal(10); @@ -109,8 +112,8 @@ class CollectDataProgressThrottleTest { @Test void test_task_055_merge_progress_normal_multiple_items() { - // 多任务批量:节流窗口全局共享,窗口内多任务多心跳合并为 1 次落库, - // 无重复 UPDATE;窗口到期后各任务依次补写最新值,进度不丢失。 + // 多任务批量:节流窗口**按任务各自计时**——每支任务在自己的窗口内合并写, + // 别人刚落库不构成把我合并掉的理由。 ReflectionTestUtils.setField(service, "progressThrottleMillis", 60_000L); ReflectionTestUtils.setField(service, "progressDirtyWindowMillis", 60_000L); FileTaskEntity taskA = runningTask(11L); @@ -127,24 +130,55 @@ class CollectDataProgressThrottleTest { heartbeat(service, 11L, 2, 10); heartbeat(service, 12L, 2, 10); - // 窗口内 4 次 changed 心跳只落库 1 次(首条),其余合并写。 - verify(fileTaskMapper, times(1)).updateById(any(FileTaskEntity.class)); - - // 窗口到期后:A 补写最新值,B 仍被合并。 - ReflectionTestUtils.setField(service, "lastProgressFlushMillis", - System.currentTimeMillis() - 61_000L); - heartbeat(service, 11L, 3, 10); + // 每支任务首条 changed 心跳各落库 1 次,其后的窗口内心跳合并写 → 共 2 次。 verify(fileTaskMapper, times(2)).updateById(any(FileTaskEntity.class)); + assertThat(taskA.getResultJson()).contains("\"processedRows\":1"); + assertThat(taskB.getResultJson()).contains("\"processedRows\":1"); + + // A 自身窗口到期后补写最新值;B 仍在自己窗口内,继续被合并。 + taskA.setUpdatedAt(LocalDateTime.now().minusSeconds(61)); + heartbeat(service, 11L, 3, 10); + verify(fileTaskMapper, times(3)).updateById(any(FileTaskEntity.class)); assertThat(taskA.getResultJson()).contains("\"processedRows\":3"); - // B 窗口到期后同样补写,两任务最终进度均为最新值。 - ReflectionTestUtils.setField(service, "lastProgressFlushMillis", - System.currentTimeMillis() - 61_000L); + // B 自身窗口到期后同样补写,两任务最终进度均为最新值。 + taskB.setUpdatedAt(LocalDateTime.now().minusSeconds(61)); heartbeat(service, 12L, 3, 10); - verify(fileTaskMapper, times(3)).updateById(any(FileTaskEntity.class)); + verify(fileTaskMapper, times(4)).updateById(any(FileTaskEntity.class)); assertThat(taskB.getResultJson()).contains("\"processedRows\":3"); } + @Test + void test_task_055_并发任务不得饿死单任务的updated_at() { + // 回归 task 31253:节流计时曾是单例上的一个全局时间戳,约 20 支采集任务并跑时 + // 任一任务的落库都会重置它,于是「心跳内容不变」的那支永远落在别人刚刷过的窗口里 + // 被丢弃,updated_at 停止前进,30 分钟陈旧巡检把还在正常回传分片的活任务判死。 + // 现在计时取任务自身:只要该任务自己的窗口到期,就必须有人替它把 updated_at 顶上去。 + ReflectionTestUtils.setField(service, "progressThrottleMillis", 60_000L); + ReflectionTestUtils.setField(service, "progressDirtyWindowMillis", 30_000L); + FileTaskEntity busy = runningTask(71L); // 一直有新进度的邻居任务 + FileTaskEntity stuck = runningTask(72L); // 长时间卡在一个关键词、心跳内容不变 + stuck.setUpdatedAt(LocalDateTime.now().minusMinutes(20)); + when(fileTaskMapper.selectById(71L)).thenReturn(busy); + when(fileTaskMapper.selectById(72L)).thenReturn(stuck); + when(taskDistributedLockService.acquire(CollectDataService.MODULE_TYPE, 71L, 5_000L)) + .thenReturn(lockHandle); + when(taskDistributedLockService.acquire(CollectDataService.MODULE_TYPE, 72L, 5_000L)) + .thenReturn(lockHandle); + + // 邻居任务连续刷了 5 次,把「全局窗口」反复重置——旧实现正是死在这里。 + for (int i = 1; i <= 5; i++) { + busy.setUpdatedAt(LocalDateTime.now().minusSeconds(61)); // 让它每次都够格落库 + heartbeat(service, 71L, i, 10); + } + assertThat(busy.getUpdatedAt()).isAfter(LocalDateTime.now().minusSeconds(5)); + + // 内容完全相同的重复心跳,仍必须靠自身脏窗口把 updated_at 顶上去。 + heartbeat(service, 72L, 2, 8); + heartbeat(service, 72L, 2, 8); + assertThat(stuck.getUpdatedAt()).isAfter(LocalDateTime.now().minusSeconds(5)); + } + @Test void test_task_055_merge_progress_normal_repeated_operation_is_idempotent() { // 幂等:内容未变化的重复心跳不触发 UPDATE;节流窗口内合并写后 @@ -194,8 +228,7 @@ class CollectDataProgressThrottleTest { verify(fileTaskMapper, times(1)).updateById(any(FileTaskEntity.class)); // 窗口到期后补写最新值(processedRows=4),不丢失。 - ReflectionTestUtils.setField(service, "lastProgressFlushMillis", - System.currentTimeMillis() - 61_000L); + task.setUpdatedAt(LocalDateTime.now().minusSeconds(61)); heartbeat(service, 31L, 4, 21); verify(fileTaskMapper, times(2)).updateById(any(FileTaskEntity.class)); assertThat(task.getResultJson()).contains("\"processedRows\":4"); @@ -219,8 +252,7 @@ class CollectDataProgressThrottleTest { // 窗口内 100 次心跳只落库 1 次,无无界 UPDATE 累积;窗口到期后补写最新值。 verify(fileTaskMapper, times(1)).updateById(any(FileTaskEntity.class)); assertThat(task.getResultJson()).contains("\"processedRows\":1"); - ReflectionTestUtils.setField(service, "lastProgressFlushMillis", - System.currentTimeMillis() - 61_000L); + task.setUpdatedAt(LocalDateTime.now().minusSeconds(61)); heartbeat(service, 41L, 100, 100); verify(fileTaskMapper, times(2)).updateById(any(FileTaskEntity.class)); assertThat(task.getResultJson()).contains("\"processedRows\":100"); @@ -272,7 +304,11 @@ class CollectDataProgressThrottleTest { .hasMessage("db down"); verify(lockHandle, times(1)).close(); - // 恢复后心跳重试:窗口未到期,落库一次成功,进度持久化。 + // 恢复后心跳重试:落库一次成功,进度持久化。 + // 写失败时库里的 updated_at 并未前进,真实链路每条心跳都在 :479 重新 selectById, + // 读到的仍是旧值 ⇒ 会立刻补刷。本用例的 mock 复用同一个实体实例,故先把它退回 + // 「库里那一版」——否则测的是对象别名,不是这条重读语义。 + task.setUpdatedAt(null); heartbeat(service, 61L, 2, 10); verify(fileTaskMapper, times(2)).updateById(any(FileTaskEntity.class)); assertThat(task.getResultJson()).contains("\"processedRows\":2");