fix(采集数据): 心跳落库节流改按任务自身计时;空结果文件不再冒充成功

两处独立缺陷,同一场事故(task 31253:已完成 + 总进度 25% + 下载是空白):

1) lastProgressFlushMillis 是单例上的一个全局时间戳,却被用来做每支任务的心跳
   落库节流(注释里写的「任务级」是意图,不是实现)。约 20 支采集任务并跑时,
   任一任务的落库都会重置它,于是「心跳内容不变」的那支永远落在别人刚刷过的窗口
   里被丢弃,updated_at 停止前进,30 分钟陈旧巡检把还在正常回传分片的活任务判死
   ——21:52 被 stale 收尾,而客户端 20:47 还在回传第 19 个分片。计时改成读任务
   自身的 updated_at,并在每次心跳 :479 的重读上自然成立,不需要额外 catch
   (CatchSilenceRatchetTest 的口径同批核过)。

2) 结果文件组装没有任何空表守卫:明细 sheet 唯一数据源 biz_task_result_item 为
   0 行时,仍然出表(4373 字节纯表头、111ms)、上传、写 row_count=0 并把任务标成
   SUCCESS。现在写出行数与表内行数不一致、或表内 0 行而计数有行,一律抛异常让作业
   重试,宁可不给文件也不给一张空表。全部行被过滤(计数也是 0)仍是合法空结果。

3) 组装阶段重算的 finalRowCount 此前从不落库——persistStats 只改内存实体,紧随的
   唯一那条 UPDATE 不含 result_json,界面上的「保留 N 行」于是永远停在组装前的插入
   计数(31253 表里 0 行仍显示 93;对照 31300 表里 292 行计数却写 130)。补进同一条
   条件更新。
This commit is contained in:
2026-10-18 17:12:28 +08:00
parent d22a9e2164
commit e90e5e7f64
3 changed files with 178 additions and 34 deletions
@@ -81,6 +81,7 @@ import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.PushbackInputStream;
import java.time.Duration;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.ArrayList;
@@ -222,9 +223,6 @@ public class CollectDataService {
@Value("${aiimage.collect-data.progress-dirty-window-millis:30000}")
private long progressDirtyWindowMillis;
/** 上次进度统计实际落库时间戳(任务级,单机内存态;无锁竞争风险由任务分布式锁兜底)。 */
private long lastProgressFlushMillis;
/** 采集源文件大小上限。0/负值回退默认 50MB,防止解析无界增长。 */
private long resolveMaxSourceFileBytes() {
Long configured = maxSourceFileBytes;
@@ -518,34 +516,51 @@ public class CollectDataService {
changed = true;
}
if (!changed) {
// 内容未变化:仅当脏数据兜底窗口到期时才强制刷新一次,
// 内容未变化:仅当该任务自身的脏数据兜底窗口到期时才强制刷新一次,
// 否则零 UPDATE(重复心跳幂等)。
if (!shouldForceProgressFlush()) {
if (!shouldForceProgressFlush(task)) {
return;
}
} else if (shouldThrottleProgressFlush()) {
} else if (shouldThrottleProgressFlush(task)) {
// 节流窗口内:合并写(只更新内存态、不落库),窗口到期后统一持久化。
return;
}
persistStats(task, stats);
// 计时就写在这个随 UPDATE 一起落库的字段上:写失败时库里的 updated_at 仍是旧值,
// 下一条心跳在 :479 重新 selectById 读到的还是旧值,会立刻补刷——不需要额外的
// catch 回滚内存态(那会多一个 catch 块,且掩盖「本方法每次心跳都重读 DB」这一事实)。
task.setUpdatedAt(LocalDateTime.now());
fileTaskMapper.updateById(task);
lastProgressFlushMillis = System.currentTimeMillis();
}
/**
* 节流判定:progressThrottleMillis>0 且距上次实际落库未超过窗口 → 合并写(跳过 UPDATE)。
* 节流判定:距**该任务自身**上次落库未超过窗口 → 合并写(跳过 UPDATE)。
* progressThrottleMillis<=0 视为关闭节流,恒返回 false(每次心跳都落库,兼容旧行为)。
*/
private boolean shouldThrottleProgressFlush() {
private boolean shouldThrottleProgressFlush(FileTaskEntity task) {
return progressThrottleMillis > 0
&& System.currentTimeMillis() - lastProgressFlushMillis < progressThrottleMillis;
&& millisSinceTaskFlush(task) < progressThrottleMillis;
}
/** 脏数据兜底判定:progressDirtyWindowMillis>0 且距上次实际落库超过窗口 → 强制刷新一次。 */
private boolean shouldForceProgressFlush() {
/** 脏数据兜底判定:该任务自身距上次落库超过窗口 → 强制刷新一次,保证陈旧巡检看不到在跑的任务。 */
private boolean shouldForceProgressFlush(FileTaskEntity task) {
return progressDirtyWindowMillis > 0
&& System.currentTimeMillis() - lastProgressFlushMillis >= progressDirtyWindowMillis;
&& millisSinceTaskFlush(task) >= progressDirtyWindowMillis;
}
/**
* 计时一律取任务自身的 updated_at,不许换成服务上的单个时间戳:本方法是单例,
* 全局时间戳会被并发任务(实测约 20 支采集任务同时在跑)中任何一个的落库重置,
* 于是「心跳内容不变」的任务永远落在别人刚刷过的窗口里被丢弃,updated_at 停止前进,
* 30 分钟陈旧巡检把还在正常回传分片的活任务判死并终态化(task 31253:20:47 仍在回传,
* 21:52 被 stale 收尾,结果文件按当时的空明细出表)。
*/
private long millisSinceTaskFlush(FileTaskEntity task) {
LocalDateTime last = task.getUpdatedAt();
if (last == null) {
return Long.MAX_VALUE;
}
return Math.max(0L, Duration.between(last, LocalDateTime.now()).toMillis());
}
@Scheduled(cron = "${aiimage.collect-data.stale-check-cron:0 */2 * * * *}")
@@ -1163,6 +1178,8 @@ public class CollectDataService {
batch -> streamFinalRows(task.getId(), batch),
stats.summaries,
batch -> streamRawRows(task.getId(), batch));
// 空表头文件不得当作成果交付:先校验再上传(见 guardDetailRowsWritten)。
guardDetailRowsWritten(task.getId(), finalRowCount, stats);
String objectKey = ossStorageService.uploadResultFile(xlsx, MODULE_TYPE);
// 复用同一份 stats 更新 finalRowCount 后再持久化,避免重复 loadStats 丢失 summaries。
@@ -1198,6 +1215,10 @@ public class CollectDataService {
.set(FileTaskEntity::getStatus, STATUS_SUCCESS)
.set(FileTaskEntity::getSuccessFileCount, 1)
.set(FileTaskEntity::getFailedFileCount, 0)
// 组装阶段按明细表重算的 finalRowCount 必须随本条 UPDATE 一起落库:
// persistStats 只改内存实体,此前这条语句不含 result_json,导致界面上的
// 「保留 N 行」永远停在组装前的插入计数(task 31253:表里 0 行仍显示 93)。
.set(FileTaskEntity::getResultJson, task.getResultJson())
.set(FileTaskEntity::getErrorMessage, null)
.set(FileTaskEntity::getUpdatedAt, LocalDateTime.now())
.set(FileTaskEntity::getFinishedAt, LocalDateTime.now()));
@@ -1225,6 +1246,31 @@ public class CollectDataService {
}
}
/**
* 空明细守卫:明细 sheet 的行唯一来自 biz_task_result_item,写出的行数必须与表内行数一致。
* 不一致就抛异常让结果文件作业重试,而不是上传一份只有表头的 xlsx 再把任务标成成功——
* 后者在界面上就是「已完成 + 保留 N 行 + 下载下来是空白」(task 31253 实测:明细表 0 行、
* 出表耗时 111ms、文件 4373 字节纯表头,而 result_json 里的计数仍写着 93,两边都对不上账)。
* 表内确实 0 行且计数也是 0(全部行被过滤掉)属于合法空结果,照常出表。
*/
private void guardDetailRowsWritten(Long taskId, long finalRowCount, CollectDataStats stats) {
Long stored = taskResultItemMapper.selectCount(new LambdaQueryWrapper<TaskResultItemEntity>()
.eq(TaskResultItemEntity::getTaskId, taskId)
.in(TaskResultItemEntity::getModuleType, MODULE_TYPE, LEGACY_MODULE_TYPE));
long itemRows = stored == null ? 0L : stored;
if (itemRows > 0L) {
if (finalRowCount < itemRows) {
throw new BusinessException("采集结果明细共 " + itemRows + " 行,本次仅写出 " + finalRowCount
+ " 行,结果文件不生成缺行版本,等待重试");
}
return;
}
if (stats != null && stats.finalRowCount > 0) {
throw new BusinessException("采集结果计数为 " + stats.finalRowCount + " 行,但结果明细表为空,"
+ "结果文件不生成空表,等待重试");
}
}
/**
* 分批流式读取采集结果明细(按 id 分页游标),每批消费完即可释放,
* 避免几十万行明细对象整体驻留堆内存;返回写入的明细行总数。