fix(collect-data): 进度节流不再借道 updated_at 计时,终态用 summaries 校正
心跳层的 updated_at 检查点在本模块 SPI 之前就把该字段刷成 now,而节流窗口 又拿它当锚点——每条心跳都被自己刚写下去的时间戳合并掉。现网 task 32573: 7 个关键词全部跑完、61 个分片全部回传,processedRows 恒 0,用户端卡片于是 写着「关键词缺口:任务提前结束于 0/7,还有 7 个关键词未采集」,把已完成的任务 报成漏采。节流锚点改为服务内按 taskId 键控的上一次进度落库时刻,只在 UPDATE 成功后推进、任务离 RUNNING 时回收;不塞进 result_json,否则那份 JSON 含墙上 时钟就永久不可复现(快照测试 submit_result_snapshot_is_reproducible 钉的就是它)。 客户端 post_result 不带 current/total,旁路心跳一旦整轮不落地就没有终态进度可用。 summaries 与 processed_items 在客户端成对推进(search_task.py:660-661),条数即 真实已处理关键词数,据此在收尾时校正 processedRows:只抬不砍、不越过 totalRows, task 31253 那种「8 行只跑 2 个关键词」必须继续显示 2/8。 同一张卡片上 invalidFilteredCount 一会儿叫「不符合 ASIN 过滤」一会儿叫「无效品牌」, 而它是品牌黑名单命中的行数,与用户的 ASIN 筛选条件无关,统一为「无效品牌过滤」。 6 条旧节流用例靠手工摆 updated_at 让窗口到期,锚点一换必然失效,改为 expireProgressWindow(service, task)。它们在 setUp 里把节流设成 0,从未覆盖过 生产默认 15000——这也是这个 bug 能藏到现网的原因之一。
This commit is contained in:
+56
-7
@@ -295,6 +295,26 @@ public class CollectDataService extends AbstractFileTaskPipeline<CollectDataResu
|
||||
@Value("${aiimage.collect-data.progress-dirty-window-millis:30000}")
|
||||
private long progressDirtyWindowMillis;
|
||||
|
||||
/**
|
||||
* 每支任务**上一次进度统计落库**的时刻(epoch 毫秒)——节流窗口的唯一锚点。
|
||||
*
|
||||
* <p>为什么不能用 updated_at:它有两个写者。{@code TaskHeartbeatService} 在调用本模块 SPI
|
||||
* **之前**就无条件把 updated_at 刷成 now(COLLECT_DATA 未覆写 {@code checkpointInterval()}
|
||||
* ⇒ 检查点恒判定"到期"),本方法重读实体后拿到的永远是"刚刚落库",于是每条心跳都被
|
||||
* 自己刚写下去的时间戳合并掉。现网 task 32573:7 个关键词全部跑完、61 个分片全部回传,
|
||||
* processedRows 恒 0,前端把已完成的任务报成「还有 7 个关键词未采集」。
|
||||
*
|
||||
* <p>为什么不用 result_json 里的时间戳:那会让 result_json 含墙上时钟而永久不可复现,
|
||||
* 快照测试 {@code submit_result_snapshot_is_reproducible} 就是钉这条的。
|
||||
*
|
||||
* <p>按 taskId 键控,不是服务级单时间戳——后者会被并发任务互相重置,把内容不变的任务
|
||||
* 饿死成永不落库(task 31253,见 {@code test_task_055_并发任务不得饿死单任务的updated_at})。
|
||||
* 主机A/B 各持一份时钟,最坏是每窗口多写一次 UPDATE,不影响正确性。
|
||||
* 条目在任务转入非 RUNNING 时由该早退分支回收。
|
||||
*/
|
||||
private final java.util.concurrent.ConcurrentHashMap<Long, Long> lastProgressFlushMillis =
|
||||
new java.util.concurrent.ConcurrentHashMap<>();
|
||||
|
||||
/** 采集源文件大小上限。0/负值回退默认 50MB,防止解析无界增长。 */
|
||||
private long resolveMaxSourceFileBytes() {
|
||||
Long configured = maxSourceFileBytes;
|
||||
@@ -529,6 +549,8 @@ public class CollectDataService extends AbstractFileTaskPipeline<CollectDataResu
|
||||
private void updateProgressLocked(Long taskId, TaskHeartbeatRequest request) {
|
||||
FileTaskEntity task = fileTaskMapper.selectById(taskId);
|
||||
if (task == null || !MODULE_TYPE.equals(task.getModuleType()) || !STATUS_RUNNING.equals(task.getStatus())) {
|
||||
// 任务已离 RUNNING:回收节流时钟条目,不让它随任务数无界堆积
|
||||
lastProgressFlushMillis.remove(taskId);
|
||||
return;
|
||||
}
|
||||
CollectDataStats stats = loadStats(task);
|
||||
@@ -574,25 +596,32 @@ public class CollectDataService extends AbstractFileTaskPipeline<CollectDataResu
|
||||
if (!shouldForceProgressFlush(task)) {
|
||||
return;
|
||||
}
|
||||
} else if (shouldThrottleProgressFlush(task)) {
|
||||
} else if (shouldThrottleProgressFlush(taskId)) {
|
||||
// 节流窗口内:合并写(只更新内存态、不落库),窗口到期后统一持久化。
|
||||
return;
|
||||
}
|
||||
persistStats(task, stats);
|
||||
// 计时就写在这个随 UPDATE 一起落库的字段上:写失败时库里的 updated_at 仍是旧值,
|
||||
// 下一条心跳在 :479 重新 selectById 读到的还是旧值,会立刻补刷——不需要额外的
|
||||
// catch 回滚内存态(那会多一个 catch 块,且掩盖「本方法每次心跳都重读 DB」这一事实)。
|
||||
task.setUpdatedAt(LocalDateTime.now());
|
||||
fileTaskMapper.updateById(task);
|
||||
// 节流时钟只在写成功之后推进:抛异常时不执行到这里,库里那一版也没前进,
|
||||
// 下一条心跳就会立刻补刷,而不是被一次失败的写留下的窗口挡掉。
|
||||
lastProgressFlushMillis.put(taskId, System.currentTimeMillis());
|
||||
}
|
||||
|
||||
/**
|
||||
* 节流判定:距**该任务自身**上次落库未超过窗口 → 合并写(跳过 UPDATE)。
|
||||
* 节流判定:距**该任务上一次进度统计落库**未超过窗口 → 合并写(跳过 UPDATE)。
|
||||
* progressThrottleMillis<=0 视为关闭节流,恒返回 false(每次心跳都落库,兼容旧行为)。
|
||||
*
|
||||
* <p>锚点是 {@link #lastProgressFlushMillis},不是 updated_at——后者在到达本方法之前已被
|
||||
* {@code TaskHeartbeatService} 的检查点无条件刷成 now(COLLECT_DATA 未覆写
|
||||
* {@code checkpointInterval()} ⇒ 检查点恒到期),拿它计时等于让每条心跳都被自己刚写下去的
|
||||
* 时间戳合并掉:现网 task 32573 的 processedRows 因此恒为 0,前端把跑完的 7 个关键词
|
||||
* 渲染成"还有 7 个关键词未采集"。
|
||||
*/
|
||||
private boolean shouldThrottleProgressFlush(FileTaskEntity task) {
|
||||
private boolean shouldThrottleProgressFlush(Long taskId) {
|
||||
return progressThrottleMillis > 0
|
||||
&& millisSinceTaskFlush(task) < progressThrottleMillis;
|
||||
&& System.currentTimeMillis()
|
||||
- lastProgressFlushMillis.getOrDefault(taskId, 0L) < progressThrottleMillis;
|
||||
}
|
||||
|
||||
/** 脏数据兜底判定:该任务自身距上次落库超过窗口 → 强制刷新一次,保证陈旧巡检看不到在跑的任务。 */
|
||||
@@ -962,6 +991,10 @@ public class CollectDataService extends AbstractFileTaskPipeline<CollectDataResu
|
||||
if (incomingSummaries != null && !incomingSummaries.isEmpty()) {
|
||||
stats.summaries = new ArrayList<>(incomingSummaries);
|
||||
}
|
||||
// 终态进度唯一可信的来源:客户端 60s 旁路心跳可能整轮不落地,而 post_result 不带
|
||||
// current/total;但 summaries 与 processed_items 在客户端是同一条语句成对推进的
|
||||
// (app_client/amazon/search_task.py:660-661),条数就是真实的已处理关键词数。
|
||||
stats.processedRows = terminalProcessedRows(stats.processedRows, stats.summaries, stats.totalRows);
|
||||
persistStats(task, stats);
|
||||
|
||||
if (request.getError() != null && !request.getError().isBlank()) {
|
||||
@@ -1472,6 +1505,22 @@ public class CollectDataService extends AbstractFileTaskPipeline<CollectDataResu
|
||||
task.setResultJson(writeJson(objectMapper, payload, "保存采集统计失败"));
|
||||
}
|
||||
|
||||
/**
|
||||
* 终态进度:以关键词级聚合的条数校正已处理关键词数。
|
||||
*
|
||||
* <p>只抬不砍——task 31253 那种「8 行只跑了 2 个关键词却被标 SUCCESS」必须继续显示 2/8,
|
||||
* 这条读数是它唯一还在说话的地方(见前端 task-progress-readout.ts 的铁律)。
|
||||
* 也不越过 totalRows:summaries 多出来的那几条不是本任务的分母。
|
||||
*/
|
||||
static int terminalProcessedRows(int currentProcessed,
|
||||
List<CollectDataSummaryRowDto> summaries,
|
||||
int totalRows) {
|
||||
if (summaries == null || summaries.isEmpty() || totalRows <= 0) {
|
||||
return currentProcessed;
|
||||
}
|
||||
return Math.max(currentProcessed, Math.min(summaries.size(), totalRows));
|
||||
}
|
||||
|
||||
private String normalizeAsin(String value) {
|
||||
return normalize(value).toUpperCase(Locale.ROOT);
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user