feat(PENDING 判死): 所有模块的等待中单超 24 小时判死,原地可重试(2026-11-06 产品拍板)
起因:现网 33462(uid=1245,数据采集 文档格式.xlsx,17 行)提交后 20 小时停在「等待中」, updated_at 与 created_at 逐字相同、零分片回传;同批 33103 已挂 6 天。ONLINE 通道没有服务端认领方 (客户端拉取 SQL 硬性要求通道为 LOCAL、内部认领端点默认关闭且从不以 COLLECT_DATA 请求), 把这一单翻成 RUNNING 的唯一动作是界面发 activate——用户没点,"等待中"就成了事实终态: 界面不报错、后台不判死、无人通知。 - StaleTaskRepairService 新增 repairFileTaskStalePending():PENDING 且 updated_at 超 24h → FAILED, 判死文案唯一出处 PENDING_UNCLAIMED_REASON 供 markers 引用(两处各写一遍就会改一处静默失效) - TaskRetryEligibility 新增 Category.UNCLAIMED + UNCLAIMED_MARKERS ⇒ 这一档不进自动重试: 否则会被复位成 PENDING、再等满 24 小时,白烧一轮排队与通知,还把"没人点启动"洗成"上游坏了" - 三处刻意形状:基准用 updated_at 不用 created_at(重试复位过的单按最后一次状态变更起算); UPDATE 里复验 status+updated_at(查询与写入之间用户可能刚点启动,只按 id+status 会把刚被 领走的单判死);不调 markDeadDownstream(这一档的定义就是没被领走,无结果行无出表作业) 口径冲突如实处理:2026-10-29 那条「PENDING 一律不判死」被本笔覆盖,但它防的是阈值太短 (按 2 小时清杀排队任务并连锁自动克隆重试,现网 2026-10-28 用户 1211 两条 829 行任务), 不是"PENDING 永远不该有终态";克隆放大那条早已被铁律 26 换成本地原地重试。剩下的已知代价 (排队真久的单也会被扫到)写进类注释,靠界面「重试」接回。 判据:StaleTaskRepairServiceTest 改写 1 格+新增 2 格(8 例),MarkersSnapshot 新增 「Category 全集必须逐个登记 markers 组」(加一档不登记即红——本笔实测三支既有测试 21 例 全绿,正是那个缺口的现场)。反向验过三处:摘 CAS updated_at 复验/摘 failure_category 写点/ 摘判定分支,各出真红后还原全绿(前两次因 CRLF 未落地的"假反向"已被逐行定位断言挡下)。
This commit is contained in:
+66
-16
@@ -17,7 +17,6 @@ import org.mockito.ArgumentCaptor;
|
||||
import org.springframework.test.util.ReflectionTestUtils;
|
||||
|
||||
import java.time.LocalDateTime;
|
||||
import java.util.Arrays;
|
||||
import java.util.List;
|
||||
import java.util.Map;
|
||||
|
||||
@@ -60,25 +59,76 @@ class StaleTaskRepairServiceTest {
|
||||
TableInfoHelper.initTableInfo(new MapperBuilderAssistant(new MybatisConfiguration(), ""), FileResultEntity.class);
|
||||
}
|
||||
|
||||
/**
|
||||
* PENDING 判死(2026-11-06 产品拍板:所有模块的 PENDING 超 24 小时判死、原地可重试)。
|
||||
*
|
||||
* <p><b>本格原先钉的是 2026-10-29 那条「PENDING 一律不判死」,现按新口径改写而不是删掉</b>:旧口径防的是
|
||||
* <b>阈值太短</b>——按 2 小时清杀会把排队任务误判成"长期未被领取",还连锁触发自动克隆重试(现网 2026-10-28
|
||||
* 用户 1211 两条 829 行任务)。它从来不是"PENDING 永远不该有终态"。另一端也被现网证伪了:33462 提交后挂
|
||||
* 20 小时、33103 挂 6 天停在「等待中」,界面不报错、后台不判死、无人通知——ONLINE 通道没有服务端认领方,
|
||||
* "等待中"就此被当成终态。两条已知代价钉在下面四格里,别把它们当可放宽的实现细节:
|
||||
* ① 基准必须 updated_at(重试复位过的单要从最后一次状态变更起算);
|
||||
* ② 回写必须复验 status+updated_at(查询与写入之间用户可能刚好点了启动,activate 是 PENDING→RUNNING
|
||||
* 的条件更新,少这一条就把刚被领走的单判死);
|
||||
* ③ 写 error_message 必须紧邻配对 failure_category(B82-01 那条:列不写,这一族失败在按 source 出账的
|
||||
* 报表里就是隐身);
|
||||
* ④ 判死档必须落 UNCLAIMED 从而<b>不</b>进自动重试——自动重试只会把它复位成 PENDING、再等满 24 小时。
|
||||
*/
|
||||
@Test
|
||||
void PENDING_排队超时不判死_判死入口不得回填() {
|
||||
// 2026-10-29 产品口径:PENDING 是排队态,AP worker 串行跑大任务时队列再长也保留,
|
||||
// 由 pull 认领;按更新时间清杀会把排队任务误判成「长期未被领取」,还会连锁触发自动重试。
|
||||
assertNull(Arrays.stream(StaleTaskRepairService.class.getDeclaredMethods())
|
||||
.filter(method -> "repairFileTaskStaleIdle".equals(method.getName()))
|
||||
.findFirst().orElse(null),
|
||||
"PENDING 判死入口不得回填:排队中的任务要一直留着等 worker 领取");
|
||||
void PENDING_超24小时无人领取必须判死_基准与回写都按updated_at() {
|
||||
when(fileTaskMapper.selectList(any())).thenReturn(List.of(task(33462L, "PENDING")));
|
||||
when(fileTaskMapper.update(isNull(), any())).thenReturn(1);
|
||||
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStalePending");
|
||||
|
||||
ArgumentCaptor<Wrapper<FileTaskEntity>> selectCaptor = wrapperCaptor();
|
||||
verify(fileTaskMapper).selectList(selectCaptor.capture());
|
||||
String select = selectCaptor.getValue().getSqlSegment();
|
||||
assertTrue(select.contains("updated_at"), "判死基准必须用 updated_at,不是 created_at");
|
||||
assertFalse(select.contains("created_at"),
|
||||
"退回 created_at 会把反复重试的活第二次就判死——重试复位刷的是 updated_at");
|
||||
assertTrue(paramsOf(selectCaptor.getValue()).containsValue("PENDING"),
|
||||
"判死巡检必须扫得到 PENDING 这一档(2026-10-29 那格的口径已被 2026-11-06 覆盖)");
|
||||
|
||||
ArgumentCaptor<Wrapper<FileTaskEntity>> updateCaptor = wrapperCaptor();
|
||||
verify(fileTaskMapper).update(isNull(), updateCaptor.capture());
|
||||
String updateWhere = updateCaptor.getValue().getSqlSegment();
|
||||
assertTrue(updateWhere.contains("status"), "回写必须带 status 条件:只认仍是 PENDING 的行");
|
||||
assertTrue(updateWhere.contains("updated_at"),
|
||||
"回写必须复验 updated_at:查询与写入之间被 activate 领走的单不许被判死");
|
||||
Map<String, Object> params = paramsOf(updateCaptor.getValue());
|
||||
assertTrue(params.containsValue("PENDING"), "CAS 的旧值必须是 PENDING");
|
||||
assertTrue(params.containsValue("FAILED"), "终态写 FAILED");
|
||||
}
|
||||
|
||||
@Test
|
||||
void PENDING_判死必须登记failure_category_且不碰结果行与作业() {
|
||||
when(fileTaskMapper.selectList(any())).thenReturn(List.of(task(33103L, "PENDING")));
|
||||
when(fileTaskMapper.update(isNull(), any())).thenReturn(1);
|
||||
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStalePending");
|
||||
|
||||
Map<String, Object> params = updateParams(1);
|
||||
assertTrue(containsMessage(params, "没有采集端领取"), "文案要说出真实成因:没人领取,不是上游坏了");
|
||||
assertTrue(params.containsValue("UNCLAIMED"),
|
||||
"failure_category 必须落 UNCLAIMED:列不写这一族就在按 source 出账的报表里隐身");
|
||||
// 判死档要挡住自动重试:UNCLAIMED 属不可抗力类,自动续跑不该把它复位成 PENDING 再等满 24 小时
|
||||
String reason = StaleTaskRepairService.PENDING_UNCLAIMED_REASON;
|
||||
assertEquals(TaskRetryEligibility.Category.UNCLAIMED, TaskRetryEligibility.forceMajeureCategory(reason),
|
||||
"判死文案与 markers 一旦分叉(改了阈值或措辞),这一单会被自动重试反复复位");
|
||||
|
||||
// 这一档的定义就是"从没被任何 worker 领走":没有结果行、也没有出表作业。
|
||||
// 调 markDeadDownstream 只会多两条按 taskId 的 UPDATE,并把「下游已改口」的日志说成事实。
|
||||
verify(fileResultMapper, never()).update(any(), any());
|
||||
verify(taskFileJobService, never()).failUnfinishedJobs(any(), any());
|
||||
}
|
||||
|
||||
@Test
|
||||
void 没有候选_PENDING_时不写库() {
|
||||
when(fileTaskMapper.selectList(any())).thenReturn(List.of());
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleScheduled");
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStaleRunning");
|
||||
|
||||
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
|
||||
verify(fileTaskMapper, org.mockito.Mockito.times(2)).selectList(captor.capture());
|
||||
for (Wrapper<FileTaskEntity> wrapper : captor.getAllValues()) {
|
||||
assertFalse(paramsOf(wrapper).containsValue("PENDING"),
|
||||
"判死巡检不得再扫 PENDING:排队任务既不许按 updated_at 清杀,也不许被别的分支误伤");
|
||||
}
|
||||
ReflectionTestUtils.invokeMethod(service, "repairFileTaskStalePending");
|
||||
|
||||
verify(fileTaskMapper, never()).update(any(), any());
|
||||
}
|
||||
|
||||
|
||||
+30
@@ -66,6 +66,31 @@ class TaskRetryEligibilityMarkersSnapshotTest {
|
||||
// 停止文案不在这里抄字面量——引用 TaskResumeService 的同一份常量(抄一份改一处就静默失效)。
|
||||
assertThat(markers("STOPPED_MARKERS"))
|
||||
.containsExactly(TaskResumeService.DUPLICATE_STOP_REASON);
|
||||
// 无人领取同理:唯一出处是 StaleTaskRepairService 的判死文案,抄第二份就会改一处静默失效
|
||||
// ——阈值一改(那句里的"24 小时"跟着变),这一档认不出来,单会被自动重试反复复位。
|
||||
assertThat(markers("UNCLAIMED_MARKERS"))
|
||||
.containsExactly(StaleTaskRepairService.PENDING_UNCLAIMED_REASON);
|
||||
}
|
||||
|
||||
/**
|
||||
* Category 与 markers 组必须逐个对上:加一档而不在这里登记,本格即红。
|
||||
*
|
||||
* <p>上一格只做"已登记的 markers 是否被认出来",所以新增一档可以完全绕过它(2026-11-06 加
|
||||
* UNCLAIMED 时三支既有测试 21 例全绿,正是这个缺口的现场)。判生死的东西不该靠"有人记得加一行"。
|
||||
*/
|
||||
@Test
|
||||
void Category全集必须逐个有markers组_加一档不登记即红() {
|
||||
java.util.Map<TaskRetryEligibility.Category, List<String>> registered = new java.util.LinkedHashMap<>();
|
||||
registered.put(TaskRetryEligibility.Category.BALANCE, List.of("BALANCE_MARKERS", "KEY_MARKERS"));
|
||||
registered.put(TaskRetryEligibility.Category.SERVICE_DOWN, List.of("SERVICE_MARKERS"));
|
||||
registered.put(TaskRetryEligibility.Category.CREDENTIAL, List.of("CREDENTIAL_MARKERS"));
|
||||
registered.put(TaskRetryEligibility.Category.DELIVERY, List.of("DELIVERY_MARKERS"));
|
||||
registered.put(TaskRetryEligibility.Category.STOPPED, List.of("STOPPED_MARKERS"));
|
||||
registered.put(TaskRetryEligibility.Category.UNCLAIMED, List.of("UNCLAIMED_MARKERS"));
|
||||
assertThat(java.util.Arrays.stream(TaskRetryEligibility.Category.values())
|
||||
.filter(category -> !registered.containsKey(category)).toList())
|
||||
.as("有新档位没有登记 markers 组:它判得出类别却认不出文案,自动重试会照跑")
|
||||
.isEmpty();
|
||||
}
|
||||
|
||||
@Test
|
||||
@@ -95,6 +120,11 @@ class TaskRetryEligibilityMarkersSnapshotTest {
|
||||
.as("停止 marker %r 应判 STOPPED(再克隆等于把双跑捡回来)", marker)
|
||||
.isEqualTo(TaskRetryEligibility.Category.STOPPED);
|
||||
}
|
||||
for (String marker : markers("UNCLAIMED_MARKERS")) {
|
||||
assertThat(TaskRetryEligibility.forceMajeureCategory(marker))
|
||||
.as("无人领取 marker %r 应判 UNCLAIMED(这一档不进自动重试)", marker)
|
||||
.isEqualTo(TaskRetryEligibility.Category.UNCLAIMED);
|
||||
}
|
||||
}
|
||||
|
||||
@Test
|
||||
|
||||
Reference in New Issue
Block a user