fix(phase-2): 任务活性与失败归因六格收口——在飞豁免/锚点分流/同源判据/回落一元化/巡检按账号分组

蓝图 docs/REFACTOR_PLAN.md Phase 2 的 ①②③④⑥ 五格+台账登记。⑤(failure_category)
未做,原因见文末,不以此笔冒充闭环。

① B74-02 卡死阈值二选一 → 选"扫描询问执行侧",没有抬阈值。
  取证:B 侧 24h 批次 costMs 实测 22,988 / 85,298 / 939,172(单行批次 15.6 分钟),
  A 侧今天 06:07:20 `STUCK_REQUEUE_EXHAUSTED jobId=23815 taskId=33179 stuckRequeueCount=20`,
  06:08 复位恢复、09:20 同样两条=环。真因不是批次长:`startJobHeartbeat` 在父任务终态时
  按 CR-08 刻意停止续期(stage=TERMINAL_STOP_RENEW),执行线程还在跑而 updated_at 冻结,
  扫描每 5 分钟扣一次计数。冻结是**无限期**的,抬到 16 分钟只把 20 次计满从 100 分钟拖到
  320 分钟,还把真遗骸回收拖慢 ⇒ 改为 TaskFileJobService 持内存在飞登记
  (markInFlight/clearInFlight/isInFlight),扫描对"本机线程还在跑"的行不重排也不计数;
  登记面随进程重启即空,遗骸回收形状不变。worker 侧登记在 activateRunningClaim 之后、
  注销在 finally(finishAfterExecution 之后再注销)。

③ B74-03 判死谓词分流(先取证后动手,红线照办)。
  取证:云助手只读 HGETALL+TTL 两枚 stall 键自洽——33179 pos="Linux后台抓取: 606/676"
  与当前 progressText 逐字相同、at 距 now 16,058s(4.46h)、TTL 余 16,342s ⇒ 键 TTL 设定
  32,400s = 9h = 窗口(180min)×3;33149 同样自洽。机制坐实:键一过期 evaluateAgainstSnapshot
  就把起点重锚到 now 并直接 ADVANCING ⇒ 每 9 小时白送一轮完整豁免,沉默客户端永远封不了口
  (11-02 那串"客户端仍在推进"即此形状)。改法:快照缺失/at 读不出与"指纹真变"分口,
  重建锚点锚到**客户端最后一次上报时刻**(位置哈希自己的 at,此前无人读过),再走同一条
  时间判据;客户端确在心跳时锚点仍新鲜 ⇒ 照旧 ADVANCING,判死线不提前(28919 教训在册)。
  P0-C2 快照按"更新即登记"补 3 支:沉默超窗不得豁免/at 读不出走同一条判据/心跳中照旧放行。

② B74-01 三格:landed 与 isJudged 收成同源(mergeLlmRowsIntoChunks 认的"塞回分片"不是结论,
  旧写法给只有 patentRisk 的行打 24h 标记 ⇒ 既不再是候选又无结论列);beginRowInspection 的
  Redis null 由"抢到"改判"未抢到"(抛异常的真降级照旧放行,两条不同路);
  deleteExtraTaskCacheKeys 原删的是从不写入的基键=删空气,改按 processed-rows:{taskId}:*
  游标 SCAN 删真实逐行标记(用 SCAN 不用 KEYS)。新断言做过反向验证:摘掉 isJudged 闸门
  即真红,不是白过。terminalizeRoundExhaustedRows 是按轮次上限终态化的唯一豁免,已写明。

④ B74-04 四台 JSON 回落收成唯一出处 TaskOwnerJsonFallback(result_json 正档先于 request_json;
  店铺采集此前只读 request_json ⇒ 列缺失的 39 行 RUNNING 存量行在不同校验里算出两个归属)。
  TaskOwnerReadSourceGuardrailTest 补回落面:四台不得再有本地回落写法,且顺序钉在那一处。

⑥ B73-03 巡检分组键按供应商账号折(供应商, 提取域, 排序后 query 的摘要——只落摘要,
  链接里的账密明文不进日志/告警面)。青果整个账号只有 1 条通道,旧 moduleKey|channel|密文
  让同一把 key 多开几枪就自己把用户的代理打成 channel_busy。另一半边界同样钉住:
  非链接型凭据(LLM 密钥)照旧逐模块分组,否则拿 A 渠道的结论冒充 B。

台账:SourceScanTest 裸名 23→24(新增 TaskOwnerJsonFallback.java 这一枚),
  与 2026-11-02 那次 22→23 同法逐笔写明是谁的哪一笔、为什么只能打在源码连线上。

门禁实录:mvn -o test 整量 **5256 例/0 失败/0 错误/19 skipped,BUILD SUCCESS**;
  mvn -o test-compile rc=0;定向面另点过(56/88/34+70/63/104 例全绿);
  本仓后端无 spotless/checkstyle ⇒ lint 与格式步如实登记、不是漏执行。

未做的一格(⑤ B51-R1 failure_category):取证显示 biz_file_task.error_message 的落库点
  **没有单一出口**(LambdaUpdateWrapper.set(errorMessage) 15 处+setErrorMessage 若干,
  合计约 25 处,且清 null 的分支也必须同步清列)。这不是"改一支方法"的量级,
  拿半截双写冒充 Expand 会变成列恒为 NULL 的死代码 ⇒ 留作单独一笔,蓝图保持未勾。
This commit is contained in:
2026-11-03 10:47:59 +08:00
parent 66621d8a16
commit 34f730d403
19 changed files with 653 additions and 64 deletions
@@ -4,10 +4,13 @@ import com.nanri.aiimage.modules.appearancepatent.model.dto.AppearancePatentResu
import com.nanri.aiimage.modules.task.service.AbstractPendingRowTaskCacheService;
import com.fasterxml.jackson.databind.ObjectMapper;
import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.core.Cursor;
import org.springframework.data.redis.core.ScanOptions;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;
import java.time.Duration;
import java.util.ArrayList;
import java.util.List;
/**
@@ -36,9 +39,45 @@ public class AppearancePatentTaskCacheService extends AbstractPendingRowTaskCach
super("appearance-patent", AppearancePatentResultRowDto.class, stringRedisTemplate, objectMapper);
}
/** 单次清理最多删除多少枚逐行标记(游标侧的安全阀,防止把一次清理变成无界扫描)。 */
private static final int ROW_MARK_DELETE_LIMIT = 20_000;
@Override
protected void deleteExtraTaskCacheKeys(Long taskId) {
stringRedisTemplate.delete(processedRowsKey(taskId));
// B74-01:这里原本删的是 processedRowsKey(taskId)——一枚**从不被写入**的基键。
// 真实完成标记是逐行键 ...:processed-rows:{taskId}:{rowKey},所以"清了任务缓存"
// 一枚行标记都清不掉:任务清完后 24 小时内重建,行仍被标记挡着不再检测,
// 声称保护但不保护。逐行键没有索引,只能按前缀游标扫;用 SCAN 而不是 KEYS
// (KEYS 在生产 redis 上是阻塞命令)。
String pattern = processedRowsKey(taskId) + ":*";
List<String> found = new ArrayList<>();
try (Cursor<String> cursor = stringRedisTemplate.scan(
ScanOptions.scanOptions().match(pattern).count(500).build())) {
while (cursor != null && cursor.hasNext()) {
String key = cursor.next();
if (key != null && !key.isBlank()) {
found.add(key);
}
if (found.size() >= ROW_MARK_DELETE_LIMIT) {
log.warn("[appearance-patent-cache] 行标记清理已达单轮上限,剩余由 TTL 兜底 "
+ "taskId={} limit={}", taskId, ROW_MARK_DELETE_LIMIT);
break;
}
}
} catch (Exception ex) {
// 与本类其余降级口径一致:清不掉就报出来,别让调用方以为"已经清干净了"。
log.warn("[appearance-patent-cache] delete row marks degraded taskId={} pattern={} msg={}",
taskId, pattern, ex.getMessage());
return;
}
if (found.isEmpty()) {
return;
}
// 逐行键一起删:基键顺手也删一次(今天它依然不存在,但形状上它是这一族的目录名)。
found.add(processedRowsKey(taskId));
stringRedisTemplate.delete(found);
log.info("[appearance-patent-cache] 行标记已随任务缓存清理 taskId={} rowMarks={}",
taskId, found.size() - 1);
}
/**
@@ -58,7 +97,11 @@ public class AppearancePatentTaskCacheService extends AbstractPendingRowTaskCach
}
Boolean first = stringRedisTemplate.opsForValue().setIfAbsent(
inFlightRowKey(taskId, rowKey), "1", IN_FLIGHT_TTL);
return first == null || first;
// B74-01:Redis 回 null(管道/事务态、集群未回包)不等于"抢到了"。旧写法
// `first == null || first` 把「没抢到」读成「抢到了」,同一行可能被两个入口同时发出去
// ——重复计费,且两路各自 CAS 同一行。读不出就按未抢到处理,让下一轮重新申领。
// 注意这不同于 Redis 抛异常:真降级在下面的 catch 里放行,由持久化层 isJudged 兜底。
return Boolean.TRUE.equals(first);
} catch (Exception ex) {
log.warn("[appearance-patent-cache] begin row inspection degraded taskId={} rowKey={} msg={}", taskId, rowKey, ex.getMessage());
// Redis 降级时放行,由持久化层的 AppearancePatentRowOutcome.isJudged 判据兜底去重。
@@ -208,7 +208,15 @@ public class AppearancePatentLlmBatchPipeline {
Set<String> landedKeys = mergeLlmRowsIntoChunks(task, llmRows, batchRows, rowKeyIndex);
// 完成标记只能打在真正落库的行上——这是「发版重启会不会丢行」的分界线
if (batchAnswered) {
List<String> landed = batchRowKeys.stream().filter(landedKeys::contains).toList();
// B74-01:landed(被塞回某个分片载荷)与 isJudged(有结论列)是两套判据,
// 谁说了算必须只有一个。候选侧(collectPendingLlmCandidates)用的是 isJudged,
// 所以完成标记也必须只打给 isJudged 认的行——否则一行拿到 24 小时标记却没有
// 结论列:它既不再是候选(被标记挡着),也没结论可出,只能等补检把标记连根撤掉。
Set<String> judgedKeys = judgedRowKeys(llmRows);
List<String> landed = batchRowKeys.stream()
.filter(landedKeys::contains)
.filter(judgedKeys::contains)
.toList();
if (!landed.isEmpty()) {
taskCacheService.completeRowInspection(task.getId(), landed);
}
@@ -547,6 +555,32 @@ public class AppearancePatentLlmBatchPipeline {
return rowKeyer.apply(row);
}
/**
* 本批里「已经有结论」的行键。候选侧({@code collectPendingLlmCandidates})与完成标记侧
* 共用同一枚 {@link AppearancePatentRowOutcome#isJudged},这就是 B74-01 要的同源判据:
* 「谁说了算」只能有一个,否则一行会同时「被标记挡住不再是候选」且「没有结论列可出」。
*
* <p>唯一的例外是 {@code terminalizeRoundExhaustedRows}:那里的行是按**轮次上限**终态化的
* (结论列写着「重发轮次已达上限」),它的完成标记正是有界路径的收口闸门,按 isJudged 再筛
* 会让这些行永远回到候选——那才是无界循环。
*/
private Set<String> judgedRowKeys(List<AppearancePatentResultRowDto> rows) {
Set<String> keys = new LinkedHashSet<>();
if (rows == null) {
return keys;
}
for (AppearancePatentResultRowDto row : rows) {
if (row == null || !AppearancePatentRowOutcome.isJudged(row)) {
continue;
}
String key = rowKey(row);
if (key != null && !key.isBlank()) {
keys.add(key);
}
}
return keys;
}
private Map<String, AppearancePatentResultRowDto> readChunkRows(TaskChunkEntity chunk) {
return chunkRowReader.apply(chunk);
}
@@ -4,6 +4,7 @@ import com.fasterxml.jackson.databind.ObjectMapper;
import com.nanri.aiimage.common.exception.TaskOwnerMismatchException;
import com.nanri.aiimage.config.InstanceMetadata;
import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity;
import com.nanri.aiimage.modules.task.service.support.TaskOwnerJsonFallback;
import lombok.extern.slf4j.Slf4j;
import java.util.Objects;
@@ -82,17 +83,9 @@ public class AppearancePatentTaskOwnership {
if (task.getOwnerInstanceId() != null && !task.getOwnerInstanceId().isBlank()) {
return task.getOwnerInstanceId();
}
if (task.getResultJson() == null || task.getResultJson().isBlank()) {
return null;
}
try {
String owner = objectMapper.readTree(task.getResultJson()).path("ownerInstanceId").asText("");
return owner.isBlank() ? null : owner;
} catch (Exception ex) {
log.warn("[appearance-patent] read task owner failed taskId={} err={}",
task.getId(), ex.getMessage());
return null;
}
// 回落口径四台共用一处(B74-04):本台此前只读 result_json,店铺采集读 request_json,
// 同一条列缺失的行在两台眼里会有两个归属。
return TaskOwnerJsonFallback.ownerFrom(task, objectMapper, "appearance-patent");
}
public String ownerFromScopeKey(String scopeKey) {