fix(owner): 跨实例归属背离改为转交作业,不再无限 defer 空转
领取按 biz_task_file_job.owner、执行时校验按 biz_file_task.owner_instance_id, 任务转交后两列一旦背离就是互斥死锁:能领到这行的实例必被校验拒,校验放过的 实例必领不到这行;而拒绝分支 deferRunning 既不计 retry_count 也不计 stuck_requeue_count 还每轮刷新 updated_at,卡死重排与 PENDING 遗骸两条兜底 因此永不触发。现网外观专利 33179/33149 停在 PENDING 每 15 秒被拒一次,单机 12 小时 6381 条拒绝,进度快照冻结 4 小时 19 分,既不失败也不完成。 - TaskFileJobService: 新增 handOffToOwner(owner 列与 scope_key 尾段一起改挂, CAS 按观测到的旧 owner 回撞)与 withOwnerScopeKey(ownerFromScopeKey 的逆操作); enqueueAssembleResult 的 PENDING 分支改为按入队 scopeKey 对账归属——Python 超时恢复每 2 分钟走这一格一次,原先只补发事件不对账等于每 2 分钟确认死锁还在。 - TaskResultFileJobWorker: 归属拒绝改为先改挂再退回。转交后两列重合,拒绝条件 按构造不再成立,因此不需要额外计数兜底。 - 相似ASIN/发布 ownerFromTask 改为 owner_instance_id 列优先:原先只读 resultJson 快照(转交后不再同步),转交目标会算错、死锁只是换个方向。店铺采集本就列优先,未动。 判据:TaskFileJobOwnerHandOffTest(11) + TaskResultFileJobWorkerOwnerHandOffTest(3) + TaskOwnerReadSourceGuardrailTest(5,含四台校验源同源的源码绊线,已反向验证 "改回只读快照即红")。SourceScanTest 台账按设计登记新消费方:裸名 22→23、 调用方 16→17。后端整量 5206 支 0 失败 19 skipped。
This commit is contained in:
+17
-1
@@ -1322,8 +1322,24 @@ public class PublishTaskService extends AbstractFileTaskPipeline<PublishRowDto>
|
||||
task == null ? null : task.getId(), operation, owner, currentInstanceId());
|
||||
}
|
||||
|
||||
/**
|
||||
* 归属实例 id:<b>优先读显式列 {@code owner_instance_id}</b>,列缺失时才回落 {@code resultJson} 快照。
|
||||
*
|
||||
* <p>原先只读快照,而快照是建单那一刻写死的、任务转交后不再同步(转交写的是列)。
|
||||
* 本方法给出的值同时是 worker 侧转交作业的目标实例({@code TaskFileJobService#handOffToOwner}
|
||||
* 按 {@code TaskOwnerMismatchException#getOwnerInstanceId()} 改挂),读陈旧快照会把作业转交给
|
||||
* 已经不管这行的实例,死锁只是换了个方向。与 {@code AppearancePatentTaskOwnership#ownerFromTask}
|
||||
* 同一口径。
|
||||
*/
|
||||
private String ownerFromTask(FileTaskEntity task) {
|
||||
if (task == null || task.getResultJson() == null || task.getResultJson().isBlank()) {
|
||||
if (task == null) {
|
||||
return null;
|
||||
}
|
||||
String column = task.getOwnerInstanceId();
|
||||
if (column != null && !column.isBlank()) {
|
||||
return column.trim();
|
||||
}
|
||||
if (task.getResultJson() == null || task.getResultJson().isBlank()) {
|
||||
return null;
|
||||
}
|
||||
try {
|
||||
|
||||
+19
-3
@@ -115,8 +115,25 @@ public class SimilarAsinTaskOwnershipSupport {
|
||||
return context == null ? null : context.ownerInstanceId();
|
||||
}
|
||||
|
||||
/**
|
||||
* 归属实例 id:<b>优先读显式列 {@code owner_instance_id}</b>,列缺失时才回落 {@code resultJson} 快照。
|
||||
*
|
||||
* <p>原先只读快照,而快照是 parse 那一刻写死的、任务转交后不再同步
|
||||
* ({@code TaskClientPullService.claim} 转交的是列)。两列一旦背离,本方法会把已不归属本机的
|
||||
* 任务判给本机、或把已归属本机的任务判给别台;worker 侧按本方法给出的值转交作业时会转错实例
|
||||
* (外观专利 2026-11-02 现网 33179/33149 即此形状,见
|
||||
* {@code TaskFileJobService#handOffToOwner})。与 {@code AppearancePatentTaskOwnership#ownerFromTask}
|
||||
* 同一口径,四台不得再各读各的。
|
||||
*/
|
||||
public String ownerFromTask(FileTaskEntity task) {
|
||||
if (task == null || task.getResultJson() == null || task.getResultJson().isBlank()) {
|
||||
if (task == null) {
|
||||
return null;
|
||||
}
|
||||
String column = task.getOwnerInstanceId();
|
||||
if (column != null && !column.isBlank()) {
|
||||
return column.trim();
|
||||
}
|
||||
if (task.getResultJson() == null || task.getResultJson().isBlank()) {
|
||||
return null;
|
||||
}
|
||||
try {
|
||||
@@ -125,6 +142,7 @@ public class SimilarAsinTaskOwnershipSupport {
|
||||
} catch (Exception ex) {
|
||||
log.warn("[similar-asin] read task owner failed taskId={} err={}", task.getId(), ex.getMessage());
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -133,8 +151,6 @@ public class SimilarAsinTaskOwnershipSupport {
|
||||
* isJobOwnedByCurrentInstance / ownerFromTask 兼容这条 ownerInstanceId)。
|
||||
* 同时把 fallback 信号写到 task_scope_state.state_json,便于排查。
|
||||
*/
|
||||
}
|
||||
|
||||
public void bindTaskToCurrentOwnerForLocalFallback(FileTaskEntity task, String scopeHash, Integer chunkIndex) {
|
||||
if (task == null || task.getId() == null) {
|
||||
throw new IllegalStateException("Cannot bind local fallback without a task ID");
|
||||
|
||||
+91
-2
@@ -71,11 +71,36 @@ public class TaskFileJobService {
|
||||
return existing;
|
||||
}
|
||||
if ("PENDING".equals(existing.getStatus())) {
|
||||
// 归属对账:调用方传进来的 scopeKey 是按任务**当前** owner 现算的
|
||||
// (各模块的 buildTaskOwnerScopeKey),而 existing 那两列是入队那一刻的快照。
|
||||
// 任务转交过之后不在这里对齐,就会留下「领取按 job.owner、执行校验按
|
||||
// biz_file_task.owner_instance_id」的互斥死锁(2026-11-02 现网 33179/33149:
|
||||
// 单机 12 小时 6381 条拒绝、作业永不终态),而 Python 超时恢复每 2 分钟
|
||||
// 就会走到这一格一次——只补发事件不修归属,等于每 2 分钟确认一遍死锁还在。
|
||||
String expectedOwner = ownerFromScopeKey(scopeKey);
|
||||
TaskFileJobEntity pending = existing;
|
||||
if (expectedOwner != null && !expectedOwner.equals(
|
||||
existing.getOwner() == null ? null : existing.getOwner().trim())) {
|
||||
taskFileJobMapper.update(null, new LambdaUpdateWrapper<TaskFileJobEntity>()
|
||||
.eq(TaskFileJobEntity::getId, existing.getId())
|
||||
.eq(TaskFileJobEntity::getStatus, "PENDING")
|
||||
.set(TaskFileJobEntity::getScopeKey, scopeKey)
|
||||
.set(TaskFileJobEntity::getOwner, expectedOwner)
|
||||
.set(TaskFileJobEntity::getErrorMessage, null)
|
||||
.set(TaskFileJobEntity::getUpdatedAt, now));
|
||||
pending = taskFileJobMapper.selectById(existing.getId());
|
||||
log.warn("[task-file-job] PENDING 作业归属与任务当前 owner 背离,已按入队 scopeKey 对账"
|
||||
+ " jobId={} taskId={} moduleType={} from={} to={}",
|
||||
existing.getId(), taskId, moduleType, existing.getOwner(), expectedOwner);
|
||||
if (pending == null) {
|
||||
return null;
|
||||
}
|
||||
}
|
||||
// PENDING 僵尸兜底:job 入队时若 MQ 发送失败且本地兜底未生效(或消息被
|
||||
// 非 owner 实例静默吞掉),job 会永远停留在 PENDING、无人处理。
|
||||
// 补发一次 dispatch 事件,让调度链重试(幂等:consumer 侧 claim 有状态翻转保护)。
|
||||
publishDispatchEvent(existing);
|
||||
return existing;
|
||||
publishDispatchEvent(pending);
|
||||
return pending;
|
||||
}
|
||||
// 终态失败:retryCount 已达上限的 FAILED job 不再重置为 PENDING,
|
||||
// 否则 finalize 路径会把它反复拉回排队,导致 retryCount 无限累加、任务永远卡在 RUNNING。
|
||||
@@ -1019,6 +1044,70 @@ public class TaskFileJobService {
|
||||
return owner.isBlank() ? null : owner;
|
||||
}
|
||||
|
||||
/**
|
||||
* {@link #ownerFromScopeKey} 的逆操作:把 scope_key 最后一个 {@code :owner:} 之后的尾段换成指定实例。
|
||||
* 无标记时原样返回——那种 scope_key 本来就不携带归属信息,不该被凭空造出一个 owner 段。
|
||||
*/
|
||||
static String withOwnerInScopeKey(String scopeKey, String owner) {
|
||||
if (scopeKey == null || scopeKey.isBlank() || owner == null || owner.isBlank()) {
|
||||
return scopeKey;
|
||||
}
|
||||
int index = scopeKey.lastIndexOf(OWNER_MARKER);
|
||||
if (index < 0) {
|
||||
return scopeKey;
|
||||
}
|
||||
return (scopeKey.substring(0, index + OWNER_MARKER.length()) + owner.trim()).trim();
|
||||
}
|
||||
|
||||
/**
|
||||
* 把作业改挂到任务的当前归属实例:{@code owner} 列与 {@code scope_key} 的尾段一起换。
|
||||
*
|
||||
* <p><b>为什么必须两个来源一起改。</b>领取按 {@code biz_task_file_job.owner}
|
||||
* ({@link #claimRunnableJobsForOwner}),执行时的归属校验却按 {@code biz_file_task.owner_instance_id}。
|
||||
* 任务转交后两列一旦背离,就是互斥死锁:能领到这行的实例必被校验拒,校验放过的实例必领不到这行。
|
||||
* 2026-11-02 现网任务 33179/33149 即此形状——作业停在 PENDING、每 15 秒被拒一次,
|
||||
* 单机 12 小时 6381 条拒绝,而拒绝走的 {@link #deferRunning} 既不计 retry_count
|
||||
* 也不计 stuck_requeue_count 还每轮刷新 updated_at,两条兜底(卡死重排 20 次判死、
|
||||
* PENDING 遗骸回收)因此永远不触发:这行既不失败也不完成。
|
||||
*
|
||||
* <p><b>为什么不需要额外计数兜底。</b>转交后 {@code job.owner} 与校验读的那个值重合,
|
||||
* 拒绝条件按构造不再成立;要再触发一次,必须任务先合法地再转交一回。
|
||||
*
|
||||
* <p>CAS 按调用方观测到的旧 owner 回撞:期间任务又转交、或作业被别的实例改挂,本次就不生效,
|
||||
* 由下一轮拒绝重新转交,不覆盖别人的改动。
|
||||
*
|
||||
* @return true=本次确实改挂了;false=无需改挂、行已不在预期状态或目标实例为空
|
||||
*/
|
||||
public boolean handOffToOwner(Long jobId, String observedOwner, String targetOwner) {
|
||||
if (jobId == null || jobId <= 0 || targetOwner == null || targetOwner.isBlank()) {
|
||||
return false;
|
||||
}
|
||||
TaskFileJobEntity job = taskFileJobMapper.selectById(jobId);
|
||||
if (job == null) {
|
||||
return false;
|
||||
}
|
||||
String normalizedTarget = targetOwner.trim();
|
||||
String currentOwner = job.getOwner() == null ? "" : job.getOwner().trim();
|
||||
if (normalizedTarget.equals(currentOwner)) {
|
||||
return false;
|
||||
}
|
||||
String normalizedObserved = observedOwner == null ? "" : observedOwner.trim();
|
||||
LambdaUpdateWrapper<TaskFileJobEntity> wrapper = new LambdaUpdateWrapper<TaskFileJobEntity>()
|
||||
.eq(TaskFileJobEntity::getId, jobId)
|
||||
.eq(TaskFileJobEntity::getStatus, "RUNNING")
|
||||
.set(TaskFileJobEntity::getOwner, normalizedTarget)
|
||||
.set(TaskFileJobEntity::getScopeKey, withOwnerInScopeKey(job.getScopeKey(), normalizedTarget))
|
||||
.set(TaskFileJobEntity::getErrorMessage, null)
|
||||
.set(TaskFileJobEntity::getUpdatedAt, LocalDateTime.now());
|
||||
if (normalizedObserved.isEmpty()) {
|
||||
wrapper.and(w -> w.isNull(TaskFileJobEntity::getOwner)
|
||||
.or().eq(TaskFileJobEntity::getOwner, ""));
|
||||
} else {
|
||||
wrapper.eq(TaskFileJobEntity::getOwner, normalizedObserved);
|
||||
}
|
||||
return taskFileJobMapper.update(null, wrapper) > 0;
|
||||
}
|
||||
|
||||
private TaskFileJobEntity findJob(Long taskId, String moduleType, Long resultId, String jobType) {
|
||||
if (taskId == null || moduleType == null || moduleType.isBlank() || resultId == null || jobType == null || jobType.isBlank()) {
|
||||
return null;
|
||||
|
||||
+12
-3
@@ -375,9 +375,18 @@ public class TaskResultFileJobWorker {
|
||||
}
|
||||
} catch (TaskOwnerMismatchException ex) {
|
||||
// 归属校验失败不是"生成失败":不能计入 retryCount,否则任务会在归属机
|
||||
// 一切正常的情况下被本机重试耗尽判死。退回 PENDING 交还归属实例。
|
||||
log.warn("[task-file-job] process rejected because task belongs to another instance jobId={} taskId={} moduleType={} owner={} current={}",
|
||||
job.getId(), job.getTaskId(), job.getModuleType(), ex.getOwnerInstanceId(), ex.getCurrentInstanceId());
|
||||
// 一切正常的情况下被本机重试耗尽判死。
|
||||
// 但也不能只退回 PENDING —— 那是无限空转:领取按 job.owner、这一道校验按任务的
|
||||
// owner_instance_id,两列一旦背离,能领到这行的实例必被校验拒、校验放过的实例
|
||||
// 必领不到这行(2026-11-02 现网 33179/33149:作业停 PENDING 每 15 秒被拒一次,
|
||||
// 单机 12 小时 6381 条拒绝,而 deferRunning 不计任何计数还刷 updated_at,
|
||||
// 卡死重排与 PENDING 遗骸两条兜底因此永不触发——既不失败也不完成)。
|
||||
// 异常携带的 ownerInstanceId 就是校验刚读到的任务当前归属,按它改挂即可闭合。
|
||||
boolean handedOff = taskFileJobService.handOffToOwner(
|
||||
job.getId(), ownerFromScopeKey(job.getScopeKey()), ex.getOwnerInstanceId());
|
||||
log.warn("[task-file-job] process rejected because task belongs to another instance jobId={} taskId={} moduleType={} owner={} current={} handedOff={}",
|
||||
job.getId(), job.getTaskId(), job.getModuleType(), ex.getOwnerInstanceId(),
|
||||
ex.getCurrentInstanceId(), handedOff);
|
||||
taskFileJobService.deferRunning(job.getId(), ex.getMessage());
|
||||
} catch (Exception ex) {
|
||||
TaskFileJobEntity latest = taskFileJobService.findById(job.getId());
|
||||
|
||||
Reference in New Issue
Block a user