修复双实例 owner-scoped 结果文件 job 被非归属实例误杀

线上现象:货源查询任务 26402/26400(归属 server-121)在归属机正常推进,
却被 server-110 判为「结果生成失败」,错误为「该任务已绑定到另一台服务实例处理」。

两个缺陷叠加:
1. 两台实例共用一个 RocketMQ consumer group,dispatch 消息被轮询投递;
   worker 对"PENDING + owner 不匹配"的 job 选择本地抢跑,模块层
   ensureTaskOwnedByCurrentInstance 直接抛 TaskOwnerMismatchException,
   异常落进通用 catch 被当成生成失败,5 次抢跑即耗尽 retryCount 并终态失败。
2. runPendingJobs 双重 claim:claimRunnableJobsForOwner 已把 job 翻成 RUNNING,
   随后又走 claimRunning(条件 PENDING/FAILED)必然失败 → job 被静默丢弃,
   归属机的定时兜底从未真正生效。

修复:
- worker:非归属实例一律跳过 owner-scoped job;抽出 processClaimed 供已持有
  claim 的调用方使用;processInternal 单独捕获 TaskOwnerMismatchException,
  只 deferRunning 退回 PENDING,不计入重试。
- TaskFileJobLocalDispatcher 新增 dispatchClaimed。
- dispatch 事件带上 owner,coordinator 按归属路由:本机 owner 直接本地派发不发 MQ,
  他机 owner 不发不跑交由归属机轮询接手,owner 为空维持原有 MQ 行为。
- 新增 owner 路由回归测试两组,回滚配合"本地抢跑"的旧断言。

同时提交此前工作区内已随 JAR 上线的 backend-java 改动:SimilarAsin 解析载荷
groups 内嵌 items(Python 旧链路兼容)与 chunk 类型不匹配跳过、
PermissionMenuSchemaInitializer 与 V103 两级菜单分组迁移、相关测试。
This commit is contained in:
2026-09-01 21:07:25 +08:00
parent 4c63fd4326
commit d5d84c1dad
16 changed files with 679 additions and 44 deletions
@@ -7,6 +7,7 @@ import com.nanri.aiimage.modules.collectdata.model.vo.CollectDataResultRowVo;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.usermodel.WorkbookFactory;
import org.apache.poi.util.DefaultTempFileCreationStrategy;
import org.apache.poi.util.TempFile;
import org.apache.poi.util.TempFileCreationStrategy;
import org.junit.jupiter.api.AfterEach;
@@ -39,20 +40,36 @@ class CollectDataExcelCleanupTest {
private final List<File> trackedTempFiles = new ArrayList<>();
private Path sxssfTempDir;
@AfterEach
void restoreDefaultTempFileStrategy() {
// 还原 POI 的进程级全局策略:trackSxssfTempFiles 改写的是单例,
// 不还原会泄漏到同一 JVM 内后续所有用到 SXSSF 的测试。
// (原来这个 @AfterEach 挂在 private 的 trackSxssfTempFiles 上,
// 既没有还原策略,方法本身还是被各用例手工调用的 setup 辅助。)
TempFile.setTempFileCreationStrategy(new DefaultTempFileCreationStrategy());
}
private void trackSxssfTempFiles() {
// 把 SXSSF 滚动窗口临时文件重定向到本用例独占目录,使残留探测只覆盖
// 本用例自己产生的文件。
try {
sxssfTempDir = Files.createDirectory(tempDir.resolve("sxssf-probe"));
} catch (IOException ex) {
throw new IllegalStateException(ex);
}
TempFile.setTempFileCreationStrategy(new TempFileCreationStrategy() {
@Override
public File createTempFile(String prefix, String suffix) throws IOException {
File file = File.createTempFile(prefix, suffix);
File file = Files.createTempFile(sxssfTempDir, prefix, suffix).toFile();
trackedTempFiles.add(file);
return file;
}
@Override
public File createTempDirectory(String prefix) throws IOException {
File dir = Files.createTempDirectory(prefix).toFile();
File dir = Files.createTempDirectory(sxssfTempDir, prefix).toFile();
trackedTempFiles.add(dir);
return dir;
}
@@ -62,10 +79,13 @@ class CollectDataExcelCleanupTest {
private void assertSxssfTempFilesCleaned() {
assertThat(trackedTempFiles).as("SXSSF 滚动窗口临时文件均已删除")
.allSatisfy(f -> assertThat(f).doesNotExist());
// POI 5.2.5 无法读取当前策略,改用系统临时目录中 SXSSF 固定前缀的残留探测。
try (Stream<Path> paths = Files.list(Path.of(System.getProperty("java.io.tmpdir")))) {
// 只探测本用例独占目录。原实现扫描系统共享临时目录并要求 poi-sxssf*
// 前缀零命中,会把其他进程、其他用例和历史运行遗留的文件算成本用例
// 的泄漏——本机共享临时目录里就躺着十几个历史 poi-sxssf-sheet*.xml,
// 导致实现完全正确时这 7 个用例照样红。
try (Stream<Path> paths = Files.list(sxssfTempDir)) {
assertThat(paths.filter(p -> p.getFileName().toString().startsWith("poi-sxssf")))
.as("系统临时目录无 SXSSF 滚动窗口残留")
.as("本用例 SXSSF 临时目录无滚动窗口残留")
.isEmpty();
} catch (IOException ex) {
throw new IllegalStateException(ex);