修复双实例 owner-scoped 结果文件 job 被非归属实例误杀
线上现象:货源查询任务 26402/26400(归属 server-121)在归属机正常推进, 却被 server-110 判为「结果生成失败」,错误为「该任务已绑定到另一台服务实例处理」。 两个缺陷叠加: 1. 两台实例共用一个 RocketMQ consumer group,dispatch 消息被轮询投递; worker 对"PENDING + owner 不匹配"的 job 选择本地抢跑,模块层 ensureTaskOwnedByCurrentInstance 直接抛 TaskOwnerMismatchException, 异常落进通用 catch 被当成生成失败,5 次抢跑即耗尽 retryCount 并终态失败。 2. runPendingJobs 双重 claim:claimRunnableJobsForOwner 已把 job 翻成 RUNNING, 随后又走 claimRunning(条件 PENDING/FAILED)必然失败 → job 被静默丢弃, 归属机的定时兜底从未真正生效。 修复: - worker:非归属实例一律跳过 owner-scoped job;抽出 processClaimed 供已持有 claim 的调用方使用;processInternal 单独捕获 TaskOwnerMismatchException, 只 deferRunning 退回 PENDING,不计入重试。 - TaskFileJobLocalDispatcher 新增 dispatchClaimed。 - dispatch 事件带上 owner,coordinator 按归属路由:本机 owner 直接本地派发不发 MQ, 他机 owner 不发不跑交由归属机轮询接手,owner 为空维持原有 MQ 行为。 - 新增 owner 路由回归测试两组,回滚配合"本地抢跑"的旧断言。 同时提交此前工作区内已随 JAR 上线的 backend-java 改动:SimilarAsin 解析载荷 groups 内嵌 items(Python 旧链路兼容)与 chunk 类型不匹配跳过、 PermissionMenuSchemaInitializer 与 V103 两级菜单分组迁移、相关测试。
This commit is contained in:
+25
-5
@@ -7,6 +7,7 @@ import com.nanri.aiimage.modules.collectdata.model.vo.CollectDataResultRowVo;
|
||||
import org.apache.poi.ss.usermodel.Sheet;
|
||||
import org.apache.poi.ss.usermodel.Workbook;
|
||||
import org.apache.poi.ss.usermodel.WorkbookFactory;
|
||||
import org.apache.poi.util.DefaultTempFileCreationStrategy;
|
||||
import org.apache.poi.util.TempFile;
|
||||
import org.apache.poi.util.TempFileCreationStrategy;
|
||||
import org.junit.jupiter.api.AfterEach;
|
||||
@@ -39,20 +40,36 @@ class CollectDataExcelCleanupTest {
|
||||
|
||||
private final List<File> trackedTempFiles = new ArrayList<>();
|
||||
|
||||
private Path sxssfTempDir;
|
||||
|
||||
@AfterEach
|
||||
void restoreDefaultTempFileStrategy() {
|
||||
// 还原 POI 的进程级全局策略:trackSxssfTempFiles 改写的是单例,
|
||||
// 不还原会泄漏到同一 JVM 内后续所有用到 SXSSF 的测试。
|
||||
// (原来这个 @AfterEach 挂在 private 的 trackSxssfTempFiles 上,
|
||||
// 既没有还原策略,方法本身还是被各用例手工调用的 setup 辅助。)
|
||||
TempFile.setTempFileCreationStrategy(new DefaultTempFileCreationStrategy());
|
||||
}
|
||||
|
||||
private void trackSxssfTempFiles() {
|
||||
// 把 SXSSF 滚动窗口临时文件重定向到本用例独占目录,使残留探测只覆盖
|
||||
// 本用例自己产生的文件。
|
||||
try {
|
||||
sxssfTempDir = Files.createDirectory(tempDir.resolve("sxssf-probe"));
|
||||
} catch (IOException ex) {
|
||||
throw new IllegalStateException(ex);
|
||||
}
|
||||
TempFile.setTempFileCreationStrategy(new TempFileCreationStrategy() {
|
||||
@Override
|
||||
public File createTempFile(String prefix, String suffix) throws IOException {
|
||||
File file = File.createTempFile(prefix, suffix);
|
||||
File file = Files.createTempFile(sxssfTempDir, prefix, suffix).toFile();
|
||||
trackedTempFiles.add(file);
|
||||
return file;
|
||||
}
|
||||
|
||||
@Override
|
||||
public File createTempDirectory(String prefix) throws IOException {
|
||||
File dir = Files.createTempDirectory(prefix).toFile();
|
||||
File dir = Files.createTempDirectory(sxssfTempDir, prefix).toFile();
|
||||
trackedTempFiles.add(dir);
|
||||
return dir;
|
||||
}
|
||||
@@ -62,10 +79,13 @@ class CollectDataExcelCleanupTest {
|
||||
private void assertSxssfTempFilesCleaned() {
|
||||
assertThat(trackedTempFiles).as("SXSSF 滚动窗口临时文件均已删除")
|
||||
.allSatisfy(f -> assertThat(f).doesNotExist());
|
||||
// POI 5.2.5 无法读取当前策略,改用系统临时目录中 SXSSF 固定前缀的残留探测。
|
||||
try (Stream<Path> paths = Files.list(Path.of(System.getProperty("java.io.tmpdir")))) {
|
||||
// 只探测本用例独占目录。原实现扫描系统共享临时目录并要求 poi-sxssf*
|
||||
// 前缀零命中,会把其他进程、其他用例和历史运行遗留的文件算成本用例
|
||||
// 的泄漏——本机共享临时目录里就躺着十几个历史 poi-sxssf-sheet*.xml,
|
||||
// 导致实现完全正确时这 7 个用例照样红。
|
||||
try (Stream<Path> paths = Files.list(sxssfTempDir)) {
|
||||
assertThat(paths.filter(p -> p.getFileName().toString().startsWith("poi-sxssf")))
|
||||
.as("系统临时目录无 SXSSF 滚动窗口残留")
|
||||
.as("本用例 SXSSF 临时目录无滚动窗口残留")
|
||||
.isEmpty();
|
||||
} catch (IOException ex) {
|
||||
throw new IllegalStateException(ex);
|
||||
|
||||
Reference in New Issue
Block a user