feat(任务兜底拉取): 新增服务端内部认领端点 /api/internal/tasks/pull-pending —— Linux 后台 worker 专用(X-Internal-Token), 不限用户认领长期 PENDING 任务, 独立开关 internal-enabled 与客户端兜底解耦; 外观专利详情页抓取迁 Linux 前置

This commit is contained in:
2026-09-30 11:00:34 +08:00
parent b0676e09c1
commit c0492f7c86
3 changed files with 117 additions and 5 deletions
@@ -0,0 +1,58 @@
package com.nanri.aiimage.modules.task.controller;
import com.nanri.aiimage.common.api.ApiResponse;
import com.nanri.aiimage.common.security.AdminAuthSupport;
import com.nanri.aiimage.modules.task.model.vo.TaskClientPullVo;
import com.nanri.aiimage.modules.task.service.TaskClientPullService;
import io.swagger.v3.oas.annotations.Operation;
import io.swagger.v3.oas.annotations.tags.Tag;
import jakarta.servlet.http.HttpServletRequest;
import lombok.RequiredArgsConstructor;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import java.util.ArrayList;
import java.util.List;
import java.util.Locale;
/**
* 服务端内部任务认领(Linux 后台 worker):X-Internal-Token 鉴权,不限用户。
*
* <p>把「页面未推送成功、长期停在 PENDING」的任务交给服务端 worker 执行
* (如外观专利详情页抓取迁 Linux)。与客户端兜底拉取共用同一条原子认领
* (PENDING→RUNNING),谁先认领谁执行,天然互斥。
*/
@RestController
@RequiredArgsConstructor
@RequestMapping("/api/internal/tasks")
@Tag(name = "内部接口", description = "服务间调用(X-Internal-Token 鉴权)。")
public class InternalTaskPullController {
private final TaskClientPullService taskClientPullService;
private final AdminAuthSupport adminAuthSupport;
@GetMapping("/pull-pending")
@Operation(
summary = "服务端认领长期 PENDING 任务(不限用户)",
description = "types 为逗号分隔的模块白名单(缺省用全局配置 module-types);"
+ "开关 aiimage.client-task-pull.internal-enabled 关闭时返回空列表。")
public ApiResponse<List<TaskClientPullVo>> pullPending(
HttpServletRequest request,
@RequestParam(value = "types", required = false) String types) {
if (!adminAuthSupport.isTrustedInternalToken(request)) {
return ApiResponse.fail(401, "内部令牌无效");
}
List<String> moduleTypes = new ArrayList<>();
if (types != null && !types.isBlank()) {
for (String raw : types.split(",")) {
String value = raw.trim().toUpperCase(Locale.ROOT);
if (!value.isEmpty() && !moduleTypes.contains(value)) {
moduleTypes.add(value);
}
}
}
return ApiResponse.success(taskClientPullService.pullPendingTasksInternal(moduleTypes));
}
}
@@ -59,6 +59,10 @@ public class TaskClientPullService {
@Value("${aiimage.client-task-pull.limit:5}")
private int limit;
/** 服务端内部认领开关(Linux 后台 worker 专用端点),与客户端兜底拉取开关独立。 */
@Value("${aiimage.client-task-pull.internal-enabled:false}")
private boolean internalEnabled;
public TaskClientPullService(FileTaskMapper fileTaskMapper,
InstanceMetadata instanceMetadata,
List<ClientTaskPullSpi> handlers) {
@@ -118,9 +122,46 @@ public class TaskClientPullService {
.lt(FileTaskEntity::getCreatedAt, cutoff)
.orderByAsc(FileTaskEntity::getCreatedAt)
.last("limit " + safeLimit));
if (candidates.isEmpty()) {
List<TaskClientPullVo> claimed = claimCandidates(candidates, "userId=" + userId);
log.info("[client-task-pull] 拉取完成 userId={} 候选={} 认领={} 耗时={}ms",
userId, candidates.size(), claimed.size(), System.currentTimeMillis() - startedAt);
return claimed;
}
/**
* 服务端内部认领(Linux 后台 worker 专用):不限用户,只认领指定模块的长期 PENDING 任务。
*
* <p>与页面 activate / 客户端兜底拉取共用同一条 PENDING→RUNNING 原子认领,天然互斥不重复执行。
* 独立开关 {@code aiimage.client-task-pull.internal-enabled},与客户端开关解耦:
* 客户端侧未升级/未开启时也能单独让服务端 worker 上线。
*/
public List<TaskClientPullVo> pullPendingTasksInternal(List<String> moduleTypes) {
if (!internalEnabled) {
return List.of();
}
List<String> types = normalizeModuleTypes(moduleTypes);
if (types.isEmpty()) {
log.warn("[client-task-pull] 内部认领:模块白名单为空,本次不拉取");
return List.of();
}
long startedAt = System.currentTimeMillis();
LocalDateTime cutoff = LocalDateTime.now().minusMinutes(Math.max(1L, minPendingMinutes));
int safeLimit = Math.max(1, Math.min(limit, MAX_LIMIT));
List<FileTaskEntity> candidates = fileTaskMapper.selectList(new LambdaQueryWrapper<FileTaskEntity>()
.select(FileTaskEntity::getId, FileTaskEntity::getModuleType, FileTaskEntity::getCreatedAt)
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
.in(FileTaskEntity::getModuleType, types)
.lt(FileTaskEntity::getCreatedAt, cutoff)
.orderByAsc(FileTaskEntity::getCreatedAt)
.last("limit " + safeLimit));
List<TaskClientPullVo> claimed = claimCandidates(candidates, "内部认领");
log.info("[client-task-pull] 内部认领完成 types={} 候选={} 认领={} 耗时={}ms",
types, candidates.size(), claimed.size(), System.currentTimeMillis() - startedAt);
return claimed;
}
/** 逐条原子认领候选任务并组装载荷;认领失败/载荷缺失的任务原样留给下一轮或标失败。 */
private List<TaskClientPullVo> claimCandidates(List<FileTaskEntity> candidates, String scope) {
List<TaskClientPullVo> claimed = new ArrayList<>();
for (FileTaskEntity candidate : candidates) {
ClientTaskPullSpi handler = pullHandlers.get(candidate.getModuleType());
@@ -162,14 +203,24 @@ public class TaskClientPullService {
vo.setCreatedAt(task.getCreatedAt() == null ? null : TIME_FORMATTER.format(task.getCreatedAt()));
vo.setQueuePayload(queuePayload);
claimed.add(vo);
log.warn("[client-task-pull] 兜底认领成功 taskId={} moduleType={} userId={} taskNo={} 创建于={}",
task.getId(), task.getModuleType(), task.getUserId(), task.getTaskNo(), vo.getCreatedAt());
log.warn("[client-task-pull] {} 认领成功 taskId={} moduleType={} userId={} taskNo={} 创建于={}",
scope, task.getId(), task.getModuleType(), task.getUserId(), task.getTaskNo(), vo.getCreatedAt());
}
log.info("[client-task-pull] 拉取完成 userId={} 候选={} 认领={} 耗时={}ms",
userId, candidates.size(), claimed.size(), System.currentTimeMillis() - startedAt);
return claimed;
}
/** 归一化模块类型列表:去空白、转大写、去重;空输入返回空列表。 */
private List<String> normalizeModuleTypes(List<String> moduleTypes) {
List<String> types = new ArrayList<>();
for (String raw : (moduleTypes == null ? List.<String>of() : moduleTypes)) {
String value = raw == null ? "" : raw.trim().toUpperCase(Locale.ROOT);
if (!value.isEmpty() && !types.contains(value)) {
types.add(value);
}
}
return types;
}
/**
* 条件更新认领:只有把 PENDING 翻成 RUNNING 的一方算领取成功。
* PENDING 无活跃 owner(页面尚未执行),认领即接管,因此不做归属转发。
@@ -291,6 +291,9 @@ aiimage:
module-types: ${AIIMAGE_CLIENT_TASK_PULL_MODULE_TYPES:SIMILAR_ASIN,COLLECT_DATA,APPEARANCE_PATENT}
min-pending-minutes: ${AIIMAGE_CLIENT_TASK_PULL_MIN_PENDING_MINUTES:5}
limit: ${AIIMAGE_CLIENT_TASK_PULL_LIMIT:5}
# 服务端内部认领(/api/internal/tasks/pull-pending,Linux 后台 worker 专用),
# 与客户端兜底拉取开关独立:外观专利详情页抓取迁 Linux 时单独打开即可。
internal-enabled: ${AIIMAGE_CLIENT_TASK_PULL_INTERNAL_ENABLED:false}
# 客户端中断任务的自动续跑(V129):客户端被更新脚本/任务管理器杀掉时,在跑的任务会被
# 客户端启动时上报中断并标 FAILED(用户能看到真实原因),这里把这些任务重新排队成 PENDING,
# 由上面的兜底拉取通道交给在线客户端继续跑——长任务不再因为一次客户端更新就整个白跑。