feat(任务派发): 客户端兜底拉取页面未推送成功的任务 + 修店铺匹配定时任务误杀
问题:任务派发链路的"推送"只存在于页面里(Java 解析落库 PENDING → activate → pywebview 桥 enqueue_json 推本机队列)。只解析没点启动、推送前关页面、在纯浏览器 打开,任务都会停在 PENDING,2 小时后被 StaleTaskRepairService 标失败 (「任务长期未被领取,已自动失败」,09-11 生产清理过 263 条同画像)。 - 服务端新增 GET /api/tasks/pull-pending(TaskClientPullController,身份从 JWT 取, 不接受 user_id 参数):只挑创建超 5 分钟仍 PENDING 的本用户任务,逐条条件更新认领 (PENDING→RUNNING + 接管 owner_instance_id)——与页面 activate 同一谓词,天然互斥, 不会重复执行;认领后组装不出载荷则标 FAILED,不留 RUNNING 孤儿 - payload 由各业务模块实现 ClientTaskPullSpi 组装(task 侧不 import 业务模块,同 G5): 首批 SIMILAR_ASIN / COLLECT_DATA / APPEARANCE_PATENT——这三个 Python 消费端会自行 回拉明细,故载荷极简、客户端零模块知识;开关 aiimage.client-task-pull.enabled 默认 false - 防双执行:三处 activate 由「非终态即可」收紧为只认 PENDING,未命中抛 「任务已在执行中(可能已由客户端自动接管),无需重复启动」(顺带堵住整行 updateById 把认领写入的 owner 覆盖回去的竞态);两个前端页 activate 失败即提示并停止入队 - 客户端:amazon/main.py 新增 pending_task_pull_worker,启动点挂在 app_client/main.py 的 start_task_monitor(独立入口的 worker 线上并不生效);开关 pending_pull_enabled 用 getattr 读取,避免 test/ 下的旧 config 缺键导致整包导入失败 - 同批修:StaleTaskRepairService 的 SCHEDULED 分支改按 scheduled_at + 120min 判死 (原按 updated_at 会必杀排期 >2h 的店铺匹配定时任务,而 activate 又被 scheduledAt-90s 挡住) - 测试:TaskClientPullServiceTest / StaleTaskRepairServiceTest / CollectDataTaskPullSpiImplTest / CollectDataActivateGuardTest 共 20 例;客户端 pending_task_pull_worker 7 例并更新启动顺序契约测试
This commit is contained in:
+7
-3
@@ -381,14 +381,18 @@ public class CollectDataService {
|
||||
@Transactional
|
||||
public void activateTask(Long taskId, Long userId) {
|
||||
FileTaskEntity task = requireTask(taskId, userId);
|
||||
// 条件更新:上面的「已结束」判断与写入之间存在窗口(TOCTOU),期间 /fail 可能已把任务
|
||||
// 标为 FAILED —— 整行 updateById 会把它复活成 RUNNING(前端显示"执行中"但无人推进)
|
||||
// 只允许 PENDING→RUNNING(条件更新):既堵住 TOCTOU(/fail 抢先标 FAILED 后被整行
|
||||
// updateById 复活成 RUNNING),又与客户端「兜底拉取」的原子认领互斥,谁先翻转谁执行
|
||||
int updated = fileTaskMapper.update(null, new LambdaUpdateWrapper<FileTaskEntity>()
|
||||
.eq(FileTaskEntity::getId, task.getId())
|
||||
.notIn(FileTaskEntity::getStatus, STATUS_SUCCESS, STATUS_FAILED)
|
||||
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
|
||||
.set(FileTaskEntity::getStatus, STATUS_RUNNING)
|
||||
.set(FileTaskEntity::getUpdatedAt, LocalDateTime.now()));
|
||||
if (updated == 0) {
|
||||
FileTaskEntity latest = fileTaskMapper.selectById(task.getId());
|
||||
if (latest != null && STATUS_RUNNING.equals(latest.getStatus())) {
|
||||
throw new BusinessException("任务已在执行中(可能已由客户端自动接管),无需重复启动");
|
||||
}
|
||||
throw new BusinessException("任务已结束");
|
||||
}
|
||||
}
|
||||
|
||||
+71
@@ -0,0 +1,71 @@
|
||||
package com.nanri.aiimage.modules.collectdata.service;
|
||||
|
||||
import com.fasterxml.jackson.databind.JsonNode;
|
||||
import com.fasterxml.jackson.databind.ObjectMapper;
|
||||
import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity;
|
||||
import com.nanri.aiimage.modules.task.spi.ClientTaskPullSpi;
|
||||
import lombok.RequiredArgsConstructor;
|
||||
import lombok.extern.slf4j.Slf4j;
|
||||
import org.springframework.stereotype.Service;
|
||||
|
||||
import java.util.LinkedHashMap;
|
||||
import java.util.Map;
|
||||
|
||||
/**
|
||||
* 集采(collect-data)的客户端兜底拉取实现。
|
||||
*
|
||||
* <p>Python 消费端需要 taskId / totalRows / pageSize / filters(明细行自行按 /items 分页拉取)。
|
||||
* filters 取自任务行 request_json 里 parse 时落库的那份(CollectDataService#persistParsedTask),
|
||||
* 序列化后就是 Python 读取的 camelCase 键(countryCode/minAmount/...)。
|
||||
*/
|
||||
@Slf4j
|
||||
@Service
|
||||
@RequiredArgsConstructor
|
||||
public class CollectDataTaskPullSpiImpl implements ClientTaskPullSpi {
|
||||
|
||||
private static final String QUEUE_TYPE = "collect-data-run";
|
||||
private static final String TASK_TYPE = "collect-data";
|
||||
|
||||
private final ObjectMapper objectMapper;
|
||||
|
||||
@Override
|
||||
public String moduleType() {
|
||||
return CollectDataService.MODULE_TYPE;
|
||||
}
|
||||
|
||||
@Override
|
||||
public Map<String, Object> buildQueuePayload(FileTaskEntity task) {
|
||||
JsonNode request = parseJson(task.getRequestJson());
|
||||
if (request == null) {
|
||||
log.warn("[collect-data] 兜底拉取失败:任务请求参数缺失或不可解析 taskId={}", task.getId());
|
||||
return null;
|
||||
}
|
||||
JsonNode filtersNode = request.get("filters");
|
||||
Map<String, Object> filters = filtersNode == null || filtersNode.isNull()
|
||||
? Map.of()
|
||||
: objectMapper.convertValue(filtersNode, Map.class);
|
||||
JsonNode stats = parseJson(task.getResultJson());
|
||||
int totalRows = stats == null ? 0 : stats.path("totalRows").asInt(0);
|
||||
Map<String, Object> data = new LinkedHashMap<>();
|
||||
data.put("taskId", task.getId());
|
||||
data.put("taskNo", task.getTaskNo());
|
||||
data.put("taskType", TASK_TYPE);
|
||||
data.put("totalRows", totalRows);
|
||||
data.put("pageSize", CollectDataService.DEFAULT_PAGE_SIZE);
|
||||
data.put("filters", filters);
|
||||
log.info("[collect-data] 兜底载荷已组装 taskId={} totalRows={} filters={}", task.getId(), totalRows, filters);
|
||||
return Map.of("type", QUEUE_TYPE, "data", data);
|
||||
}
|
||||
|
||||
private JsonNode parseJson(String json) {
|
||||
if (json == null || json.isBlank()) {
|
||||
return null;
|
||||
}
|
||||
try {
|
||||
return objectMapper.readTree(json);
|
||||
} catch (Exception ex) {
|
||||
log.warn("[collect-data] 兜底拉取解析任务 JSON 失败 err={}", ex.getMessage());
|
||||
return null;
|
||||
}
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user