fix(jd-collect): 补「激活」这一步——页面先 PENDING->RUNNING 再推客户端队列,否则分片全被拒

真机 task 34399 实录:页面建完单直接推客户端,任务仍是 PENDING,JdResultIngestService 只收 RUNNING 的分片、心跳对非 RUNNING 回 alive=false,客户端第一个分片被「任务不在运行中(PENDING),回传被拒」后当场收手,采集白跑一轮。相似ASIN/货源/外观专利/数据采集四条链都有同名 activate 入口,京东这条在建单入口漏了。
This commit is contained in:
2026-11-14 21:32:49 +08:00
parent 47278ee425
commit 8d8c88a5f3
8 changed files with 292 additions and 55 deletions
@@ -61,6 +61,21 @@ public class JdCollectController {
adminAuthSupport.currentDeviceId(httpRequest)));
}
@PostMapping("/tasks/{taskId}/activate")
@Operation(summary = "激活京东采集任务", description = "页面把 jd-shop-collect-run 载荷推给本机客户端前调用:"
+ "PENDING→RUNNING 条件更新。漏掉这一步,客户端的第一个分片会被「任务不在运行中(PENDING)」"
+ "拒收、心跳回 alive=false 要求客户端收手,采集白跑一轮(2026-11-14 真机实录)。")
public ApiResponse<Void> activate(
@Parameter(description = "任务 ID", required = true, example = "34398")
@PathVariable Long taskId,
@Parameter(description = "任务所属用户 ID;省略时取当前登录身份", required = false, example = "1")
@RequestParam(value = "user_id", required = false) Long userId,
HttpServletRequest httpRequest) {
collectTaskService.activateTask(taskId,
adminAuthSupport.requireOwnershipUserId(httpRequest, userId));
return ApiResponse.success(null);
}
@GetMapping("/tasks/{taskId}/progress")
@Operation(summary = "查询京东采集进度", description = "用户端「获取店铺数据」进度条数据源:"
+ "任务状态 + 已回传商品数 + 列表 total(客户端抓首页时写入游标) + 当前页/Tab + 已收批次数。"
@@ -48,6 +48,7 @@ public class JdCollectTaskService {
public static final String MODULE_TYPE = CollectRoutingProperties.MODULE_JD_SHOP_COLLECT;
private static final String STATUS_PENDING = com.nanri.aiimage.common.task.TaskStatuses.FileTask.PENDING;
private static final String STATUS_RUNNING = com.nanri.aiimage.common.task.TaskStatuses.FileTask.RUNNING;
/** 京麦商品列表 Tab 词表(与 V193 list_tab 列同词表)。 */
private static final Set<String> VALID_LIST_TABS = Set.of("ONSALE", "OFFSALE");
@@ -97,6 +98,40 @@ public class JdCollectTaskService {
return vo;
}
/**
* 激活任务(PENDING→RUNNING)——页面把载荷推给本机客户端<b>之前</b>调用。
*
* <p>为什么必须有这一步(2026-11-14 真机实录):`JdResultIngestService` 只接受 RUNNING
* 任务的分片,心跳对非 RUNNING 一律回 `alive=false`;页面建完单直接推客户端时任务还是
* PENDING ⇒ 第一个分片被拒(「任务不在运行中(PENDING)」)、心跳要求客户端收手,
* 采集白跑一轮。相似ASIN/货源/外观专利/上架四条链都有同名 activate 入口,京东这条漏了。
*
* <p>只允许 PENDING→RUNNING(条件更新):与客户端「兜底拉取」的原子认领互斥,
* 谁先翻转谁执行,页面与客户端不会重复跑同一单。
*/
public void activateTask(Long taskId, Long userId) {
FileTaskEntity task = fileTaskMapper.selectById(taskId);
// 归属谓词走公共出口(TaskLifecycleDebtRatchetTest 棘轮只许降:新增手写遍数即红)。
if (task == null || !TaskFinalizeSupport.belongsToModule(MODULE_TYPE, task.getModuleType())
|| (userId != null && task.getUserId() != null && !Objects.equals(userId, task.getUserId()))) {
throw new BusinessException("任务不存在");
}
int updated = fileTaskMapper.update(null,
new com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper<FileTaskEntity>()
.eq(FileTaskEntity::getId, taskId)
.eq(FileTaskEntity::getStatus, STATUS_PENDING)
.set(FileTaskEntity::getStatus, STATUS_RUNNING)
.set(FileTaskEntity::getUpdatedAt, LocalDateTime.now()));
if (updated == 0) {
FileTaskEntity latest = fileTaskMapper.selectById(taskId);
if (latest != null && STATUS_RUNNING.equals(latest.getStatus())) {
throw new BusinessException("任务已在执行中(可能已由客户端自动接管),无需重复启动");
}
throw new BusinessException("任务已结束");
}
log.info("[jd-collect] 已激活(PENDING→RUNNING) taskId={} userId={}", taskId, task.getUserId());
}
private void validate(JdCollectTaskCreateRequest request) {
if (request.getUserId() == null || request.getUserId() <= 0) {
throw new BusinessException("user_id 不合法");
@@ -100,7 +100,10 @@ class RequestSuppliedIdentityOutletTest {
// 130 而不是 129:2026-11-14 v1.4 Phase 2 新增 JdCollectController POST /api/jd-collect/tasks,
// JdCollectTaskCreateRequest 带 userId 字段(DTO 形),先过 requireOwnershipUserId(fail-closed
// 401,uid 不由请求体说了算)再落建单——覆盖面变大,不是放宽分母。
assertThat(scan.boundWrite()).as("取请求身份且已接出口的写类 handler 数").isEqualTo(130);
// 131 而不是 130:2026-11-14 真机补口 JdCollectController POST /api/jd-collect/tasks/{taskId}/activate
// (PENDING→RUNNING;漏掉这一步客户端分片全被「任务不在运行中」拒收),@RequestParam("user_id") 先过
// requireOwnershipUserId——同样是覆盖面变大。
assertThat(scan.boundWrite()).as("取请求身份且已接出口的写类 handler 数").isEqualTo(131);
// 64 而不是 63:2026-10-29 随本地采集开关恢复 GET /tasks/{taskId}/queue-payload,
// 该 handler 同时接上 resolveOwnershipUserId(不是放宽分母)。
// 65 而不是 64:2026-11-14 v1.4 新增 JdCollectController GET /api/jd-collect/tasks/{taskId}/progress
@@ -0,0 +1,142 @@
package com.nanri.aiimage.modules.jd.service;
import com.baomidou.mybatisplus.core.MybatisConfiguration;
import com.baomidou.mybatisplus.core.conditions.Wrapper;
import com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper;
import com.baomidou.mybatisplus.core.metadata.TableInfoHelper;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.nanri.aiimage.common.exception.BusinessException;
import com.nanri.aiimage.modules.task.mapper.FileTaskMapper;
import com.nanri.aiimage.modules.task.mapper.TaskScopeStateMapper;
import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity;
import org.apache.ibatis.builder.MapperBuilderAssistant;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.mockito.ArgumentCaptor;
import org.springframework.test.util.ReflectionTestUtils;
import java.util.Map;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertNotNull;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;
import static org.mockito.ArgumentMatchers.any;
import static org.mockito.ArgumentMatchers.isNull;
import static org.mockito.Mockito.mock;
import static org.mockito.Mockito.never;
import static org.mockito.Mockito.verify;
import static org.mockito.Mockito.when;
/**
* 京东采集 activate 契约(2026-11-14 真机实录补口)。
*
* <p>现场:页面建完单直接推客户端,任务还是 PENDING ⇒ 客户端第一个分片被「任务不在运行中
* (PENDING),回传被拒」、心跳回 {@code alive=false} 要求客户端收手,采集白跑一轮
* (task 34399)。相似ASIN/货源/外观专利/数据采集四条链都有同名 activate 入口,京东这条漏了。
*
* <p>判据两件:① 只允许 PENDING→RUNNING 的条件更新(与客户端「兜底拉取」的原子认领互斥,
* 谁先翻转谁执行,页面与客户端不会重复跑同一单);② 已结束的任务不能被复活,
* 别的模块 / 别的用户的任务一律拒。
*/
class JdCollectActivateGuardTest {
private static final long USER_ID = 1095L;
private static final long TASK_ID = 34398L;
private final FileTaskMapper fileTaskMapper = mock(FileTaskMapper.class);
private JdCollectTaskService service;
@BeforeEach
void setUp() {
// LambdaWrapper 需要实体列缓存,单测无 Spring/MyBatis 上下文,手动初始化
TableInfoHelper.initTableInfo(new MapperBuilderAssistant(new MybatisConfiguration(), ""), FileTaskEntity.class);
service = new JdCollectTaskService(fileTaskMapper, mock(TaskScopeStateMapper.class), new ObjectMapper());
}
@Test
void PENDING任务激活成功且条件更新限定PENDING() {
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(task("PENDING"));
when(fileTaskMapper.update(isNull(), any())).thenReturn(1);
service.activateTask(TASK_ID, USER_ID);
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
verify(fileTaskMapper).update(isNull(), captor.capture());
Map<String, Object> params = paramsOf(captor.getValue());
assertTrue(params.containsValue("PENDING"), "条件更新的谓词必须限定 PENDING");
assertTrue(params.containsValue("RUNNING"), "条件更新必须写入 RUNNING");
}
@Test
void 已被客户端领走时拒绝重复启动() {
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(task("RUNNING"));
BusinessException error = assertThrows(BusinessException.class,
() -> service.activateTask(TASK_ID, USER_ID));
assertTrue(error.getMessage().contains("无需重复启动"),
"错误信息应说明任务已在执行中:" + error.getMessage());
// 只有一次条件更新,且谓词限定 PENDING —— 已被客户端认领(RUNNING)的行不可能被再翻一次
ArgumentCaptor<Wrapper<FileTaskEntity>> captor = wrapperCaptor();
verify(fileTaskMapper).update(isNull(), captor.capture());
assertTrue(paramsOf(captor.getValue()).containsValue("PENDING"),
"条件更新必须限定 PENDING,否则已认领的任务会被重复执行");
}
@Test
void 已结束的任务不能被复活() {
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(task("SUCCESS"));
BusinessException error = assertThrows(BusinessException.class,
() -> service.activateTask(TASK_ID, USER_ID));
assertEquals("任务已结束", error.getMessage());
}
@Test
void 非本用户的任务被拒且不碰状态() {
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(task("PENDING"));
assertThrows(BusinessException.class, () -> service.activateTask(TASK_ID, USER_ID + 1));
verify(fileTaskMapper, never()).update(isNull(), any());
}
@Test
void 非京东模块的任务被拒且不碰状态() {
FileTaskEntity other = task("PENDING");
other.setModuleType("SIMILAR_ASIN");
when(fileTaskMapper.selectById(TASK_ID)).thenReturn(other);
BusinessException error = assertThrows(BusinessException.class,
() -> service.activateTask(TASK_ID, USER_ID));
assertEquals("任务不存在", error.getMessage());
verify(fileTaskMapper, never()).update(isNull(), any());
}
private static FileTaskEntity task(String status) {
FileTaskEntity task = new FileTaskEntity();
task.setId(TASK_ID);
task.setModuleType(JdCollectTaskService.MODULE_TYPE);
task.setTaskNo("JD_SHOP_COLLECT-34398");
task.setUserId(USER_ID);
task.setStatus(status);
return task;
}
@SuppressWarnings("unchecked")
private static ArgumentCaptor<Wrapper<FileTaskEntity>> wrapperCaptor() {
return ArgumentCaptor.forClass(Wrapper.class);
}
/** 读取 wrapper 参数容器:MyBatis-Plus 在生成 SQL 片段时才填充,故先触发一次。 */
@SuppressWarnings("unchecked")
private static Map<String, Object> paramsOf(Wrapper<FileTaskEntity> wrapper) {
wrapper.getSqlSegment();
((LambdaUpdateWrapper<FileTaskEntity>) wrapper).getSqlSet();
Map<String, Object> params = (Map<String, Object>) ReflectionTestUtils.getField(wrapper, "paramNameValuePairs");
assertNotNull(params, "wrapper 参数容器字段名可能已变化(paramNameValuePairs)");
return params;
}
}
+39 -53
View File
@@ -1,6 +1,7 @@
<script setup lang="ts">
import { computed, onBeforeUnmount, onMounted, ref } from 'vue'
import {
activateJdCollectTask,
createJdCollectTask,
fetchJdCollectProgress,
type JdCollectProgressVo,
@@ -27,12 +28,13 @@ type ProgressPhase = 'idle' | 'running' | 'done' | 'failed'
const POLL_INTERVAL_MS = 2000
/** 一小时还没终态就停轮询(任务本身有 stale 兜底,页面不该无限烧请求)。 */
const POLL_TIMEOUT_MS = 60 * 60 * 1000
/** 页面不再让用户填店铺名:店铺名称由客户端从京麦后台读,建单先按此占位记录。 */
const DEFAULT_SHOP_NAME = '京麦后台'
const homeHref = resolvePageHref('/new_web_source/home.html')
const backHref = resolvePageHref('/new_web_source/jd-console.html')
const username = ref('admin')
const shopName = ref('')
const submitting = ref(false)
const taskId = ref<number | null>(null)
const progress = ref<JdCollectProgressVo | null>(null)
@@ -147,6 +149,27 @@ async function pollProgress(id: number) {
}, POLL_INTERVAL_MS)
}
/** 激活任务(PENDING→RUNNING),返回 null 表示可推队列,返回 string 表示失败原因。
*
* 2026-11-14 真机实录:页面建完单直接推客户端,任务还是 PENDING ⇒ 客户端第一个分片被
* 「任务不在运行中(PENDING)」拒收、心跳回 alive=false 要求客户端收手,采集白跑一轮。
* 相似ASIN/货源/外观专利/上架四条链都有这一步,京东这条在建单入口漏了。
*/
async function activateTask(id: number): Promise<string | null> {
try {
await activateJdCollectTask(id)
return null
} catch (err) {
const text = err instanceof Error ? err.message : ''
// 客户端兜底拉取已原子认领(PENDING→RUNNING)时后端回这句:等同激活成功,不当失败展示。
if (text.includes('已在执行中')) {
return null
}
console.error('[jd-collect] 激活任务失败', err)
return '任务激活失败,本机客户端领不到这一单,请稍后重试'
}
}
/** 建单成功后推送本机队列;返回 null 表示环境无队列能力(浏览器预览),返回 string 表示失败原因。 */
async function pushToClientQueue(
id: number,
@@ -181,19 +204,26 @@ async function startCollect() {
progress.value = null
phase.value = 'running'
submitting.value = true
const shop = shopName.value.trim() || '京麦后台'
const shop = DEFAULT_SHOP_NAME
const tabs: JdListTab[] = ['ONSALE', 'OFFSALE']
try {
const vo = await createJdCollectTask(shop, tabs, 0)
taskId.value = vo.taskId
let pushNote = ''
try {
const pushError = await pushToClientQueue(vo.taskId, shop, tabs)
if (pushError) pushNote = ` ${pushError}`
} catch (pushErr) {
// 推送自身异常不回滚建单:任务可由服务端兜底拉取认领。
pushNote = ' 推送本机队列失败,任务将由服务端兜底派发给本机客户端执行'
console.error('[jd-collect] 推送本机队列失败', pushErr)
const activateError = await activateTask(vo.taskId)
if (activateError) {
// 没激活成功就不推队列:推了也是白跑一轮(分片全被拒)。任务留在 PENDING,
// 由服务端兜底拉取认领后照样会跑,所以这里只提示、不回滚建单。
pushNote = activateError
} else {
try {
const pushError = await pushToClientQueue(vo.taskId, shop, tabs)
if (pushError) pushNote = ` ${pushError}`
} catch (pushErr) {
// 推送自身异常不回滚建单:任务可由服务端兜底拉取认领。
pushNote = ' 推送本机队列失败,任务将由服务端兜底派发给本机客户端执行'
console.error('[jd-collect] 推送本机队列失败', pushErr)
}
}
if (pushNote) {
errorMessage.value = pushNote.trim()
@@ -248,17 +278,6 @@ onBeforeUnmount(() => {
<main class="jd-body">
<div class="collect-card">
<div class="form-group">
<label for="jd-shop-name">店铺名称(可选)</label>
<input
id="jd-shop-name"
v-model="shopName"
type="text"
placeholder="留空按「京麦后台」记录;填了便于在后台「京东数据库」区分店铺"
:disabled="isRunning"
/>
</div>
<button class="collect-btn" type="button" :disabled="isRunning" @click="startCollect">
{{ isRunning ? '获取中…' : '一键获取店铺数据' }}
</button>
@@ -454,39 +473,6 @@ onBeforeUnmount(() => {
background: #232a3b;
}
.form-group {
margin-bottom: 18px;
}
.form-group label {
display: block;
margin-bottom: 8px;
color: #c8d2e2;
font-size: 13px;
font-weight: 700;
}
.form-group input[type='text'] {
width: 100%;
box-sizing: border-box;
padding: 10px 12px;
border: 1px solid #3e4a62;
border-radius: 8px;
background: #1a1f2e;
color: #f5f8fc;
font-size: 14px;
outline: none;
transition: border-color 0.2s;
}
.form-group input[type='text']:focus {
border-color: #e1251b;
}
.form-group input[type='text']::placeholder {
color: #6b778d;
}
.collect-btn {
width: 100%;
padding: 13px 0;
+2
View File
@@ -207,6 +207,8 @@ export const API_ENDPOINTS = {
/** 京东店铺商品采集(v1.4):建单走 LOCAL 通道,由本机客户端在已登录京麦的窗口内执行。 */
jdCollect: {
create: '/api/jd-collect/tasks',
/** 激活(PENDING→RUNNING):推客户端队列**之前**必须调用,否则分片被拒、心跳要求客户端收手 */
activate: '/api/jd-collect/tasks/{taskId}/activate',
/** 采集进度(用户端「获取店铺数据」进度条数据源) */
progress: '/api/jd-collect/tasks/{taskId}/progress',
heartbeat: '/api/jd-collect/tasks/{taskId}/heartbeat',
@@ -47,11 +47,29 @@ export function fetchJdCollectProgress(taskId: number) {
}))
}
/**
* 激活任务(PENDING→RUNNING):推客户端队列**之前**调用。
*
* 2026-11-14 真机实录:漏掉这一步,客户端第一个分片会被「任务不在运行中(PENDING)」拒收、
* 心跳回 alive=false 让客户端收手——采集白跑一轮。相似ASIN/货源等链路的同名入口即此形状。
* `user_id` 是 @RequestParam(与进度接口同口径),不是请求体字段。
*/
export function activateJdCollectTask(taskId: number) {
const path = buildJavaUrl(API_ENDPOINTS.jdCollect.activate.replace('{taskId}', String(taskId)))
const query = `?user_id=${encodeURIComponent(String(getCurrentUserId()))}`
return unwrapJavaResponse(post<JavaApiResponse<null>, Record<string, unknown>>(path + query, {}))
}
export function createJdCollectTask(shopName: string, listTabs: JdListTab[], maxProducts = 0) {
return unwrapJavaResponse(post<JavaApiResponse<JdCollectTaskVo>, Record<string, unknown>>(
buildJavaUrl(API_ENDPOINTS.jdCollect.create),
{
user_id: getCurrentUserId(),
// 建单请求体是 JSON(@RequestBody + JdCollectTaskCreateRequest),字段名必须是
// camelCase `userId`:Java 侧没有开 snake_case 命名策略,传 `user_id` 会被静默丢掉,
// 管理员(mayActForOtherUsers 走请求体值)建单时 userId 恒为 null ⇒ 后端回
// 「user_id 不合法」,页面上表现为点了「一键获取店铺数据」立刻失败。
// 进度接口的 `?user_id=` 是 @RequestParam,那个名字不动。
userId: getCurrentUserId(),
shopName,
listTabs,
maxProducts,
+36
View File
@@ -37,3 +37,39 @@ test('endpoints 注册 jdCollect 端点组', () => {
assert.ok(readIfExists(ENDPOINTS, 'endpoints.ts').includes('jdCollect'),
'endpoints.ts 缺 jdCollect 端点组(建单/心跳/回传三件)')
})
/** 2026-11-14 真机实录:建单请求体写成 `user_id` 时后端回一句「user_id 不合法」直接拒,
* 管理员点「一键获取店铺数据」永远失败——Java 侧 DTO 是 camelCase `userId`(无 snake 命名
* 策略),snake 键会被静默丢掉。进度接口的 `?user_id=` 是 @RequestParam,那个名字不改。 */
test('建单请求体用 camelCase userId,不是 user_id', () => {
const api = readIfExists(
join(process.cwd(), 'src', 'shared', 'api', 'types', 'modules', 'jd-collect.ts'),
'jd-collect.ts',
)
const body = api.slice(api.indexOf('createJdCollectTask'))
assert.ok(/userId:\s*getCurrentUserId\(\)/.test(body),
'createJdCollectTask 请求体必须传 camelCase `userId`(传 user_id 会被后端丢掉⇒「user_id 不合法」)')
assert.ok(!/[^_a-z]user_id:\s*getCurrentUserId\(\)/.test(body),
'建单请求体不得再传 snake_case `user_id`')
})
/** 2026-11-14 真机实录(task 34399):页面建完单直接推客户端,任务还是 PENDING ⇒ 客户端
* 第一个分片被「任务不在运行中(PENDING),回传被拒」、心跳回 alive=false 让客户端收手,
* 采集白跑一轮。修法是建单后先激活(PENDING→RUNNING)再推队列——顺序反了等于没修。 */
test('建单后先激活再推客户端队列', () => {
const page = readIfExists(
join(process.cwd(), 'src', 'pages', 'jd', 'JdCollectTab.vue'),
'JdCollectTab.vue',
)
assert.ok(page.includes('activateJdCollectTask'),
'JdCollectTab.vue 必须调用 activateJdCollectTask(漏掉这一步客户端分片全被拒)')
const startAt = page.indexOf('async function startCollect')
assert.ok(startAt > 0, 'JdCollectTab.vue 缺 startCollect')
const body = page.slice(startAt)
const activateAt = body.indexOf('activateTask(vo.taskId)')
const pushAt = body.indexOf('pushToClientQueue(vo.taskId')
assert.ok(activateAt > 0, 'startCollect 必须先调用 activateTask(vo.taskId)')
assert.ok(pushAt > 0, 'startCollect 应继续推送本机队列')
assert.ok(activateAt < pushAt,
'激活必须排在推送之前(PENDING 状态下推给客户端=分片全被拒)')
})