feat(jd): 首页一级入口「京东」+工作台两菜单,获取店铺数据一键采集带进度条

首页在亚马逊/视频右侧新增「京东」一级入口(恒显示),落地页 /jd-console 按亚马逊控制台样式做两张工具卡:获取店铺数据(可用)、商品上架(占位,点开只提示「暂未开通」)。

获取店铺数据改成一键:建单 → 推 jd-shop-collect-run 到本机队列 → 轮询服务端进度。进度只读两处真源——任务行状态 + scope 行合并写游标里的 itemsReceived/cursor.total(客户端抓列表第一页时把 total 写进游标),没有分母就退回不定态动画,不编造百分比;终态即停轮询。后端新增 GET /api/jd-collect/tasks/{taskId}/progress(按 taskId+userId 校归属)。

判据:JdCollectProgressQueryTest(5)、jd-console-tool-catalog.test.ts(5)、jd-console-pending-menu.mount(3)、jd-collect-progress.mount(6);catch 棘轮 blocks 314→315 按名登记(轮询 catch 非静默)。
This commit is contained in:
2026-11-14 16:50:06 +08:00
parent 05e5c35539
commit 36e110d27c
17 changed files with 1682 additions and 143 deletions
@@ -73,7 +73,9 @@ class CatchSilenceRatchetTest {
// + parseAttrGroups 的 attr_json 兜底;Phase 2/4 的 7 枚全是 RETHROW、Phase 2 的 scope 行
// DuplicateKeyException 是 LOG_ONLY,都不占本格),逐处记名见 STRICT_TOTAL 上方注释;
// LOG_ONLY 宽口径格 251 没动(宽口径实测 194,离上限很远)。
static final int GIVEN_NOT_RETHROW = 615;
// 11-14 v1.5「获取店铺数据」进度条抬 615 -> 616:一枚不重抛(进度查询读 scope.state_json
// 失败 log.warn + 空对象),逐处记名与误差方向见 STRICT_TOTAL 上方注释;LOG_ONLY 一格没动。
static final int GIVEN_NOT_RETHROW = 616;
static final int GIVEN_LOG_ONLY = 251;
static final int GIVEN_EMPTY = 56;
@@ -357,7 +359,14 @@ class CatchSilenceRatchetTest {
// 「京东时间格式不识别(应为 yyyy-MM-dd HH:mm:ss): <原文>」(RETHROW)。误差方向:
// 客户端回传脏时间戳之前直接 DateTimeParseException 裸抛 = 回传口 500 裸堆栈(P1-3);
// 改成吞掉置 null = 登记时间被悄悄抹掉。
static final int STRICT_TOTAL = 1091;
// 11-14 v1.5「获取店铺数据」进度条抬 1091 -> 1092,一枚逐处记名:
// `JdCollectTaskService.parseScopeState`:进度查询读 scope.state_json 时
// `catch Exception` ⇒ log.warn 带原因 + 返回空对象(NOT_RETHROW)。误差方向:
// 改成往外抛 = 一行脏 JSON 把进度查询打成 500、进度条直接红条;改成静默返回空对象
// 不记日志 = 游标损坏永远没人知道。演示面只降级不抛错,但必须有那一行 WARN。
// (相邻的数值解析刻意不用 NumberFormatException 当控制流:改为 1~9 位十进制正则前置,
// 省掉两枚 catch,EMPTY 一格没涨。)
static final int STRICT_TOTAL = 1092;
/**
* 重抛型 catch 的**下限**(不是上限):本轮把两处吞异常改成重抛之后实测 388。
* 这一格只能涨不能跌——它是"异常会往外走"的总量,把它钉成"只许减"就等于拦着别人修吞异常。
@@ -491,7 +500,10 @@ class CatchSilenceRatchetTest {
// 本格含 LOG_ONLY(incl 口径):同批 Phase 2 建单 scope 行那枚 DuplicateKeyException 复用
// 先到行把 LOG_ONLY 抬 193 -> 194 时连带占本格一枚额度 ⇒ 614 -> 615(出处同 STRICT_TOTAL
// 上方注释;这是本格**含 LOG_ONLY** 口径的连带,不是又一枚新的不重抛)。
static final int STRICT_NOT_RETHROW = 615;
// 11-14 v1.5「获取店铺数据」进度条:严格口径实测 615 -> 616(一枚不重抛:
// JdCollectTaskService.parseScopeState 读 scope.state_json 失败 log.warn + 空对象,
// 出处与误差方向见 STRICT_TOTAL 上方注释;logOnly 一格没动)。
static final int STRICT_NOT_RETHROW = 616;
/**
* 10-17 抬 172 -> 173,出处就是上面点名过的 {@code TaskHeartbeatLivenessService.stamp()}:
* 块体只有「取到 key 名 + log.warn」一句,写心跳证据失败时既不重试也不抛出——
@@ -0,0 +1,129 @@
package com.nanri.aiimage.modules.jd.service;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.nanri.aiimage.common.exception.BusinessException;
import com.nanri.aiimage.modules.jd.model.vo.JdCollectProgressVo;
import com.nanri.aiimage.modules.task.mapper.FileTaskMapper;
import com.nanri.aiimage.modules.task.mapper.TaskScopeStateMapper;
import com.nanri.aiimage.modules.task.model.entity.FileTaskEntity;
import com.nanri.aiimage.modules.task.model.entity.TaskScopeStateEntity;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.extension.ExtendWith;
import org.mockito.InjectMocks;
import org.mockito.Mock;
import org.mockito.Spy;
import org.mockito.junit.jupiter.MockitoExtension;
import java.time.LocalDateTime;
import static org.assertj.core.api.Assertions.assertThat;
import static org.assertj.core.api.Assertions.assertThatThrownBy;
import static org.mockito.ArgumentMatchers.any;
import static org.mockito.Mockito.when;
/**
* 京东采集进度查询(v1.5「获取店铺数据」进度条数据源)。
*
* <p>判据三件:① 进度只读真源(任务行 + scope 合并写游标),不编造百分比;
* ② 归属按 {@code (taskId, userId)} 校验,taskId 裸查不能越权;③ scope 行缺失或 JSON
* 损坏时降级展示而不是把页面打成红条。
*/
@ExtendWith(MockitoExtension.class)
class JdCollectProgressQueryTest {
@Mock
private FileTaskMapper fileTaskMapper;
@Mock
private TaskScopeStateMapper taskScopeStateMapper;
@Spy
private ObjectMapper objectMapper = new ObjectMapper();
@InjectMocks
private JdCollectTaskService service;
private FileTaskEntity runningTask(long userId) {
FileTaskEntity task = new FileTaskEntity();
task.setId(33890L);
task.setModuleType(JdCollectTaskService.MODULE_TYPE);
task.setUserId(userId);
task.setStatus("RUNNING");
task.setSuccessFileCount(0);
task.setUpdatedAt(LocalDateTime.of(2026, 11, 14, 10, 0));
return task;
}
private TaskScopeStateEntity scope(String stateJson, Integer batches) {
TaskScopeStateEntity scope = new TaskScopeStateEntity();
scope.setTaskId(33890L);
scope.setModuleType(JdCollectTaskService.MODULE_TYPE);
scope.setStateJson(stateJson);
scope.setReceivedChunkCount(batches);
scope.setUpdatedAt(LocalDateTime.of(2026, 11, 14, 10, 1));
return scope;
}
@Test
void 进度按合并写游标读出商品数与总数() {
when(fileTaskMapper.selectById(33890L)).thenReturn(runningTask(7L));
when(taskScopeStateMapper.selectOne(any())).thenReturn(scope(
"{\"cursor\":{\"tab\":\"ONSALE\",\"page\":3,\"total\":300},\"itemsReceived\":120}",
4));
JdCollectProgressVo vo = service.queryProgress(33890L, 7L);
assertThat(vo.getStatus()).isEqualTo("RUNNING");
assertThat(vo.getItemsReceived()).isEqualTo(120);
assertThat(vo.getTotal()).as("分母只来自客户端写入游标的 total,服务端不另算")
.isEqualTo(300);
assertThat(vo.getPage()).isEqualTo(3);
assertThat(vo.getListTab()).isEqualTo("ONSALE");
assertThat(vo.getBatches()).isEqualTo(4);
}
@Test
void 归属不符拒绝查询() {
when(fileTaskMapper.selectById(33890L)).thenReturn(runningTask(7L));
assertThatThrownBy(() -> service.queryProgress(33890L, 99L))
.isInstanceOf(BusinessException.class)
.hasMessageContaining("无权查看该任务");
}
@Test
void scope缺失时回退任务成功数且总数留空() {
FileTaskEntity task = runningTask(7L);
task.setStatus("SUCCESS");
task.setSuccessFileCount(58);
when(fileTaskMapper.selectById(33890L)).thenReturn(task);
when(taskScopeStateMapper.selectOne(any())).thenReturn(null);
JdCollectProgressVo vo = service.queryProgress(33890L, 7L);
assertThat(vo.getItemsReceived()).isEqualTo(58);
assertThat(vo.getTotal()).isNull();
assertThat(vo.getBatches()).isZero();
}
@Test
void 游标脏JSON降级为零进度不抛错() {
when(fileTaskMapper.selectById(33890L)).thenReturn(runningTask(7L));
when(taskScopeStateMapper.selectOne(any())).thenReturn(scope("{\"cursor\":{半个", 1));
JdCollectProgressVo vo = service.queryProgress(33890L, 7L);
assertThat(vo.getItemsReceived()).isZero();
assertThat(vo.getTotal()).isNull();
assertThat(vo.getBatches()).isEqualTo(1);
}
@Test
void 非京东模块任务按不存在拒绝() {
FileTaskEntity task = runningTask(7L);
task.setModuleType("SIMILAR_ASIN");
when(fileTaskMapper.selectById(33890L)).thenReturn(task);
assertThatThrownBy(() -> service.queryProgress(33890L, 7L))
.isInstanceOf(BusinessException.class)
.hasMessageContaining("任务不存在");
}
}