feat(brand): 品牌检测建单可选本机/线上采集(V212),默认本机+排队相位可见

This commit is contained in:
2026-11-18 15:19:08 +08:00
parent 83e9bbe71a
commit 96afb685c2
22 changed files with 566 additions and 25 deletions
@@ -31,6 +31,15 @@ public class CollectRoutingProperties {
/** 京东商品上架模块名(v1.5;京麦登录态在用户桌面机 19899 Chrome profile,默认通道必须 LOCAL,铁律 19 同形)。 */
public static final String MODULE_JD_PUBLISH = "JD_PUBLISH";
/**
* 品牌检测模块名(2026-11-18)。
*
* <p>它不在 {@code biz_file_task} 上(独立表 {@code brand_crawl_tasks}),走的是页面
* 「本机客户端执行 / 服务端 15126 执行」二选一;默认 LOCAL —— 服务端进程内跨账号并发
* 默认只 2 个名额,大单会把后面所有账号的任务排到 120 分钟上限(任务 3374 实测排队 62 分钟)。
*/
public static final String MODULE_BRAND = "BRAND";
/** LOCAL 通道的任务在 PENDING 超过多少分钟后允许 Linux 兜底认领。 */
private long linuxFallbackMinutes = 30L;
@@ -24,4 +24,15 @@ public class BrandTaskCreateRequest {
@Schema(description = "文件夹上传场景下可选的归档名称。当前版本仅保留字段,不参与主流程。")
private String archiveName;
/**
* 本单由谁执行(V212):LOCAL=桌面客户端本机跑(用用户自己的代理,不占服务端名额);
* ONLINE=服务端 15126 跑(进程内跨账号并发默认 2,大单会把后面所有任务排到 120 分钟上限)。
* 空/不可识别=不登记,按模块默认(BRAND 默认 LOCAL)。
*/
@Schema(description = "采集执行通道:LOCAL=桌面客户端本机采;ONLINE=服务端 15126 采;空=按模块默认(本机)",
example = "LOCAL")
@com.fasterxml.jackson.annotation.JsonProperty("collect_channel")
@com.fasterxml.jackson.annotation.JsonAlias({"collectChannel"})
private String collectChannel;
}
@@ -18,6 +18,8 @@ public class BrandCrawlTaskEntity {
private Long userId;
/** 创建任务的客户端设备(JWT 签名 deviceId claim,V138);历史任务为空。 */
private String deviceId;
/** 采集执行通道 LOCAL/ONLINE(V212);空=按模块默认(BRAND 默认 LOCAL),见 CollectChannel。 */
private String collectChannel;
private String filePaths;
private String status;
private Integer taskType;
@@ -8,4 +8,7 @@ import lombok.Data;
public class BrandTaskCreateVo {
private Long taskId;
/** 本单实际生效的执行通道(V212):LOCAL=桌面客户端本机跑;ONLINE=服务端 15126 跑。 */
private String collectChannel;
}
@@ -22,6 +22,6 @@ public class LegacyBrandLineProgressInfoVo {
@Schema(description = "当前文件总行数")
private Integer total_lines;
@Schema(description = "当前阶段:crawling/assembling/uploading/failed")
@Schema(description = "当前阶段:queued/crawling/assembling/uploading/failed")
private String phase;
}
@@ -17,6 +17,12 @@ import java.util.Map;
@Slf4j
public class BrandTaskProgressCacheService {
/**
* 排队阶段:客户端已建任务但还没拿到账号锁/全局并发槽位(跨账号并发上限默认 2,
* 被大单占满时后到的任务要等几十分钟)。此前排队期一律报 crawling,界面把
* 「排队 62 分钟」显示成「品牌查询中 0/N」,用户只能以为任务卡死。
*/
public static final String PHASE_QUEUED = "queued";
public static final String PHASE_CRAWLING = "crawling";
public static final String PHASE_ASSEMBLING = "assembling";
public static final String PHASE_UPLOADING = "uploading";
@@ -104,7 +110,7 @@ public class BrandTaskProgressCacheService {
if phase ~= '' then
local stored = redis.call('hget', key, 'phase')
local protect = (stored == 'assembling' or stored == 'uploading' or stored == 'failed')
if not (protect and phase == 'crawling') then
if not (protect and (phase == 'crawling' or phase == 'queued')) then
redis.call('hset', key, 'phase', phase)
end
end
@@ -219,7 +225,7 @@ public class BrandTaskProgressCacheService {
}
String value = phase.trim().toLowerCase();
return switch (value) {
case PHASE_ASSEMBLING, PHASE_UPLOADING, PHASE_FAILED -> value;
case PHASE_QUEUED, PHASE_ASSEMBLING, PHASE_UPLOADING, PHASE_FAILED -> value;
default -> PHASE_CRAWLING;
};
}
@@ -168,6 +168,10 @@ public class BrandTaskService {
BrandCrawlTaskEntity entity = new BrandCrawlTaskEntity();
entity.setUserId(userId);
entity.setDeviceId(AdminAuthSupport.normalizeDeviceId(deviceId));
// 执行方在这一单选(界面 LOCAL/ONLINE 单选框,V212);未登记/脏值=不登记,按模块默认
// (BRAND 默认 LOCAL)兜,与 V183 的外观专利/相似ASIN 同一口径。
entity.setCollectChannel(com.nanri.aiimage.modules.task.model.CollectChannel
.persistedValue(request.getCollectChannel()));
entity.setFilePaths(JSONUtil.toJsonStr(files));
entity.setStatus(STATUS_PENDING);
entity.setTaskType(taskType);
@@ -181,6 +185,11 @@ public class BrandTaskService {
BrandTaskCreateVo vo = new BrandTaskCreateVo();
vo.setTaskId(entity.getId());
// 回读给调用方的是「库里真正生效的通道」:入库为 NULL 时也告诉前端按哪一侧兜,
// 免得界面显示本机、实际默认线上(或反过来)这种两侧各读各的分裂。
vo.setCollectChannel(com.nanri.aiimage.modules.task.model.CollectChannel
.resolve(entity.getCollectChannel(),
com.nanri.aiimage.config.CollectRoutingProperties.MODULE_BRAND).name());
return vo;
}
@@ -29,10 +29,11 @@ public class CollectRoutingController {
@GetMapping
@Operation(summary = "查询新建任务的默认采集通道",
description = "返回外观专利与相似ASIN在「这一单没登记通道」时按哪一侧执行。只读,无副作用。")
description = "返回外观专利、相似ASIN 与品牌检测在「这一单没登记通道」时按哪一侧执行。只读,无副作用。")
public ApiResponse<CollectRoutingVo> routing() {
return ApiResponse.success(new CollectRoutingVo(
CollectChannel.defaultFor(CollectRoutingProperties.MODULE_APPEARANCE_PATENT).isLocal(),
CollectChannel.defaultFor(CollectRoutingProperties.MODULE_SIMILAR_ASIN).isLocal()));
CollectChannel.defaultFor(CollectRoutingProperties.MODULE_SIMILAR_ASIN).isLocal(),
CollectChannel.defaultFor(CollectRoutingProperties.MODULE_BRAND).isLocal()));
}
}
@@ -30,7 +30,8 @@ public enum CollectChannel {
CollectRoutingProperties.MODULE_APPEARANCE_PATENT,
CollectRoutingProperties.MODULE_SIMILAR_ASIN,
CollectRoutingProperties.MODULE_JD_SHOP_COLLECT,
CollectRoutingProperties.MODULE_JD_PUBLISH);
CollectRoutingProperties.MODULE_JD_PUBLISH,
CollectRoutingProperties.MODULE_BRAND);
/**
* 未登记通道时读作 {@link #LOCAL} 的模块清单。
@@ -38,6 +39,11 @@ public enum CollectChannel {
* <p>{@link #defaultFor(String)} 与 mapper 里那条通道谓词({@code FileTaskMapper.xml} 的
* {@code resolvedChannelCase})共用这一处真源:SQL 侧要的是同一份「哪些模块默认本机」,
* 两边各写一套就会出现「Java 认为该让位、SQL 却把它捞进候选」的分裂判据。
*
* <p>BRAND 在这份清单里只服务于 {@link #defaultFor(String)}:品牌任务落在独立表
* {@code brand_crawl_tasks}(V212),从不进 {@code biz_file_task},所以 SQL 那条 CASE
* 见不到 {@code module_type='BRAND'} 的行,也不会被 {@code client-task-pull.module-types}
* 白名单选中(那里没有 BRAND)。
*/
public static List<String> localDefaultModuleTypes() {
return LOCAL_DEFAULT_MODULES;
@@ -16,4 +16,7 @@ public class CollectRoutingVo {
@Schema(description = "相似ASIN是否本地采集:true=页面推本地客户端(超时后 Linux 兜底);false=只由 Linux 后台执行")
private boolean similarAsinLocal;
@Schema(description = "品牌检测是否本地采集:true=桌面客户端本机执行;false=服务端 15126 执行(进程内跨账号并发默认 2)")
private boolean brandLocal;
}
@@ -0,0 +1,28 @@
-- V212: 品牌检测任务的采集执行通道(本机采集 / 线上采集)
--
-- 号段说明:本窗(2026-11-18)V211 已被 `V211__jd_publish_item_permit.sql`(另一路会话
-- 的京东上架件)占用,本迁移让到 V212;同一版本号出现两支 Flyway 会直接报重复版本。
--
-- 背景(2026-11-18 用户拍板):
-- 品牌检测原先只有**线上**一档——页面把 /api/brand/run 打到线上 15126,由那台机器
-- 用共享代理池串行执行,进程内跨账号并发上限 BRAND_MAX_CONCURRENT_TASKS 默认 2。
-- 两个大单(几百上千个品牌)就能把名额占满几小时,后面所有账号的任务全部排队,
-- 排队上限 120 分钟;2026-11-17 任务 3374 实测排队 62 分钟、真正执行只 3 分半。
-- 现在照外观专利/相似ASIN 的口径(V183)改成建单时界面单选,默认本机:
-- 本机执行用用户自己的代理(客户端启动时已把共享代理门面注入 brand_spider),
-- 不占服务端名额。
--
-- 设计口径(与 V183 逐条同形):
-- * 可空:NULL=「这一单没登记通道」,由 `CollectChannel.defaultFor(moduleType)` 兜,
-- BRAND 读作 LOCAL;历史行不回填,老客户端不带该字段时仍按默认走;
-- * 不加索引:品牌任务按 (status, updated_at) 扫描(V120 的
-- idx_brand_crawl_task_status_updated),通道只影响"谁来执行",不参与取页;
-- * 与 V183 的差异:品牌任务表是 brand_crawl_tasks(不是 biz_file_task),
-- 状态词表是小写(pending/running/success/failed/cancelled),本列只记录执行方。
--
-- 回滚(手工):
-- ALTER TABLE `brand_crawl_tasks` DROP COLUMN `collect_channel`;
ALTER TABLE `brand_crawl_tasks`
ADD COLUMN `collect_channel` VARCHAR(16) NULL
COMMENT '采集执行通道:LOCAL=桌面客户端本机采/ONLINE=服务端 15126 采;空=按模块默认' AFTER `device_id`;
@@ -0,0 +1,143 @@
package com.nanri.aiimage.modules.brand.service;
import com.baomidou.mybatisplus.core.MybatisConfiguration;
import com.baomidou.mybatisplus.core.metadata.TableInfoHelper;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.nanri.aiimage.common.service.DistributedJobLockService;
import com.nanri.aiimage.config.BrandProgressProperties;
import com.nanri.aiimage.config.StorageProperties;
import com.nanri.aiimage.modules.brand.mapper.BrandCrawlTaskMapper;
import com.nanri.aiimage.modules.brand.model.dto.BrandSourceFileDto;
import com.nanri.aiimage.modules.brand.model.dto.BrandTaskCreateRequest;
import com.nanri.aiimage.modules.brand.model.entity.BrandCrawlTaskEntity;
import com.nanri.aiimage.modules.brand.model.vo.BrandTaskCreateVo;
import com.nanri.aiimage.modules.file.service.oss.OssStorageService;
import com.nanri.aiimage.modules.task.service.TaskDistributedLockService;
import com.nanri.aiimage.modules.task.service.TaskFileJobService;
import com.nanri.aiimage.modules.task.service.TaskProgressSnapshotService;
import org.apache.ibatis.builder.MapperBuilderAssistant;
import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.extension.ExtendWith;
import org.mockito.ArgumentCaptor;
import org.mockito.Mock;
import org.mockito.junit.jupiter.MockitoExtension;
import java.util.List;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertNull;
import static org.mockito.Mockito.mock;
import static org.mockito.Mockito.verify;
/**
* 品牌检测建单口的执行通道落库契约(V212)。
*
* <p>背景:品牌原先只有线上一条路——页面把请求打到 15126,由那台机器用共享代理池执行,
* 进程内跨账号并发上限默认 2。两个大单就能把名额占满几小时,2026-11-17 任务 3374
* 排队 62 分钟、真正执行只 3 分半。现在照外观专利/相似ASIN(V183)改成建单时界面单选,
* 默认本机:本机跑用用户自己的代理,不占服务端名额。
*
* <p>这里钉三条:① 界面选的 ONLINE/LOCAL 必须原样落库,不许"界面选了线上、库里没登记"
* 让执行方按默认换边;② 不传/脏值一律不登记(留 NULL 交给模块默认),不得把脏值写进库;
* ③ 回执里的通道是「库里真正生效的那一侧」,NULL 也告诉前端按哪边兜。
*/
@ExtendWith(MockitoExtension.class)
class BrandTaskCreateChannelTest {
@Mock private BrandCrawlTaskMapper brandCrawlTaskMapper;
@Mock private OssStorageService ossStorageService;
@Mock private StorageProperties storageProperties;
@Mock private BrandProgressProperties brandProgressProperties;
@Mock private BrandTaskProgressCacheService brandTaskProgressCacheService;
@Mock private BrandTaskStorageService brandTaskStorageService;
@Mock private DistributedJobLockService distributedJobLockService;
@Mock private TaskDistributedLockService taskDistributedLockService;
@Mock private TaskFileJobService taskFileJobService;
@Mock private TaskProgressSnapshotService taskProgressSnapshotService;
@BeforeAll
static void initializeTableInfo() {
TableInfoHelper.initTableInfo(
new MapperBuilderAssistant(new MybatisConfiguration(), ""),
BrandCrawlTaskEntity.class);
}
private BrandTaskService service() {
return new BrandTaskService(brandCrawlTaskMapper, ossStorageService, storageProperties,
brandProgressProperties, brandTaskProgressCacheService,
mock(com.nanri.aiimage.modules.task.service.TaskHeartbeatPositionService.class),
brandTaskStorageService,
distributedJobLockService, taskDistributedLockService, new ObjectMapper(),
taskFileJobService, taskProgressSnapshotService,
mock(com.nanri.aiimage.modules.notification.service.NotificationDispatchService.class));
}
private BrandTaskCreateRequest request(String collectChannel) {
BrandSourceFileDto file = new BrandSourceFileDto();
file.setFileUrl("https://oss.aishufu.top/nanri-ai-images/source/brand.xlsx");
file.setOriginalFilename("品牌样例.xlsx");
BrandTaskCreateRequest request = new BrandTaskCreateRequest();
request.setFiles(List.of(file));
request.setStrategy("Simple");
request.setTaskType(1);
request.setCollectChannel(collectChannel);
return request;
}
@Test
void 界面选的线上通道原样落库并回显() {
BrandTaskCreateVo vo = service().createTask(1338L, request("ONLINE"), "device-1");
ArgumentCaptor<BrandCrawlTaskEntity> captor = ArgumentCaptor.forClass(BrandCrawlTaskEntity.class);
verify(brandCrawlTaskMapper).insert(captor.capture());
assertEquals("ONLINE", captor.getValue().getCollectChannel(),
"界面选了线上,库列必须是 ONLINE;落空就会按模块默认换成本机");
assertEquals("ONLINE", vo.getCollectChannel(), "回执要与库列同侧");
}
@Test
void 界面选的本机通道原样落库并回显() {
BrandTaskCreateVo vo = service().createTask(1338L, request(" local "), "device-1");
ArgumentCaptor<BrandCrawlTaskEntity> captor = ArgumentCaptor.forClass(BrandCrawlTaskEntity.class);
verify(brandCrawlTaskMapper).insert(captor.capture());
assertEquals("LOCAL", captor.getValue().getCollectChannel(), "大小写与空白按规范值归一");
assertEquals("LOCAL", vo.getCollectChannel());
}
@Test
void 未传通道时留空并由模块默认兜成本机() {
BrandTaskCreateVo vo = service().createTask(1338L, request(null), "device-1");
ArgumentCaptor<BrandCrawlTaskEntity> captor = ArgumentCaptor.forClass(BrandCrawlTaskEntity.class);
verify(brandCrawlTaskMapper).insert(captor.capture());
assertNull(captor.getValue().getCollectChannel(), "不登记=留空,不许替用户猜一个值写死进库");
assertEquals("LOCAL", vo.getCollectChannel(),
"回执要报库里真正生效的一侧:BRAND 的模块默认是本机");
}
@Test
void 不可识别的通道值不落库只回落默认() {
BrandTaskCreateVo vo = service().createTask(1338L, request("本地"), "device-1");
ArgumentCaptor<BrandCrawlTaskEntity> captor = ArgumentCaptor.forClass(BrandCrawlTaskEntity.class);
verify(brandCrawlTaskMapper).insert(captor.capture());
assertNull(captor.getValue().getCollectChannel(), "脏值不能进库,否则读侧只能当默认");
assertEquals("LOCAL", vo.getCollectChannel());
}
/** 前端按 snake_case 传(`collect_channel`),老调用方按 camelCase 传,两种都得绑上。 */
@Test
void 请求体两种字段名都能绑定() throws Exception {
String body = "{\"files\":[{\"fileUrl\":\"https://oss.aishufu.top/a.xlsx\"}],"
+ "\"strategy\":\"Simple\",\"collect_channel\":\"ONLINE\"}";
assertEquals("ONLINE", new ObjectMapper()
.readValue(body, BrandTaskCreateRequest.class).getCollectChannel());
String camel = "{\"files\":[{\"fileUrl\":\"https://oss.aishufu.top/a.xlsx\"}],"
+ "\"strategy\":\"Simple\",\"collectChannel\":\"local\"}";
assertEquals("local", new ObjectMapper()
.readValue(camel, BrandTaskCreateRequest.class).getCollectChannel());
}
}
@@ -0,0 +1,73 @@
package com.nanri.aiimage.modules.brand.service;
import com.nanri.aiimage.config.BrandProgressProperties;
import org.junit.jupiter.api.DisplayName;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.extension.ExtendWith;
import org.mockito.Mock;
import org.mockito.junit.jupiter.MockitoExtension;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import static org.mockito.ArgumentMatchers.any;
import static org.mockito.ArgumentMatchers.anyList;
import static org.mockito.ArgumentMatchers.anyString;
import static org.mockito.ArgumentMatchers.eq;
import static org.mockito.Mockito.verify;
import static org.mockito.Mockito.when;
/**
* 品牌心跳 phase 白名单(2026-11-18)。
*
* <p>排队期(客户端等账号锁/全局并发槽位,跨账号默认 2 个名额)此前一律报
* {@code crawling},界面把「排队 62 分钟」显示成「品牌查询中 0/N」,用户只能
* 以为任务卡死。现在客户端排队期报 {@code queued},后端必须原样保留——
* 归一成 crawling 就等于把这条显示修回原形。
*/
@ExtendWith(MockitoExtension.class)
class BrandTaskProgressCacheQueuedPhaseTest {
@Mock
private StringRedisTemplate stringRedisTemplate;
@Mock
private BrandProgressProperties brandProgressProperties;
private BrandTaskProgressCacheService newService() {
when(brandProgressProperties.getTtlHours()).thenReturn(24L);
return new BrandTaskProgressCacheService(
stringRedisTemplate, brandProgressProperties, new com.fasterxml.jackson.databind.ObjectMapper());
}
@Test
@DisplayName("排队期 phase=queued 原样下传(不得归一成 crawling)")
void queuedPhaseIsKept() {
newService().touchHeartbeat(3374L, "queued", 0, 49);
verify(stringRedisTemplate).execute(
any(DefaultRedisScript.class), anyList(),
eq(BrandTaskProgressCacheService.PHASE_QUEUED), eq("0"), eq("49"), anyString());
}
@Test
@DisplayName("白名单外的 phase 仍归一成 crawling(防止脏值写进缓存)")
void unknownPhaseFallsBackToCrawling() {
newService().touchHeartbeat(3374L, "whatever", 0, 49);
verify(stringRedisTemplate).execute(
any(DefaultRedisScript.class), anyList(),
eq(BrandTaskProgressCacheService.PHASE_CRAWLING), eq("0"), eq("49"), anyString());
}
@Test
@DisplayName("执行期 crawling 与收尾阶段 assembling 保持原语义")
void crawlingAndAssemblingUnchanged() {
newService().touchHeartbeat(1L, "crawling", 5, 49);
verify(stringRedisTemplate).execute(
any(DefaultRedisScript.class), anyList(),
eq(BrandTaskProgressCacheService.PHASE_CRAWLING), eq("5"), eq("49"), anyString());
newService().touchHeartbeat(2L, "assembling", 49, 49);
verify(stringRedisTemplate).execute(
any(DefaultRedisScript.class), anyList(),
eq(BrandTaskProgressCacheService.PHASE_ASSEMBLING), eq("49"), eq("49"), anyString());
}
}
@@ -28,7 +28,8 @@ class CollectRoutingControllerTest {
.andExpect(status().isOk())
.andExpect(jsonPath("$.success").value(true))
.andExpect(jsonPath("$.data.appearancePatentLocal").value(true))
.andExpect(jsonPath("$.data.similarAsinLocal").value(true));
.andExpect(jsonPath("$.data.similarAsinLocal").value(true))
.andExpect(jsonPath("$.data.brandLocal").value(true));
}
@Test
@@ -42,6 +43,8 @@ class CollectRoutingControllerTest {
mockMvc.perform(get("/api/collect-routing"))
.andExpect(status().isOk())
.andExpect(jsonPath("$.data.appearancePatentLocal").value(true))
.andExpect(jsonPath("$.data.similarAsinLocal").value(true));
.andExpect(jsonPath("$.data.similarAsinLocal").value(true))
// 品牌检测(V212)同样默认本机:服务端只有 2 个跨账号并发名额。
.andExpect(jsonPath("$.data.brandLocal").value(true));
}
}
@@ -39,11 +39,13 @@ class CollectChannelTest {
*/
@Test
void 本机默认模块清单与defaultFor同源() {
// v1.5 起含 JD_PUBLISH(京麦登录态只在用户桌面机 19899 Chrome,铁律 19 同形)。
// v1.5 起含 JD_PUBLISH(京麦登录态只在用户桌面机 19899 Chrome,铁律 19 同形);
// 2026-11-18 起含 BRAND(服务端 15126 只有 2 个跨账号并发名额,品牌默认本机执行)。
assertEquals(List.of(CollectRoutingProperties.MODULE_APPEARANCE_PATENT,
CollectRoutingProperties.MODULE_SIMILAR_ASIN,
CollectRoutingProperties.MODULE_JD_SHOP_COLLECT,
CollectRoutingProperties.MODULE_JD_PUBLISH), CollectChannel.localDefaultModuleTypes());
CollectRoutingProperties.MODULE_JD_PUBLISH,
CollectRoutingProperties.MODULE_BRAND), CollectChannel.localDefaultModuleTypes());
for (String module : CollectChannel.localDefaultModuleTypes()) {
assertTrue(CollectChannel.defaultFor(module).isLocal(), module + " 在清单里却不被判本机");
}
@@ -58,6 +60,22 @@ class CollectChannelTest {
assertEquals(CollectChannel.LOCAL, CollectChannel.defaultFor(" SIMILAR_ASIN "));
}
@Test
void 品牌检测未登记通道时默认本机() {
// 服务端 15126 进程内跨账号并发默认 2 个名额,大单会把后面所有账号的任务排到
// 120 分钟上限(2026-11-17 任务 3374 排队 62 分钟、实际执行 3 分半)。
// 品牌默认翻转成 ONLINE,等于把这条排队重新钉回所有用户。
assertEquals(CollectChannel.LOCAL,
CollectChannel.defaultFor(CollectRoutingProperties.MODULE_BRAND));
assertEquals(CollectChannel.LOCAL, CollectChannel.defaultFor(" brand "));
assertEquals(CollectChannel.ONLINE,
CollectChannel.resolve("ONLINE", CollectRoutingProperties.MODULE_BRAND),
"这一单显式选了线上就必须读成线上");
assertEquals(CollectChannel.LOCAL,
CollectChannel.resolve(null, CollectRoutingProperties.MODULE_BRAND),
"库列为空的存量行按模块默认读成本机");
}
@Test
void 库里登记过就按登记的读() {
assertEquals(CollectChannel.ONLINE,
@@ -6,7 +6,7 @@
<aside class="left-panel">
<div class="section-title">待检品牌文件</div>
<FileUploadZone
hint="Excel 每行含「品牌」列即会加入检测。可多选文件或选择整个文件夹(.xlsx)。检测由本机客户端执行,请在桌面客户端中打开本页面。"
hint="Excel 每行含「品牌」列即会加入检测。可多选文件或选择整个文件夹(.xlsx)。请在桌面客户端中打开本页面提交。"
:names="selectedPaths"
:max-display="8"
:disabled="!hasBridge"
@@ -30,6 +30,35 @@
</label>
</div>
<div class="section-title">本单采集方式</div>
<div class="radio-cards">
<label class="radio-card" :class="{ selected: collectChannel === 'LOCAL' }">
<input
type="radio"
name="brand-channel"
value="LOCAL"
v-model="collectChannel"
:disabled="channelLocked || !canRunLocal"
/>
<span class="radio-card-name">本机采集(推荐)</span>
<span class="radio-card-desc">由本机客户端执行:用你自己的代理,不受服务端并发名额排队影响</span>
</label>
<label class="radio-card" :class="{ selected: collectChannel === 'ONLINE' }">
<input
type="radio"
name="brand-channel"
value="ONLINE"
v-model="collectChannel"
:disabled="channelLocked"
/>
<span class="radio-card-name">线上采集</span>
<span class="radio-card-desc">由服务端执行:并发名额有限,前面有大单时会排队较久</span>
</label>
</div>
<p v-if="!canRunLocal" class="env-tip">
当前客户端版本不支持「本机采集」,请升级客户端;本次将走线上采集。
</p>
<div class="section-title">运行方式</div>
<p class="loading-msg">提交后立即开始检测,可在右侧任务列表查看进度或取消。</p>
@@ -110,15 +139,18 @@ import {
getBrandTask,
getBrandTaskDownloadUrl,
getBrandTasks,
runBrandLocal,
runBrandNow,
type BrandTaskItem,
} from '@/shared/api/brand'
import { getCollectRouting } from '@/shared/api/types/modules/collect-routing.ts'
import { useExcelFileUpload } from '@/shared/composables/useExcelFileUpload'
import { getTaskPollIntervalMs } from '@/shared/task-progress-config'
import { createCategorizedTimers } from '@/shared/utils/categorized-timers'
import type { UploadedFileRef } from '@/shared/api/types/upload.ts'
import { formatDateTime } from '@/shared/utils/datetime'
import { taskStatusClass, taskStatusText } from '@/shared/utils/task-status-text'
import { brandPhaseText } from '@/shared/utils/brand-phase'
import { isHttpUrl, safeHttpUrl } from '@/shared/utils/safe-url'
import { runBatchDelete } from '@/shared/utils/batch-delete'
@@ -157,6 +189,13 @@ const tasks = ref<BrandTaskItem[]>([])
// 品牌检测已服务端化(/api/brand/* 走域名):浏览器降级桥提供文件选择,Web 端可用;
// 文件夹选择/模板桥等降级桥未实现的方法在点击时提示"仅桌面端"
const hasBridge = computed(() => Boolean(getPywebviewApi()))
/**
* 本机采集能力(V212):老客户端的 pywebview 桥没有 `run_brand_task`,此时本地选项置灰
* 并要求升级——静默改走线上会让用户以为在本地跑,实则又进了服务端那 2 个名额的队列。
*/
const canRunLocal = computed(() => Boolean(getPywebviewApi()?.run_brand_task))
const collectChannel = ref<'LOCAL' | 'ONLINE'>('ONLINE')
const channelLocked = computed(() => submitting.value)
const hasUid = computed(() => {
const raw = typeof window === 'undefined' ? '' : window.localStorage.getItem('uid') || ''
const numeric = Number(raw.trim())
@@ -168,13 +207,6 @@ let pollTimer: number | null = null
/** taskId -> 行级进度快照(按“已处理品牌行 / 总品牌行”推进,成功或查询失败都计入完成数) */
const lineProgressMap = ref<Record<string, { current: number; total: number; phase?: string }>>({})
const BRAND_PHASE_TEXT: Record<string, string> = {
crawling: '品牌查询中',
assembling: '结果生成中',
uploading: '结果上传中',
failed: '处理失败',
}
function hasBusyBrandTask() {
return tasks.value.some(isBusyBrandTask)
}
@@ -346,7 +378,7 @@ function toBrandTaskView(item: BrandTaskItem): TaskItemView {
if (lp && lineTotal > 0) {
progress = {
percent: Math.max(0, Math.min(100, Math.round((lineCurrent / lineTotal) * 100))),
stage: (lp.phase && BRAND_PHASE_TEXT[lp.phase]) || '品牌检测中',
stage: brandPhaseText(lp.phase),
countLabel: `${lineCurrent}/${lineTotal}`,
}
} else {
@@ -371,6 +403,15 @@ function toBrandTaskView(item: BrandTaskItem): TaskItemView {
}
}
/** 本机采集:把桥返回的驼峰形状收敛成与线上分支一致的 {success, task_id, error}。 */
async function runBrandLocalTask(files: UploadedFileRef[]) {
const res = await runBrandLocal(files, strategy.value, getPywebviewApi() ?? undefined)
if (!res.available) {
throw new Error('当前客户端版本不支持本机采集,请升级客户端后重试(也可先改用线上采集)')
}
return { success: res.success, task_id: res.taskId, error: res.error }
}
async function submitRun() {
if (!hasBridge.value) {
ElMessage.warning('请在桌面客户端中打开本页面执行品牌检测')
@@ -394,9 +435,11 @@ async function submitRun() {
relativePath: f.relativePath,
fileUrl: f.url || f.localPath,
}))
const res = await runBrandNow(files, strategy.value)
const res = collectChannel.value === 'LOCAL'
? await runBrandLocalTask(files)
: await runBrandNow(files, strategy.value, 'ONLINE')
if (res.success && res.task_id) {
ElMessage.success(`已创建任务 ${res.task_id},开始检测`)
ElMessage.success(`已创建任务 ${res.task_id}(${collectChannel.value === 'LOCAL' ? '本机采集' : '线上采集'}),开始检测`)
} else {
throw new Error((res as { error?: string }).error || '运行失败')
}
@@ -516,6 +559,15 @@ async function downloadTemplate(kind: 'xlsx' | 'zip') {
onMounted(() => {
void syncTasksAndResumePolling()
// 默认通道由服务端给(V212 起 BRAND 默认 LOCAL),前端不自己写死:
// 老客户端没有 run_brand_task 桥时强制落到线上,并把本地选项置灰。
void getCollectRouting()
.then((routing) => {
collectChannel.value = routing?.brandLocal && canRunLocal.value ? 'LOCAL' : 'ONLINE'
})
.catch(() => {
collectChannel.value = 'ONLINE'
})
})
onBeforeUnmount(() => {
@@ -102,13 +102,50 @@ export function expandBrandFolderRecursive(folder: string) {
return requestPostJson<BrandExpandFolderResponse>(`${API_PREFIX}/api/brand/expand-folder-recursive`, { folder })
}
export function runBrandNow(files: UploadedFileRef[], strategy: string) {
export function runBrandNow(files: UploadedFileRef[], strategy: string, collectChannel?: 'LOCAL' | 'ONLINE') {
return requestPostJson<BrandTaskMutationResponse>(
`${API_PREFIX}/api/brand/run?userId=${encodeURIComponent(String(getCurrentUserId()))}`,
{ files, strategy, taskType: 1 },
{ files, strategy, taskType: 1, ...(collectChannel ? { collect_channel: collectChannel } : {}) },
)
}
/** 本机采集要用到的桥能力;由页面把 `getPywebviewApi()` 传进来(本模块不引桥,见下) */
export interface BrandLocalBridge {
run_brand_task?: (payload: { files: UploadedFileRef[]; strategy: string; uid: number }) => Promise<{
success?: boolean
task_id?: number
error?: string
}>
}
/**
* 本机采集(V212):把这一单交给桌面客户端本机 Flask 执行。
*
* 页面载入的是线上 Web,`/api/brand/*` 的相对地址一律打到线上 15126(服务端执行);
* 本地这一档只能经 pywebview 桥显式送回 127.0.0.1:5123,所以这里不走 fetch 而走桥。
* 老客户端没有 `run_brand_task` 方法 ⇒ 返回 available=false,由页面把选项置灰并提示升级。
*
* 桥由调用方传入而不在此 import:本模块被 `node --test` 直接加载(tests/modules-image-video
* 等),而 bridges/pywebview.ts 用的是 vite 别名与省略扩展名的导入,Node ESM 解析不了。
*/
export function runBrandLocal(files: UploadedFileRef[], strategy: string, bridge?: BrandLocalBridge) {
if (!bridge?.run_brand_task) {
return Promise.resolve({ available: false as const })
}
return Promise.resolve(
bridge.run_brand_task({
files,
strategy,
uid: getCurrentUserId(),
}),
).then((res) => ({
available: true as const,
success: Boolean(res?.success),
taskId: Number(res?.task_id) || 0,
error: res?.error ? String(res.error) : '',
}))
}
export function createBrandTask(files: UploadedFileRef[], strategy: string) {
return requestPostJson<BrandTaskMutationResponse>(
`${API_PREFIX}/api/brand/tasks?userId=${encodeURIComponent(String(getCurrentUserId()))}`,
@@ -19,6 +19,8 @@ export type CollectChannel = 'LOCAL' | 'ONLINE';
export interface CollectRoutingVo {
appearancePatentLocal: boolean;
similarAsinLocal: boolean;
/** 品牌检测默认通道(2026-11-18,V212):true=桌面客户端本机执行;false=服务端 15126 执行。 */
brandLocal: boolean;
}
export function getCollectRouting() {
@@ -141,6 +141,13 @@ export interface PywebviewApi {
expand_brand_folder?: (
folder: string,
) => Promise<{ success: boolean; items?: Array<{ absolutePath: string; relativePath: string }>; error?: string }>;
/**
* 品牌检测本机采集(V212):把这一单交给本机 Flask 执行并返回 task_id。
* 老客户端没有这个方法 ⇒ 页面据此把「本机采集」置灰并要求升级。
*/
run_brand_task?: (
payload: { files: unknown[]; strategy: string; uid: number },
) => Promise<{ success: boolean; task_id?: number; collect_channel?: string; error?: string }>;
upload_file_to_java?: (
filePath: string,
relativePath?: string,
@@ -0,0 +1,27 @@
/**
* 品牌检测的阶段文案(唯一出处)。
*
* 背景(2026-11-18):品牌任务的服务端执行方(15126)跨账号最多并发 2 个
* (`BRAND_MAX_CONCURRENT_TASKS` 默认 2),同账号串行;名额被大单占满时后到的
* 任务要排队几十分钟。排队期心跳此前一律报 `crawling`,界面就把「排队 62 分钟」
* 显示成「品牌查询中 0/N」——用户只能以为任务卡死。现在排队期单独报 `queued`。
*
* 这里的 key 必须与后端 `BrandTaskProgressCacheService` 的 phase 白名单同形:
* 后端会把白名单外的 phase 归一成 `crawling`,漏加即界面重新退回「品牌查询中」。
*/
export const BRAND_PHASE_TEXT: Record<string, string> = {
queued: '排队中',
crawling: '品牌查询中',
assembling: '结果生成中',
uploading: '结果上传中',
failed: '处理失败',
}
/** 未知/缺省 phase 的统一兜底文案(保持改动前的显示口径)。 */
export const BRAND_PHASE_FALLBACK = '品牌检测中'
export function brandPhaseText(phase?: string | null): string {
const key = (phase ?? '').trim()
if (!key) return BRAND_PHASE_FALLBACK
return BRAND_PHASE_TEXT[key] || BRAND_PHASE_FALLBACK
}
@@ -0,0 +1,96 @@
import { test } from 'node:test'
import assert from 'node:assert/strict'
import { http } from '../src/shared/api/http.ts'
import { runBrandLocal, runBrandNow, type BrandLocalBridge } from '../src/shared/api/types/modules/brand.ts'
function setupWindow() {
;(globalThis as Record<string, unknown>).window = {
localStorage: { getItem: () => '42' },
location: { origin: 'http://localhost' },
}
}
function mockRequest(
t: Parameters<typeof test>[1] extends (t: infer T) => unknown ? T : never,
impl: (config: { url?: string; method?: string; data?: unknown }) => Promise<unknown>,
) {
t.mock.method(http, 'request', impl as never)
}
const files = [{ fileKey: 'k1', originalFilename: '品牌样例.xlsx' }] as never
/**
* 品牌检测的采集执行通道(V212):界面单选本机/线上,默认本机。
*
* <p>这里钉三件:① 线上这一档必须把 collect_channel 打进请求体(否则服务端按模块默认
* 存成 LOCAL,界面选线上却在本机跑);② 不传通道时不编造字段(服务端按默认兜);
* ③ 老客户端的桥没有 run_brand_task 时必须明确回答 available=false——页面据此把
* 「本机采集」置灰并提示升级,而不是静默回落到线上(否则又排回那 2 个名额)。
*/
test('test_brand_local_without_bridge_reports_unavailable', async () => {
setupWindow()
assert.deepEqual(await runBrandLocal(files, 'Simple'), { available: false })
assert.deepEqual(await runBrandLocal(files, 'Simple', {} as BrandLocalBridge), { available: false },
'桥在但没有 run_brand_task(老客户端)同样置灰')
})
test('test_brand_local_forwards_to_bridge', async () => {
setupWindow()
const calls: unknown[] = []
const bridge: BrandLocalBridge = {
run_brand_task: (payload) => {
calls.push(payload)
return Promise.resolve({ success: true, task_id: 5123 })
},
}
const result = await runBrandLocal(files, 'Terms', bridge)
assert.equal(result.available, true)
assert.equal(result.success, true)
assert.equal(result.taskId, 5123)
assert.deepEqual(calls, [{ files, strategy: 'Terms', uid: 42 }],
'桥调用要把 uid 一起带过去:本机 Flask 建单要按用户归属')
})
test('test_brand_local_bridge_failure_is_reported', async () => {
setupWindow()
const bridge: BrandLocalBridge = {
run_brand_task: () => Promise.resolve({ success: false, error: '本机建单失败' }),
}
const result = await runBrandLocal(files, 'Simple', bridge)
assert.equal(result.available, true)
assert.equal(result.success, false)
assert.equal(result.error, '本机建单失败')
})
test('test_brand_run_online_channel_in_payload', async (t) => {
setupWindow()
let captured: { url?: string; method?: string; data?: unknown } = {}
mockRequest(t, (config) => {
captured = config
return Promise.resolve({ data: { success: true, data: { success: true, task_id: '77' } } })
})
await runBrandNow(files, 'Simple', 'ONLINE')
assert.equal(captured.url, '/api/brand/run?userId=42')
assert.equal(captured.method, 'POST')
assert.deepEqual(captured.data, { files, strategy: 'Simple', taskType: 1, collect_channel: 'ONLINE' })
})
test('test_brand_run_without_channel_does_not_invent_one', async (t) => {
setupWindow()
let captured: { data?: unknown } = {}
mockRequest(t, (config) => {
captured = config
return Promise.resolve({ data: { success: true, data: { success: true } } })
})
await runBrandNow(files, 'Simple')
assert.deepEqual(captured.data, { files, strategy: 'Simple', taskType: 1 },
'不选通道时不带字段,由服务端按模块默认兜(BRAND 默认 LOCAL)')
})
+7 -2
View File
@@ -18,7 +18,7 @@ function mockRequest(
}
/**
* 采集路由开关读取口:前端两个工具页据这两个布尔决定「启动」走本地客户端还是后台。
* 采集路由开关读取口:前端工具页据这几个布尔决定「启动」走本地客户端还是后台。
* 只钉 URL 与返回值原样透传——开关真值来自服务端,前端不自己造默认。
*/
test('test_collect_routing_url_and_payload', async (t) => {
@@ -27,7 +27,11 @@ test('test_collect_routing_url_and_payload', async (t) => {
mockRequest(t, (config) => {
captured = config
return Promise.resolve({
data: { success: true, message: 'ok', data: { appearancePatentLocal: true, similarAsinLocal: false } },
data: {
success: true,
message: 'ok',
data: { appearancePatentLocal: true, similarAsinLocal: false, brandLocal: true },
},
})
})
@@ -37,4 +41,5 @@ test('test_collect_routing_url_and_payload', async (t) => {
assert.equal(captured.method, 'GET')
assert.equal(routing.appearancePatentLocal, true)
assert.equal(routing.similarAsinLocal, false)
assert.equal(routing.brandLocal, true)
})