feat(phase-1): 京东数据库数据底座——V193~V196 迁移 + jd 模块实体/Mapper + 模块注册与 LOCAL 通道默认 + aiimage.jd 配置
This commit is contained in:
@@ -67,7 +67,12 @@ public final class TaskModuleRegistry {
|
||||
Optional.of(UserSecretModule.SIMILAR_ASIN)),
|
||||
new Module("COLLECT_DATA", "采集数据", true, true, false, true, Optional.empty()),
|
||||
new Module("SHOP_DATA_CRAWL", "店铺数据抓取", true, false, true, false, Optional.empty()),
|
||||
new Module("BRAND", "品牌检测", true, false, true, false, Optional.empty())
|
||||
new Module("BRAND", "品牌检测", true, false, true, false, Optional.empty()),
|
||||
// v1.4 京东店铺采集(蓝图 §4 Phase 1):resultFileJob=false——不出 Excel 结果文件,
|
||||
// 商品数据直接落 biz_jd_product(V193),导出由后管做;ageCleanup=true——任务行
|
||||
// 照常按天清理(商品行在 biz_jd_product 独立保留,不被清);判死巡检暂不并入
|
||||
// (Phase 2 落 JdStaleTaskService 时按其调度形态登记,登录态失效判死由它自管)。
|
||||
new Module("JD_SHOP_COLLECT", "京东店铺采集", false, true, false, false, Optional.empty())
|
||||
);
|
||||
|
||||
private TaskModuleRegistry() {
|
||||
|
||||
@@ -25,6 +25,9 @@ public class CollectRoutingProperties {
|
||||
/** 相似ASIN(货源查询)模块名。 */
|
||||
public static final String MODULE_SIMILAR_ASIN = "SIMILAR_ASIN";
|
||||
|
||||
/** 京东店铺采集模块名(v1.4;紫鸟只在本机 Windows,默认通道必须 LOCAL,铁律 19 同形)。 */
|
||||
public static final String MODULE_JD_SHOP_COLLECT = "JD_SHOP_COLLECT";
|
||||
|
||||
/** LOCAL 通道的任务在 PENDING 超过多少分钟后允许 Linux 兜底认领。 */
|
||||
private long linuxFallbackMinutes = 30L;
|
||||
|
||||
|
||||
+17
@@ -0,0 +1,17 @@
|
||||
package com.nanri.aiimage.modules.jd.mapper;
|
||||
|
||||
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
|
||||
import com.nanri.aiimage.modules.jd.model.entity.JdProductGroupEntity;
|
||||
import org.apache.ibatis.annotations.Mapper;
|
||||
|
||||
/**
|
||||
* 京东商品自定义分组(biz_jd_product_group,V195)数据访问口。
|
||||
*
|
||||
* <p>简单单表 CRUD:新建/改名/删除/按公司取全量全部走 BaseMapper + wrapper
|
||||
* (SqlLayering 惯例,无 XML)。业务规则落 Phase 5 的 {@code JdProductGroupService}:
|
||||
* 同公司重名拒绝、按公司隔离、删除分组先把该组商品 {@code group_id} 置 NULL 再删组行
|
||||
* (两步一事务,AC-8)。</p>
|
||||
*/
|
||||
@Mapper
|
||||
public interface JdProductGroupMapper extends BaseMapper<JdProductGroupEntity> {
|
||||
}
|
||||
+29
@@ -0,0 +1,29 @@
|
||||
package com.nanri.aiimage.modules.jd.mapper;
|
||||
|
||||
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
|
||||
import com.nanri.aiimage.modules.jd.model.entity.JdProductImageEntity;
|
||||
import org.apache.ibatis.annotations.Mapper;
|
||||
import org.apache.ibatis.annotations.Param;
|
||||
|
||||
import java.util.List;
|
||||
|
||||
/**
|
||||
* 京东商品图片登记(biz_jd_product_image,V194)数据访问口。
|
||||
*
|
||||
* <p>登记链唯一写入口是 {@link #upsertBatch}:按唯一键
|
||||
* {@code uk_product_image(product_id, image_type, sha256)} upsert——同商品同内容
|
||||
* 只留一行(AC-5 图片幂等,重复登记刷新排序与属性名),不同内容全保留。
|
||||
* SQL 全落 {@code mapper/jd/JdProductImageMapper.xml}(铁律 1)。</p>
|
||||
*/
|
||||
@Mapper
|
||||
public interface JdProductImageMapper extends BaseMapper<JdProductImageEntity> {
|
||||
|
||||
/**
|
||||
* 多值批量登记图片行,冲突键={@code uk_product_image}:同 (product, type, sha256)
|
||||
* 重复登记刷新那条(sort_no/attr_name/url 随最近一次采集走),不同内容全保留。
|
||||
*
|
||||
* <p>INSERT 路径不写 created_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null
|
||||
* 会覆盖掉默认值);UPDATE 路径不刷 created_at——登记时刻取首次登记。</p>
|
||||
*/
|
||||
int upsertBatch(@Param("rows") List<JdProductImageEntity> rows);
|
||||
}
|
||||
@@ -0,0 +1,32 @@
|
||||
package com.nanri.aiimage.modules.jd.mapper;
|
||||
|
||||
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
|
||||
import com.nanri.aiimage.modules.jd.model.entity.JdProductEntity;
|
||||
import org.apache.ibatis.annotations.Mapper;
|
||||
import org.apache.ibatis.annotations.Param;
|
||||
|
||||
import java.util.List;
|
||||
|
||||
/**
|
||||
* 京东店铺商品(biz_jd_product,V193)数据访问口。
|
||||
*
|
||||
* <p>覆盖最新语义的唯一写入口是 {@link #upsertBatch}:按唯一键
|
||||
* {@code uk_company_shop_code(company_id, shop_id, product_code)} upsert——同一
|
||||
* (公司, 店铺, 商品编码) 二次采集刷新那条(synced_at 刷新),不同商品全保留,
|
||||
* 行数不增(AC-5/R6)。SQL 全落 {@code mapper/jd/JdProductMapper.xml}(铁律 1)。
|
||||
* 后管只读页的分页/筛选 SQL(Phase 5)也落同份 XML。</p>
|
||||
*/
|
||||
@Mapper
|
||||
public interface JdProductMapper extends BaseMapper<JdProductEntity> {
|
||||
|
||||
/**
|
||||
* 多值批量 upsert 商品行(调用方按批分批),冲突键=
|
||||
* {@code uk_company_shop_code}:同商品重复采集更新那条(覆盖最新),不同商品全保留。
|
||||
*
|
||||
* <p>INSERT 路径不写 synced_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null
|
||||
* 会覆盖掉默认值);UPDATE 路径在 XML 里显式刷 CURRENT_TIMESTAMP(两段口径分开,
|
||||
* AppearancePatentCleanItemMapper#upsertBatch 同形)。唯一键四元组自身
|
||||
* (company_id/shop_id/product_code)不出现在 UPDATE 段——不随更新漂移。</p>
|
||||
*/
|
||||
int upsertBatch(@Param("rows") List<JdProductEntity> rows);
|
||||
}
|
||||
+76
@@ -0,0 +1,76 @@
|
||||
package com.nanri.aiimage.modules.jd.model.entity;
|
||||
|
||||
import com.baomidou.mybatisplus.annotation.IdType;
|
||||
import com.baomidou.mybatisplus.annotation.TableId;
|
||||
import com.baomidou.mybatisplus.annotation.TableName;
|
||||
import lombok.Data;
|
||||
|
||||
import java.math.BigDecimal;
|
||||
import java.time.LocalDateTime;
|
||||
|
||||
/**
|
||||
* 京东店铺商品主表行({@code biz_jd_product},V193,v1.4)。
|
||||
*
|
||||
* <p>覆盖最新语义:唯一键 {@code uk_company_shop_code(company_id, shop_id, product_code)}
|
||||
* 一行一商品,二次采集由 {@code JdProductMapper#upsertBatch}(INSERT ... ON DUPLICATE KEY
|
||||
* UPDATE)刷新字段与 {@code syncedAt},不产生重复行、不做历史快照(AC-5,Out of Scope 4)。
|
||||
* 归属三列物化:{@code userId}=任务 owner、{@code companyId}=owner 用户的
|
||||
* {@code users.company_id}、{@code taskId}=来源任务——同步时显式落值、读不出归属跳过
|
||||
* 不回填默认 1(铁律 30)。{@code attrJson} 保存京东原始 key/label/value 三元组,
|
||||
* 服务端不裁剪不转写(AC-3 保真防丢键)。</p>
|
||||
*/
|
||||
@Data
|
||||
@TableName("biz_jd_product")
|
||||
public class JdProductEntity {
|
||||
|
||||
@TableId(type = IdType.AUTO)
|
||||
private Long id;
|
||||
/** 物化归属分公司(任务 owner 的 users.company_id,无默认,同步时显式落值)。 */
|
||||
private Long companyId;
|
||||
/** 任务 owner 用户 id。 */
|
||||
private Long userId;
|
||||
/** 来源任务 id(biz_file_task.id)。 */
|
||||
private Long taskId;
|
||||
/** 京东店铺标识。 */
|
||||
private String shopId;
|
||||
/** 京麦店铺名。 */
|
||||
private String shopName;
|
||||
/** 京东商品编码(uk_company_shop_code 三元组之一)。 */
|
||||
private String productCode;
|
||||
/** 京东 SKU/货号。 */
|
||||
private String skuId;
|
||||
private String title;
|
||||
private String brand;
|
||||
private String brandId;
|
||||
/** 类目路径(京麦原始形状,A > B > C)。 */
|
||||
private String categoryPath;
|
||||
/** 价格区间下限。 */
|
||||
private BigDecimal priceMin;
|
||||
/** 价格区间上限。 */
|
||||
private BigDecimal priceMax;
|
||||
private Integer stockTotal;
|
||||
/** 商品状态原值(上架中/已下架/审核中/草稿)。 */
|
||||
private String saleStatus;
|
||||
/** 采集来源 Tab(ONSALE/OFFSALE),覆盖最新语义下随最近一次采集刷新。 */
|
||||
private String listTab;
|
||||
/** 京东侧创建时间。 */
|
||||
private LocalDateTime jdCreatedAt;
|
||||
/** 京东侧修改时间。 */
|
||||
private LocalDateTime jdUpdatedAt;
|
||||
/** 自有桶主图 URL(京东原图域名不落库,AC-4)。 */
|
||||
private String mainImageUrl;
|
||||
/** 京东详情页 URL(仅作溯源,不作展示源)。 */
|
||||
private String detailUrl;
|
||||
/** 京东属性全集 JSON(原始 key/label/value 三元组,服务端不裁剪)。 */
|
||||
private String attrJson;
|
||||
/** 属性键数量(质量核查分母)。 */
|
||||
private Integer attrCount;
|
||||
/** 已转存图片数。 */
|
||||
private Integer imageCount;
|
||||
/** 自定义分组 id(V195 补列;删除分组时置 NULL,商品不删)。 */
|
||||
private Long groupId;
|
||||
/** 本次采集批次号(断点与差异核对用,不作历史快照)。 */
|
||||
private String collectBatchId;
|
||||
/** 同步时刻(INSERT 路径走列默认值,UPDATE 路径由 XML 显式刷 CURRENT_TIMESTAMP)。 */
|
||||
private LocalDateTime syncedAt;
|
||||
}
|
||||
+32
@@ -0,0 +1,32 @@
|
||||
package com.nanri.aiimage.modules.jd.model.entity;
|
||||
|
||||
import com.baomidou.mybatisplus.annotation.IdType;
|
||||
import com.baomidou.mybatisplus.annotation.TableId;
|
||||
import com.baomidou.mybatisplus.annotation.TableName;
|
||||
import lombok.Data;
|
||||
|
||||
import java.time.LocalDateTime;
|
||||
|
||||
/**
|
||||
* 京东商品自定义分组({@code biz_jd_product_group},V195,v1.4)。
|
||||
*
|
||||
* <p>京东数据库专属分组(R4):按公司隔离(唯一键 {@code uk_company_group_name}),
|
||||
* 可新建/改名/删除;删除分组不删商品——商品行 {@code group_id} 置 NULL(AC-8)。
|
||||
* 简单单表 CRUD 走 BaseMapper + wrapper(SqlLayering 惯例),无 XML。</p>
|
||||
*/
|
||||
@Data
|
||||
@TableName("biz_jd_product_group")
|
||||
public class JdProductGroupEntity {
|
||||
|
||||
@TableId(type = IdType.AUTO)
|
||||
private Long id;
|
||||
/** 归属分公司(分组按公司隔离,R4)。 */
|
||||
private Long companyId;
|
||||
/** 分组名(同公司内唯一)。 */
|
||||
private String name;
|
||||
/** 下拉展示顺序。 */
|
||||
private Integer sortOrder;
|
||||
private LocalDateTime createdAt;
|
||||
/** 改名/排序刷新时刻(列 ON UPDATE CURRENT_TIMESTAMP)。 */
|
||||
private LocalDateTime updatedAt;
|
||||
}
|
||||
+48
@@ -0,0 +1,48 @@
|
||||
package com.nanri.aiimage.modules.jd.model.entity;
|
||||
|
||||
import com.baomidou.mybatisplus.annotation.IdType;
|
||||
import com.baomidou.mybatisplus.annotation.TableId;
|
||||
import com.baomidou.mybatisplus.annotation.TableName;
|
||||
import lombok.Data;
|
||||
|
||||
import java.time.LocalDateTime;
|
||||
|
||||
/**
|
||||
* 京东商品图片登记行({@code biz_jd_product_image},V194,v1.4)。
|
||||
*
|
||||
* <p>幂等键 {@code uk_product_image(product_id, image_type, sha256)}:同一商品同档同内容
|
||||
* 只登记一行(AC-5 图片幂等)。登记链(Phase 4):归属先判 → 服务端生成 objectKey →
|
||||
* 预签名直传独立桶 jd-products → {@code statObject} 对撞字节数 → 本表落行;
|
||||
* {@code url} 100% 自有域名,京东原图域名不落库(AC-4)。</p>
|
||||
*/
|
||||
@Data
|
||||
@TableName("biz_jd_product_image")
|
||||
public class JdProductImageEntity {
|
||||
|
||||
@TableId(type = IdType.AUTO)
|
||||
private Long id;
|
||||
/** 商品行 id(biz_jd_product.id)。 */
|
||||
private Long productId;
|
||||
/** 物化归属分公司(与商品行一致)。 */
|
||||
private Long companyId;
|
||||
/** 图片档:MAIN=主图 / ATTR=销售属性图 / DETAIL=详情长图。 */
|
||||
private String imageType;
|
||||
/** 销售属性名(ATTR 档专用,如 上衣/半裙/套装)。 */
|
||||
private String attrName;
|
||||
/** 同档内排序(详情抽屉分区展示顺序)。 */
|
||||
private Integer sortNo;
|
||||
/** 自有桶对象 key(服务端生成,客户端不得自造,蓝图 §3.3)。 */
|
||||
private String objectKey;
|
||||
/** 自有域名回读 URL。 */
|
||||
private String url;
|
||||
/** 对象字节数(登记时与 statObject 对撞,对不上进 mismatched)。 */
|
||||
private Long byteSize;
|
||||
/** 内容摘要(幂等键一半,客户端采集时计算)。 */
|
||||
private String sha256;
|
||||
/** 图片宽(像素,可空)。 */
|
||||
private Integer width;
|
||||
/** 图片高(像素,可空)。 */
|
||||
private Integer height;
|
||||
/** 登记时刻(首次登记后不再刷新)。 */
|
||||
private LocalDateTime createdAt;
|
||||
}
|
||||
@@ -12,9 +12,11 @@ import java.util.Locale;
|
||||
* 它取代了原先唯一的全局 {@code aiimage.collect-routing.local-enabled} 一档——那一档现在
|
||||
* 只剩兜底窗口,不再决定执行方。
|
||||
*
|
||||
* <p>列可空,且**不回填**:空值按模块默认解释,外观专利/相似ASIN 读作 {@link #LOCAL}、
|
||||
* 其余模块读作 {@link #ONLINE},与 V183 之前 {@code AIIMAGE_COLLECT_LOCAL_*} 的出厂值
|
||||
* {@code true} 逐字等价。未升级的客户端与全部历史任务因此行为不变。
|
||||
* <p>列可空,且**不回填**:空值按模块默认解释,外观专利/相似ASIN/京东店铺采集
|
||||
* (v1.4 起)读作 {@link #LOCAL}、其余模块读作 {@link #ONLINE},与 V183 之前
|
||||
* {@code AIIMAGE_COLLECT_LOCAL_*} 的出厂值 {@code true} 逐字等价。未升级的客户端与
|
||||
* 全部历史任务因此行为不变。京东采集只能在本机 Windows + 紫鸟窗口执行,不加进本清单
|
||||
* 就会默认 ONLINE ⇒ 任务被推给无紫鸟的 Linux worker,永不执行(铁律 19 同形)。
|
||||
*/
|
||||
public enum CollectChannel {
|
||||
|
||||
@@ -26,7 +28,8 @@ public enum CollectChannel {
|
||||
|
||||
private static final List<String> LOCAL_DEFAULT_MODULES = List.of(
|
||||
CollectRoutingProperties.MODULE_APPEARANCE_PATENT,
|
||||
CollectRoutingProperties.MODULE_SIMILAR_ASIN);
|
||||
CollectRoutingProperties.MODULE_SIMILAR_ASIN,
|
||||
CollectRoutingProperties.MODULE_JD_SHOP_COLLECT);
|
||||
|
||||
/**
|
||||
* 未登记通道时读作 {@link #LOCAL} 的模块清单。
|
||||
|
||||
Reference in New Issue
Block a user