feat(phase-1): 京东数据库数据底座——V193~V196 迁移 + jd 模块实体/Mapper + 模块注册与 LOCAL 通道默认 + aiimage.jd 配置
This commit is contained in:
@@ -67,7 +67,12 @@ public final class TaskModuleRegistry {
|
||||
Optional.of(UserSecretModule.SIMILAR_ASIN)),
|
||||
new Module("COLLECT_DATA", "采集数据", true, true, false, true, Optional.empty()),
|
||||
new Module("SHOP_DATA_CRAWL", "店铺数据抓取", true, false, true, false, Optional.empty()),
|
||||
new Module("BRAND", "品牌检测", true, false, true, false, Optional.empty())
|
||||
new Module("BRAND", "品牌检测", true, false, true, false, Optional.empty()),
|
||||
// v1.4 京东店铺采集(蓝图 §4 Phase 1):resultFileJob=false——不出 Excel 结果文件,
|
||||
// 商品数据直接落 biz_jd_product(V193),导出由后管做;ageCleanup=true——任务行
|
||||
// 照常按天清理(商品行在 biz_jd_product 独立保留,不被清);判死巡检暂不并入
|
||||
// (Phase 2 落 JdStaleTaskService 时按其调度形态登记,登录态失效判死由它自管)。
|
||||
new Module("JD_SHOP_COLLECT", "京东店铺采集", false, true, false, false, Optional.empty())
|
||||
);
|
||||
|
||||
private TaskModuleRegistry() {
|
||||
|
||||
@@ -25,6 +25,9 @@ public class CollectRoutingProperties {
|
||||
/** 相似ASIN(货源查询)模块名。 */
|
||||
public static final String MODULE_SIMILAR_ASIN = "SIMILAR_ASIN";
|
||||
|
||||
/** 京东店铺采集模块名(v1.4;紫鸟只在本机 Windows,默认通道必须 LOCAL,铁律 19 同形)。 */
|
||||
public static final String MODULE_JD_SHOP_COLLECT = "JD_SHOP_COLLECT";
|
||||
|
||||
/** LOCAL 通道的任务在 PENDING 超过多少分钟后允许 Linux 兜底认领。 */
|
||||
private long linuxFallbackMinutes = 30L;
|
||||
|
||||
|
||||
+17
@@ -0,0 +1,17 @@
|
||||
package com.nanri.aiimage.modules.jd.mapper;
|
||||
|
||||
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
|
||||
import com.nanri.aiimage.modules.jd.model.entity.JdProductGroupEntity;
|
||||
import org.apache.ibatis.annotations.Mapper;
|
||||
|
||||
/**
|
||||
* 京东商品自定义分组(biz_jd_product_group,V195)数据访问口。
|
||||
*
|
||||
* <p>简单单表 CRUD:新建/改名/删除/按公司取全量全部走 BaseMapper + wrapper
|
||||
* (SqlLayering 惯例,无 XML)。业务规则落 Phase 5 的 {@code JdProductGroupService}:
|
||||
* 同公司重名拒绝、按公司隔离、删除分组先把该组商品 {@code group_id} 置 NULL 再删组行
|
||||
* (两步一事务,AC-8)。</p>
|
||||
*/
|
||||
@Mapper
|
||||
public interface JdProductGroupMapper extends BaseMapper<JdProductGroupEntity> {
|
||||
}
|
||||
+29
@@ -0,0 +1,29 @@
|
||||
package com.nanri.aiimage.modules.jd.mapper;
|
||||
|
||||
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
|
||||
import com.nanri.aiimage.modules.jd.model.entity.JdProductImageEntity;
|
||||
import org.apache.ibatis.annotations.Mapper;
|
||||
import org.apache.ibatis.annotations.Param;
|
||||
|
||||
import java.util.List;
|
||||
|
||||
/**
|
||||
* 京东商品图片登记(biz_jd_product_image,V194)数据访问口。
|
||||
*
|
||||
* <p>登记链唯一写入口是 {@link #upsertBatch}:按唯一键
|
||||
* {@code uk_product_image(product_id, image_type, sha256)} upsert——同商品同内容
|
||||
* 只留一行(AC-5 图片幂等,重复登记刷新排序与属性名),不同内容全保留。
|
||||
* SQL 全落 {@code mapper/jd/JdProductImageMapper.xml}(铁律 1)。</p>
|
||||
*/
|
||||
@Mapper
|
||||
public interface JdProductImageMapper extends BaseMapper<JdProductImageEntity> {
|
||||
|
||||
/**
|
||||
* 多值批量登记图片行,冲突键={@code uk_product_image}:同 (product, type, sha256)
|
||||
* 重复登记刷新那条(sort_no/attr_name/url 随最近一次采集走),不同内容全保留。
|
||||
*
|
||||
* <p>INSERT 路径不写 created_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null
|
||||
* 会覆盖掉默认值);UPDATE 路径不刷 created_at——登记时刻取首次登记。</p>
|
||||
*/
|
||||
int upsertBatch(@Param("rows") List<JdProductImageEntity> rows);
|
||||
}
|
||||
@@ -0,0 +1,32 @@
|
||||
package com.nanri.aiimage.modules.jd.mapper;
|
||||
|
||||
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
|
||||
import com.nanri.aiimage.modules.jd.model.entity.JdProductEntity;
|
||||
import org.apache.ibatis.annotations.Mapper;
|
||||
import org.apache.ibatis.annotations.Param;
|
||||
|
||||
import java.util.List;
|
||||
|
||||
/**
|
||||
* 京东店铺商品(biz_jd_product,V193)数据访问口。
|
||||
*
|
||||
* <p>覆盖最新语义的唯一写入口是 {@link #upsertBatch}:按唯一键
|
||||
* {@code uk_company_shop_code(company_id, shop_id, product_code)} upsert——同一
|
||||
* (公司, 店铺, 商品编码) 二次采集刷新那条(synced_at 刷新),不同商品全保留,
|
||||
* 行数不增(AC-5/R6)。SQL 全落 {@code mapper/jd/JdProductMapper.xml}(铁律 1)。
|
||||
* 后管只读页的分页/筛选 SQL(Phase 5)也落同份 XML。</p>
|
||||
*/
|
||||
@Mapper
|
||||
public interface JdProductMapper extends BaseMapper<JdProductEntity> {
|
||||
|
||||
/**
|
||||
* 多值批量 upsert 商品行(调用方按批分批),冲突键=
|
||||
* {@code uk_company_shop_code}:同商品重复采集更新那条(覆盖最新),不同商品全保留。
|
||||
*
|
||||
* <p>INSERT 路径不写 synced_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null
|
||||
* 会覆盖掉默认值);UPDATE 路径在 XML 里显式刷 CURRENT_TIMESTAMP(两段口径分开,
|
||||
* AppearancePatentCleanItemMapper#upsertBatch 同形)。唯一键四元组自身
|
||||
* (company_id/shop_id/product_code)不出现在 UPDATE 段——不随更新漂移。</p>
|
||||
*/
|
||||
int upsertBatch(@Param("rows") List<JdProductEntity> rows);
|
||||
}
|
||||
+76
@@ -0,0 +1,76 @@
|
||||
package com.nanri.aiimage.modules.jd.model.entity;
|
||||
|
||||
import com.baomidou.mybatisplus.annotation.IdType;
|
||||
import com.baomidou.mybatisplus.annotation.TableId;
|
||||
import com.baomidou.mybatisplus.annotation.TableName;
|
||||
import lombok.Data;
|
||||
|
||||
import java.math.BigDecimal;
|
||||
import java.time.LocalDateTime;
|
||||
|
||||
/**
|
||||
* 京东店铺商品主表行({@code biz_jd_product},V193,v1.4)。
|
||||
*
|
||||
* <p>覆盖最新语义:唯一键 {@code uk_company_shop_code(company_id, shop_id, product_code)}
|
||||
* 一行一商品,二次采集由 {@code JdProductMapper#upsertBatch}(INSERT ... ON DUPLICATE KEY
|
||||
* UPDATE)刷新字段与 {@code syncedAt},不产生重复行、不做历史快照(AC-5,Out of Scope 4)。
|
||||
* 归属三列物化:{@code userId}=任务 owner、{@code companyId}=owner 用户的
|
||||
* {@code users.company_id}、{@code taskId}=来源任务——同步时显式落值、读不出归属跳过
|
||||
* 不回填默认 1(铁律 30)。{@code attrJson} 保存京东原始 key/label/value 三元组,
|
||||
* 服务端不裁剪不转写(AC-3 保真防丢键)。</p>
|
||||
*/
|
||||
@Data
|
||||
@TableName("biz_jd_product")
|
||||
public class JdProductEntity {
|
||||
|
||||
@TableId(type = IdType.AUTO)
|
||||
private Long id;
|
||||
/** 物化归属分公司(任务 owner 的 users.company_id,无默认,同步时显式落值)。 */
|
||||
private Long companyId;
|
||||
/** 任务 owner 用户 id。 */
|
||||
private Long userId;
|
||||
/** 来源任务 id(biz_file_task.id)。 */
|
||||
private Long taskId;
|
||||
/** 京东店铺标识。 */
|
||||
private String shopId;
|
||||
/** 京麦店铺名。 */
|
||||
private String shopName;
|
||||
/** 京东商品编码(uk_company_shop_code 三元组之一)。 */
|
||||
private String productCode;
|
||||
/** 京东 SKU/货号。 */
|
||||
private String skuId;
|
||||
private String title;
|
||||
private String brand;
|
||||
private String brandId;
|
||||
/** 类目路径(京麦原始形状,A > B > C)。 */
|
||||
private String categoryPath;
|
||||
/** 价格区间下限。 */
|
||||
private BigDecimal priceMin;
|
||||
/** 价格区间上限。 */
|
||||
private BigDecimal priceMax;
|
||||
private Integer stockTotal;
|
||||
/** 商品状态原值(上架中/已下架/审核中/草稿)。 */
|
||||
private String saleStatus;
|
||||
/** 采集来源 Tab(ONSALE/OFFSALE),覆盖最新语义下随最近一次采集刷新。 */
|
||||
private String listTab;
|
||||
/** 京东侧创建时间。 */
|
||||
private LocalDateTime jdCreatedAt;
|
||||
/** 京东侧修改时间。 */
|
||||
private LocalDateTime jdUpdatedAt;
|
||||
/** 自有桶主图 URL(京东原图域名不落库,AC-4)。 */
|
||||
private String mainImageUrl;
|
||||
/** 京东详情页 URL(仅作溯源,不作展示源)。 */
|
||||
private String detailUrl;
|
||||
/** 京东属性全集 JSON(原始 key/label/value 三元组,服务端不裁剪)。 */
|
||||
private String attrJson;
|
||||
/** 属性键数量(质量核查分母)。 */
|
||||
private Integer attrCount;
|
||||
/** 已转存图片数。 */
|
||||
private Integer imageCount;
|
||||
/** 自定义分组 id(V195 补列;删除分组时置 NULL,商品不删)。 */
|
||||
private Long groupId;
|
||||
/** 本次采集批次号(断点与差异核对用,不作历史快照)。 */
|
||||
private String collectBatchId;
|
||||
/** 同步时刻(INSERT 路径走列默认值,UPDATE 路径由 XML 显式刷 CURRENT_TIMESTAMP)。 */
|
||||
private LocalDateTime syncedAt;
|
||||
}
|
||||
+32
@@ -0,0 +1,32 @@
|
||||
package com.nanri.aiimage.modules.jd.model.entity;
|
||||
|
||||
import com.baomidou.mybatisplus.annotation.IdType;
|
||||
import com.baomidou.mybatisplus.annotation.TableId;
|
||||
import com.baomidou.mybatisplus.annotation.TableName;
|
||||
import lombok.Data;
|
||||
|
||||
import java.time.LocalDateTime;
|
||||
|
||||
/**
|
||||
* 京东商品自定义分组({@code biz_jd_product_group},V195,v1.4)。
|
||||
*
|
||||
* <p>京东数据库专属分组(R4):按公司隔离(唯一键 {@code uk_company_group_name}),
|
||||
* 可新建/改名/删除;删除分组不删商品——商品行 {@code group_id} 置 NULL(AC-8)。
|
||||
* 简单单表 CRUD 走 BaseMapper + wrapper(SqlLayering 惯例),无 XML。</p>
|
||||
*/
|
||||
@Data
|
||||
@TableName("biz_jd_product_group")
|
||||
public class JdProductGroupEntity {
|
||||
|
||||
@TableId(type = IdType.AUTO)
|
||||
private Long id;
|
||||
/** 归属分公司(分组按公司隔离,R4)。 */
|
||||
private Long companyId;
|
||||
/** 分组名(同公司内唯一)。 */
|
||||
private String name;
|
||||
/** 下拉展示顺序。 */
|
||||
private Integer sortOrder;
|
||||
private LocalDateTime createdAt;
|
||||
/** 改名/排序刷新时刻(列 ON UPDATE CURRENT_TIMESTAMP)。 */
|
||||
private LocalDateTime updatedAt;
|
||||
}
|
||||
+48
@@ -0,0 +1,48 @@
|
||||
package com.nanri.aiimage.modules.jd.model.entity;
|
||||
|
||||
import com.baomidou.mybatisplus.annotation.IdType;
|
||||
import com.baomidou.mybatisplus.annotation.TableId;
|
||||
import com.baomidou.mybatisplus.annotation.TableName;
|
||||
import lombok.Data;
|
||||
|
||||
import java.time.LocalDateTime;
|
||||
|
||||
/**
|
||||
* 京东商品图片登记行({@code biz_jd_product_image},V194,v1.4)。
|
||||
*
|
||||
* <p>幂等键 {@code uk_product_image(product_id, image_type, sha256)}:同一商品同档同内容
|
||||
* 只登记一行(AC-5 图片幂等)。登记链(Phase 4):归属先判 → 服务端生成 objectKey →
|
||||
* 预签名直传独立桶 jd-products → {@code statObject} 对撞字节数 → 本表落行;
|
||||
* {@code url} 100% 自有域名,京东原图域名不落库(AC-4)。</p>
|
||||
*/
|
||||
@Data
|
||||
@TableName("biz_jd_product_image")
|
||||
public class JdProductImageEntity {
|
||||
|
||||
@TableId(type = IdType.AUTO)
|
||||
private Long id;
|
||||
/** 商品行 id(biz_jd_product.id)。 */
|
||||
private Long productId;
|
||||
/** 物化归属分公司(与商品行一致)。 */
|
||||
private Long companyId;
|
||||
/** 图片档:MAIN=主图 / ATTR=销售属性图 / DETAIL=详情长图。 */
|
||||
private String imageType;
|
||||
/** 销售属性名(ATTR 档专用,如 上衣/半裙/套装)。 */
|
||||
private String attrName;
|
||||
/** 同档内排序(详情抽屉分区展示顺序)。 */
|
||||
private Integer sortNo;
|
||||
/** 自有桶对象 key(服务端生成,客户端不得自造,蓝图 §3.3)。 */
|
||||
private String objectKey;
|
||||
/** 自有域名回读 URL。 */
|
||||
private String url;
|
||||
/** 对象字节数(登记时与 statObject 对撞,对不上进 mismatched)。 */
|
||||
private Long byteSize;
|
||||
/** 内容摘要(幂等键一半,客户端采集时计算)。 */
|
||||
private String sha256;
|
||||
/** 图片宽(像素,可空)。 */
|
||||
private Integer width;
|
||||
/** 图片高(像素,可空)。 */
|
||||
private Integer height;
|
||||
/** 登记时刻(首次登记后不再刷新)。 */
|
||||
private LocalDateTime createdAt;
|
||||
}
|
||||
@@ -12,9 +12,11 @@ import java.util.Locale;
|
||||
* 它取代了原先唯一的全局 {@code aiimage.collect-routing.local-enabled} 一档——那一档现在
|
||||
* 只剩兜底窗口,不再决定执行方。
|
||||
*
|
||||
* <p>列可空,且**不回填**:空值按模块默认解释,外观专利/相似ASIN 读作 {@link #LOCAL}、
|
||||
* 其余模块读作 {@link #ONLINE},与 V183 之前 {@code AIIMAGE_COLLECT_LOCAL_*} 的出厂值
|
||||
* {@code true} 逐字等价。未升级的客户端与全部历史任务因此行为不变。
|
||||
* <p>列可空,且**不回填**:空值按模块默认解释,外观专利/相似ASIN/京东店铺采集
|
||||
* (v1.4 起)读作 {@link #LOCAL}、其余模块读作 {@link #ONLINE},与 V183 之前
|
||||
* {@code AIIMAGE_COLLECT_LOCAL_*} 的出厂值 {@code true} 逐字等价。未升级的客户端与
|
||||
* 全部历史任务因此行为不变。京东采集只能在本机 Windows + 紫鸟窗口执行,不加进本清单
|
||||
* 就会默认 ONLINE ⇒ 任务被推给无紫鸟的 Linux worker,永不执行(铁律 19 同形)。
|
||||
*/
|
||||
public enum CollectChannel {
|
||||
|
||||
@@ -26,7 +28,8 @@ public enum CollectChannel {
|
||||
|
||||
private static final List<String> LOCAL_DEFAULT_MODULES = List.of(
|
||||
CollectRoutingProperties.MODULE_APPEARANCE_PATENT,
|
||||
CollectRoutingProperties.MODULE_SIMILAR_ASIN);
|
||||
CollectRoutingProperties.MODULE_SIMILAR_ASIN,
|
||||
CollectRoutingProperties.MODULE_JD_SHOP_COLLECT);
|
||||
|
||||
/**
|
||||
* 未登记通道时读作 {@link #LOCAL} 的模块清单。
|
||||
|
||||
@@ -34,6 +34,14 @@ AIIMAGE_DIGITAL_HUMAN_OSS_BUCKET=nanri-ai-digital-human
|
||||
AIIMAGE_OSS_ACCESS_KEY_ID=change-me
|
||||
AIIMAGE_OSS_ACCESS_KEY_SECRET=change-me
|
||||
|
||||
# 京东店铺采集(v1.4):档位对应 application.yml 的 aiimage.jd: collect 段。
|
||||
# 商品图独立桶 jd-products 与保留期(0=永久)在 application.yml 里写死、不设 env——
|
||||
# 防一次误配把商品图指回 7 天 ILM 默认桶(铁律 17),见 application.yml 里 aiimage.jd: 注释。
|
||||
AIIMAGE_JD_COLLECT_PAGE_SIZE=50
|
||||
AIIMAGE_JD_COLLECT_DETAIL_CONCURRENCY=1
|
||||
AIIMAGE_JD_COLLECT_IMAGE_MAX_PER_PRODUCT=200
|
||||
AIIMAGE_JD_COLLECT_STALE_MINUTES=60
|
||||
|
||||
# 任务异常现场证据件(v1.2 Phase 3):独立桶与保留期必须显式配置;桶不得复用 nanri-ai-images。
|
||||
AIIMAGE_EVIDENCE_OSS_BUCKET=task-evidence
|
||||
AIIMAGE_EVIDENCE_RETENTION_DAYS=7
|
||||
|
||||
@@ -159,6 +159,21 @@ aiimage:
|
||||
shop-data-bucket: ${AIIMAGE_OSS_SHOP_DATA_BUCKET:shufu-shop-data}
|
||||
access-key-id: ${AIIMAGE_OSS_ACCESS_KEY_ID:}
|
||||
access-key-secret: ${AIIMAGE_OSS_ACCESS_KEY_SECRET:}
|
||||
# 京东店铺采集(v1.4)。aiimage.jd: 独立图片桶——商品图是「覆盖最新、长期展示」的
|
||||
# 后管数据面,绝不能落默认桶 nanri-ai-images(那边整桶 7 天 ILM,铁律 17)⇒
|
||||
# bucket 与 retention-days 不设环境变量覆盖,防止一次 env 误配把商品图指回 7 天桶
|
||||
# 被删光;其余档位照常 env 可调。读侧(Phase 4 JdProductImageIngestService)与
|
||||
# 采集档位(Phase 2)分别接 aiimage.jd.oss / aiimage.jd.collect。
|
||||
jd:
|
||||
oss:
|
||||
bucket: jd-products
|
||||
key-prefix: ${AIIMAGE_JD_OSS_KEY_PREFIX:jd-products/}
|
||||
retention-days: 0
|
||||
collect:
|
||||
page-size: ${AIIMAGE_JD_COLLECT_PAGE_SIZE:50}
|
||||
detail-concurrency: ${AIIMAGE_JD_COLLECT_DETAIL_CONCURRENCY:1}
|
||||
image-max-per-product: ${AIIMAGE_JD_COLLECT_IMAGE_MAX_PER_PRODUCT:200}
|
||||
stale-minutes: ${AIIMAGE_JD_COLLECT_STALE_MINUTES:60}
|
||||
# 设备日志对象存储:主机B 独立 MinIO(与业务 OSS 隔离,日志只保留 7 天)。
|
||||
# endpoint 未配置时日志上报/管理接口不可用(宁可失败也不静默落到业务桶)。
|
||||
# 桶的 7 天过期规则由运维用 mc 配置(与 retention-days 口径一致)。
|
||||
@@ -291,7 +306,7 @@ aiimage:
|
||||
enabled: ${AIIMAGE_MODULE_CLEANUP_ENABLED:true}
|
||||
cron: ${AIIMAGE_MODULE_CLEANUP_CRON:0 0 0 * * *}
|
||||
retention-days: ${AIIMAGE_MODULE_CLEANUP_RETENTION_DAYS:7}
|
||||
module-types: ${AIIMAGE_MODULE_CLEANUP_MODULE_TYPES:DEDUPE,SPLIT,CONVERT,DELETE_BRAND,PRODUCT_RISK_RESOLVE,PRICE_TRACK,SHOP_MATCH,PATROL_DELETE,QUERY_ASIN,WITHDRAW,APPEARANCE_PATENT,SIMILAR_ASIN,COLLECT_DATA}
|
||||
module-types: ${AIIMAGE_MODULE_CLEANUP_MODULE_TYPES:DEDUPE,SPLIT,CONVERT,DELETE_BRAND,PRODUCT_RISK_RESOLVE,PRICE_TRACK,SHOP_MATCH,PATROL_DELETE,QUERY_ASIN,WITHDRAW,APPEARANCE_PATENT,SIMILAR_ASIN,COLLECT_DATA,JD_SHOP_COLLECT}
|
||||
# 工作台客户端全量同步(POST /api/keyword-share/sync/import)。客户端每行自报真实使用人,
|
||||
# 服务端只接受名单内姓名、并统一按名单里那份写法落库(避免全/半角括号把同一个人拆成两个使用者)。
|
||||
# 名单为空时必须保持 strict=false:否则首次上线会把全部记录静默改写成同步账号名,比现状更糟。
|
||||
|
||||
@@ -0,0 +1,76 @@
|
||||
-- 迁移 V193:京东店铺商品主表(v1.4 R1/R2/R6,蓝图 §3.1)
|
||||
-- =============================================================
|
||||
-- 1. 变更目的:v1.4「京东店铺商品采集 → 后管京东数据库」的数据底座。客户端在紫鸟
|
||||
-- 窗口内采完京麦列表/详情/属性后经分片回传落本表(Phase 2 落 JdResultIngestService),
|
||||
-- 后管只读页按分公司隔离分页展示(Phase 5)。本迁移只立表底座,不跑业务逻辑。
|
||||
--
|
||||
-- 2. 形状口径:
|
||||
-- - 覆盖最新(R6,用户拍板「一行一商品,不做历史快照」):唯一键
|
||||
-- uk_company_shop_code(company_id, shop_id, product_code),二次采集按
|
||||
-- INSERT ... ON DUPLICATE KEY UPDATE upsert(Phase 2/Phase 4 XML),
|
||||
-- 行数不增、synced_at 刷新;不建快照表、不做价格曲线(Out of Scope 4)。
|
||||
-- - 归属三列物化:user_id=任务 owner、company_id=owner 用户的 users.company_id、
|
||||
-- task_id=来源任务——company_id 直接 NOT NULL 无 DEFAULT、同步时显式落值
|
||||
-- (V189/V145/V154/V156 先例的终态形状);owner 读不出 company_id 的任务跳过
|
||||
-- 并留日志,不回填默认 1(铁律 30:读不出≠没有)。
|
||||
-- - attr_json 保真:京东详情页 8 个属性 Tab 的原始 key/label/value 三元组原样入库
|
||||
-- (LONGTEXT,服务端不裁剪不转写);attr_count 只作质量核查的分母,不参与展示。
|
||||
-- - main_image_url 只存自有桶 URL:京麦原图域名不落库(AC-4:以京东原图域名作为
|
||||
-- 展示源的记录数=0);detail_url 仅作溯源,不作展示源。
|
||||
-- - list_tab 记采集来源 Tab(ONSALE/OFFSALE):同一商品在两个 Tab 语义上是同一行
|
||||
-- (唯一键里没有 list_tab),二次采集按「覆盖最新」刷新本列。
|
||||
--
|
||||
-- 3. 数据量与索引:单店铺商品千级(京麦列表页「共 N 条」口径 1,294 条量级),多店铺
|
||||
-- 累计万级。idx_company_synced 支撑后管公司维度的 (company_id, synced_at) 排序翻页
|
||||
-- (V189 同形);idx_shop/idx_code 支撑店铺与商品编码筛选。group_id 挂组列在 V195
|
||||
-- 与分组表同窗补列(本表建表时不带,见 V195 头注释)。
|
||||
--
|
||||
-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op(V21/V111/V189 先例)。
|
||||
--
|
||||
-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied):
|
||||
-- SHOW CREATE TABLE biz_jd_product;
|
||||
-- -> 期望含 uk_company_shop_code(company_id,shop_id,product_code)、
|
||||
-- idx_company_synced、idx_shop、idx_code 四键
|
||||
-- 应用侧:MigrationInventoryTest 自动覆盖新迁移;Phase 2 验收测试落行/查询。
|
||||
--
|
||||
-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
|
||||
-- 触发场景是"这张表不该建"。表是 v1.4 新增、无存量依赖,回滚即:
|
||||
-- DROP TABLE biz_jd_product;
|
||||
-- DELETE FROM flyway_schema_history WHERE version='193';
|
||||
-- (若 V194/V195 已应用,先删图片表/分组表再删本表;若 V196 已应用,
|
||||
-- 先撤菜单行:见 V196 头注释的回滚段。)
|
||||
-- =============================================================
|
||||
|
||||
CREATE TABLE IF NOT EXISTS biz_jd_product (
|
||||
`id` BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
|
||||
`company_id` BIGINT NOT NULL COMMENT '物化归属分公司(任务 owner 的 users.company_id,同步时显式落值,无默认)',
|
||||
`user_id` BIGINT NOT NULL COMMENT '任务 owner 用户 id',
|
||||
`task_id` BIGINT NOT NULL COMMENT '来源任务 id(biz_file_task.id)',
|
||||
`shop_id` VARCHAR(128) NOT NULL COMMENT '京东店铺标识',
|
||||
`shop_name` VARCHAR(255) NOT NULL COMMENT '京麦店铺名',
|
||||
`product_code` VARCHAR(64) NOT NULL COMMENT '京东商品编码(截图口径 10036442942137)',
|
||||
`sku_id` VARCHAR(64) NULL COMMENT '京东 SKU/货号(截图口径 956597306407)',
|
||||
`title` VARCHAR(600) NOT NULL COMMENT '商品标题',
|
||||
`brand` VARCHAR(128) NULL COMMENT '品牌名(截图口径 花屿巷)',
|
||||
`brand_id` VARCHAR(64) NULL COMMENT '品牌 ID(截图口径 1739198)',
|
||||
`category_path` VARCHAR(500) NULL COMMENT '类目路径(运动户外 > 舞蹈体操鞋服/装备 > 艺考形体服)',
|
||||
`price_min` DECIMAL(12,2) NULL COMMENT '价格区间下限',
|
||||
`price_max` DECIMAL(12,2) NULL COMMENT '价格区间上限',
|
||||
`stock_total` INT NULL COMMENT '总库存',
|
||||
`sale_status` VARCHAR(32) NULL COMMENT '商品状态(上架中/已下架/审核中/草稿)',
|
||||
`list_tab` VARCHAR(32) NOT NULL COMMENT '采集来源 Tab(ONSALE/OFFSALE)',
|
||||
`jd_created_at` DATETIME NULL COMMENT '京东侧创建时间',
|
||||
`jd_updated_at` DATETIME NULL COMMENT '京东侧修改时间',
|
||||
`main_image_url` VARCHAR(1000) NULL COMMENT '自有桶主图 URL(京东原图域名不落库,AC-4)',
|
||||
`detail_url` VARCHAR(1000) NULL COMMENT '京东详情页 URL(仅作溯源,不作展示源)',
|
||||
`attr_json` LONGTEXT NULL COMMENT '京东属性全集(原始 key/label/value 三元组,服务端不裁剪,保真防丢键)',
|
||||
`attr_count` INT NOT NULL DEFAULT 0 COMMENT '属性键数量(质量核查分母)',
|
||||
`image_count` INT NOT NULL DEFAULT 0 COMMENT '已转存图片数',
|
||||
`collect_batch_id` VARCHAR(40) NULL COMMENT '本次采集批次号(断点与差异核对用,不作历史快照)',
|
||||
`synced_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '同步时刻(upsert 刷新,AC-5)',
|
||||
PRIMARY KEY (`id`),
|
||||
UNIQUE KEY `uk_company_shop_code` (`company_id`, `shop_id`, `product_code`),
|
||||
KEY `idx_company_synced` (`company_id`, `synced_at`),
|
||||
KEY `idx_shop` (`shop_id`),
|
||||
KEY `idx_code` (`product_code`)
|
||||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东店铺商品(覆盖最新,一行一商品,后管京东数据库只读页数据源)';
|
||||
@@ -0,0 +1,53 @@
|
||||
-- 迁移 V194:京东店铺商品图片表(v1.4 R1/AC-4,蓝图 §3.1)
|
||||
-- =============================================================
|
||||
-- 1. 变更目的:v1.4 商品图片转存链的登记底座。客户端按预签名直传独立桶
|
||||
-- jd-products(Phase 4 落 JdProductImageIngestService),服务端只做
|
||||
-- statObject 对撞后在本表登记(服务端零图片流量,蓝图 §3.3)。
|
||||
--
|
||||
-- 2. 形状口径:
|
||||
-- - uk_product_image(product_id, image_type, sha256):同一商品同类型同内容
|
||||
-- 只登记一行(AC-5 图片幂等:同商品同 sha256 的图片不重复上传,对象数增量=0)。
|
||||
-- sha256 由客户端在采集时计算(Phase 3),服务端登记时对撞对象字节数,
|
||||
-- 对不上进 mismatched 并留日志(不静默吞)。
|
||||
-- - image_type 三档:MAIN=主图;ATTR=销售属性 1:1 主图(attr_name 记销售属性名,
|
||||
-- 如「上衣/半裙/套装」);DETAIL=详情长图。sort_no 在 (product_id, image_type)
|
||||
-- 内排序,供后管详情抽屉分区展示(AC-7)。
|
||||
-- - object_key/url 均为自有桶形状:object_key=<key-prefix><company_id>/<task_id>/
|
||||
-- <sha256>.<后缀>,url 为自有域名回读地址——京东原图域名不落库(AC-4)。
|
||||
-- - object_key 不设 UNIQUE:同一图片对象理论上可被多次登记对撞命中同一行
|
||||
-- (uk_product_image 已把同内容挡死),留普通列即可。
|
||||
--
|
||||
-- 3. 数据量与索引:单商品图片几十张、单店铺两万张量级;按 product_id 前缀查询
|
||||
-- (详情抽屉一次拉全)与按公司核对(对账)。idx_product 支撑详情页按商品取全量;
|
||||
-- idx_company 支撑公司维度盘点。
|
||||
--
|
||||
-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op。
|
||||
--
|
||||
-- 5. 验证 SQL:SHOW CREATE TABLE biz_jd_product_image;
|
||||
-- -> 期望含 uk_product_image(product_id,image_type,sha256)、idx_product、idx_company
|
||||
--
|
||||
-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
|
||||
-- DROP TABLE biz_jd_product_image;
|
||||
-- DELETE FROM flyway_schema_history WHERE version='194';
|
||||
-- (桶内对象不受影响;若 V193 已应用,先删本表再删 V193 的表。)
|
||||
-- =============================================================
|
||||
|
||||
CREATE TABLE IF NOT EXISTS biz_jd_product_image (
|
||||
`id` BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
|
||||
`product_id` BIGINT NOT NULL COMMENT '商品行 id(biz_jd_product.id)',
|
||||
`company_id` BIGINT NOT NULL COMMENT '物化归属分公司(与商品行一致,同步时显式落值)',
|
||||
`image_type` VARCHAR(32) NOT NULL COMMENT '图片档(MAIN=主图/ATTR=销售属性图/DETAIL=详情长图)',
|
||||
`attr_name` VARCHAR(128) NULL COMMENT '销售属性名(ATTR 档专用,如 上衣/半裙/套装)',
|
||||
`sort_no` INT NOT NULL DEFAULT 0 COMMENT '同档内排序(详情抽屉分区展示顺序)',
|
||||
`object_key` VARCHAR(500) NOT NULL COMMENT '自有桶对象 key(服务端生成,客户端不得自造,蓝图 §3.3)',
|
||||
`url` VARCHAR(1000) NOT NULL COMMENT '自有域名回读 URL(京东原图域名不落库,AC-4)',
|
||||
`byte_size` BIGINT NOT NULL DEFAULT 0 COMMENT '对象字节数(登记时与 statObject 对撞)',
|
||||
`sha256` CHAR(64) NOT NULL COMMENT '内容摘要(幂等键一半,客户端采集时计算)',
|
||||
`width` INT NULL COMMENT '图片宽(像素,可空)',
|
||||
`height` INT NULL COMMENT '图片高(像素,可空)',
|
||||
`created_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '登记时刻(首次登记后不再刷新)',
|
||||
PRIMARY KEY (`id`),
|
||||
UNIQUE KEY `uk_product_image` (`product_id`, `image_type`, `sha256`),
|
||||
KEY `idx_product` (`product_id`, `image_type`, `sort_no`),
|
||||
KEY `idx_company` (`company_id`)
|
||||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东商品图片登记(预签名直传独立桶 jd-products,服务端零图片流量)';
|
||||
@@ -0,0 +1,72 @@
|
||||
-- 迁移 V195:京东商品自定义分组表(v1.4 R4/AC-8,蓝图 §3.1)
|
||||
-- =============================================================
|
||||
-- 1. 变更目的:京东数据库专属分组(用户拍板「可自由新建/改名/删除,商品可归入某分组,
|
||||
-- 列表按分组筛选」)。分组按公司隔离,与后管既有分组体系分表——不挂在通用分组表上,
|
||||
-- 因为京东数据库的分组语义只有「商品归组」一档,通用表的结构拖不动也读不清。
|
||||
--
|
||||
-- 2. 形状口径:
|
||||
-- - uk_company_group_name(company_id, name):同公司内重名拒绝(AC-8),跨公司可同名。
|
||||
-- - 商品挂组列 group_id 补在本迁移(与分组表同窗):ALTER 幂等写法——
|
||||
-- information_schema 判存后才执行,重跑 no-op。删除分组不删商品,
|
||||
-- 商品行 group_id 置 NULL(AC-8:删除分组 → 商品仍在、下拉消失)。
|
||||
-- - 商品表与分组表无外键约束(本仓惯例,应用层维护引用完整性):
|
||||
-- 删除分组由 Phase 5 服务先把该组商品 group_id 置 NULL 再删组行,两步一事务。
|
||||
--
|
||||
-- 3. 数据量与索引:分组行数=公司数×用户自建组数(十级),idx_company 支撑分组下拉
|
||||
-- 按公司取全量;商品侧 idx_group 支撑按组筛选(AC-8:按组筛选只出该组商品)。
|
||||
--
|
||||
-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS + ALTER 走 information_schema 条件判断,
|
||||
-- 重跑逐条 no-op。
|
||||
--
|
||||
-- 5. 验证 SQL:SHOW CREATE TABLE biz_jd_product_group; -> 期望含 uk_company_group_name
|
||||
-- SHOW CREATE TABLE biz_jd_product; -> 期望多出 group_id 列与 idx_group
|
||||
--
|
||||
-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
|
||||
-- ALTER TABLE biz_jd_product DROP INDEX idx_group;
|
||||
-- ALTER TABLE biz_jd_product DROP COLUMN group_id;
|
||||
-- DROP TABLE biz_jd_product_group;
|
||||
-- DELETE FROM flyway_schema_history WHERE version='195';
|
||||
-- =============================================================
|
||||
|
||||
CREATE TABLE IF NOT EXISTS biz_jd_product_group (
|
||||
id BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
|
||||
company_id BIGINT NOT NULL COMMENT '归属分公司(分组按公司隔离,R4)',
|
||||
name VARCHAR(80) NOT NULL COMMENT '分组名(同公司内唯一,AC-8)',
|
||||
sort_order INT NOT NULL DEFAULT 0 COMMENT '下拉展示顺序',
|
||||
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时刻',
|
||||
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '改名/排序刷新时刻',
|
||||
PRIMARY KEY (id),
|
||||
UNIQUE KEY uk_company_group_name (company_id, name),
|
||||
KEY idx_company (company_id, sort_order)
|
||||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东商品自定义分组(按公司隔离;删除分组不删商品)';
|
||||
|
||||
-- ---------- 商品表补挂组列(幂等:判存后才执行) ----------
|
||||
SET @v195_has_group_id := (
|
||||
SELECT COUNT(*) FROM information_schema.COLUMNS
|
||||
WHERE TABLE_SCHEMA = DATABASE()
|
||||
AND TABLE_NAME = 'biz_jd_product'
|
||||
AND COLUMN_NAME = 'group_id'
|
||||
);
|
||||
SET @v195_group_ddl := IF(
|
||||
@v195_has_group_id = 0,
|
||||
'ALTER TABLE biz_jd_product ADD COLUMN group_id BIGINT NULL COMMENT ''自定义分组 id(biz_jd_product_group.id;删除分组时置 NULL,商品不删)'' AFTER image_count',
|
||||
'SELECT 1'
|
||||
);
|
||||
PREPARE v195_stmt FROM @v195_group_ddl;
|
||||
EXECUTE v195_stmt;
|
||||
DEALLOCATE PREPARE v195_stmt;
|
||||
|
||||
SET @v195_has_group_idx := (
|
||||
SELECT COUNT(*) FROM information_schema.STATISTICS
|
||||
WHERE TABLE_SCHEMA = DATABASE()
|
||||
AND TABLE_NAME = 'biz_jd_product'
|
||||
AND INDEX_NAME = 'idx_group'
|
||||
);
|
||||
SET @v195_idx_ddl := IF(
|
||||
@v195_has_group_idx = 0,
|
||||
'ALTER TABLE biz_jd_product ADD INDEX idx_group (group_id)',
|
||||
'SELECT 1'
|
||||
);
|
||||
PREPARE v195_stmt FROM @v195_idx_ddl;
|
||||
EXECUTE v195_stmt;
|
||||
DEALLOCATE PREPARE v195_stmt;
|
||||
@@ -0,0 +1,81 @@
|
||||
-- 迁移 V196:后管菜单「京东数据库」(v1.4 R3/R5,蓝图 §3.1)
|
||||
-- =============================================================
|
||||
-- 1. 变更目的:v1.4 后管新页(jd-center/database)的数据入口。只新增 columns 菜单行,
|
||||
-- 不插任何授权行(user→column 勾授表零写入)⇒ 默认仅 super_admin 可见可访问
|
||||
-- (V190 惯例,AC-6/AC-9);其余角色由超管在权限页手工勾授后才可见。
|
||||
-- key 不进 SUPER_ADMIN_ONLY_KEYS / ADMIN_ONLY_MENU_KEYS 强制名单,保持可授权弹性。
|
||||
--
|
||||
-- 2. 形状口径(V190 逐形,按 V175 确立的每公司模型落地):
|
||||
-- - 菜单按每家公司一套树维护:company_id=1 为模板行,其余公司(含停用公司)逐家
|
||||
-- 复制;子行 parent_id 必须认本公司 admin_group_data 组行,严禁跨公司认父。
|
||||
-- 只插单行会让其余公司永远没有入口(V185 实录:columns.company_id NOT NULL
|
||||
-- 无默认值,漏写直接 1364)。
|
||||
-- - 挂「数据管理」组(admin_group_data,与 V190 外观专利页同组),排序 68
|
||||
-- (V190 已占 67)。
|
||||
-- - route_path='jd-center/database' 为前端 History 路由(V109 形状),
|
||||
-- column_key='admin_jd_database' 为稳定权限标识,两者是 Phase 5 控制器菜单权限
|
||||
-- 双匹配与前端路由注册的判据锚点(蓝图 §3.4)。
|
||||
-- - 幂等守卫按 (company_id, column_key) 判存,同时防
|
||||
-- uk_company_menu_type_route_path(company_id, menu_type, route_path) 撞行。
|
||||
--
|
||||
-- 3. 影响表与数据量:columns 新增 N 行(N=公司数),字典小表,毫秒级。
|
||||
--
|
||||
-- 4. 可重跑性:两段 INSERT 都带 NOT EXISTS 守卫,重跑逐条 no-op;自检闸门只读。
|
||||
--
|
||||
-- 5. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
|
||||
-- DELETE FROM columns WHERE column_key='admin_jd_database';
|
||||
-- DELETE FROM flyway_schema_history WHERE version='196';
|
||||
-- (授权过的行随 columns 外键 ON DELETE CASCADE 一并清,无需单独处理。)
|
||||
-- =============================================================
|
||||
|
||||
-- ---------- 1. 公司 1 模板行:京东数据库 ----------
|
||||
INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`, `parent_id`, `company_id`)
|
||||
SELECT '京东数据库', 'admin_jd_database', 'admin', 'jd-center/database', 68, grp.`id`, 1
|
||||
FROM `columns` grp
|
||||
WHERE grp.`company_id` = 1 AND grp.`column_key` = 'admin_group_data'
|
||||
AND NOT EXISTS (
|
||||
SELECT 1 FROM `columns`
|
||||
WHERE `company_id` = 1
|
||||
AND (`column_key` = 'admin_jd_database'
|
||||
OR (`menu_type` = 'admin' AND `route_path` = 'jd-center/database'))
|
||||
);
|
||||
|
||||
-- ---------- 2. 复制到其余公司(含停用公司),各自认本公司数据管理组行 ----------
|
||||
INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`, `parent_id`, `company_id`)
|
||||
SELECT '京东数据库', 'admin_jd_database', 'admin', 'jd-center/database', 68, grp.`id`, c.`id`
|
||||
FROM `company` c
|
||||
JOIN `columns` grp ON grp.`company_id` = c.`id` AND grp.`column_key` = 'admin_group_data'
|
||||
WHERE c.`id` <> 1
|
||||
AND NOT EXISTS (
|
||||
SELECT 1 FROM `columns` col
|
||||
WHERE col.`company_id` = c.`id`
|
||||
AND (col.`column_key` = 'admin_jd_database'
|
||||
OR (col.`menu_type` = 'admin' AND col.`route_path` = 'jd-center/database'))
|
||||
);
|
||||
|
||||
-- ---------- 3. 自检闸门:不为 0 就抛 1048(列 must_be_zero NOT NULL) ----------
|
||||
CREATE TEMPORARY TABLE IF NOT EXISTS `_v196_gate` (`must_be_zero` INT NOT NULL);
|
||||
|
||||
-- 闸门 1:每家公司恰好一行,且父必须是本公司数据管理组、排序 68
|
||||
INSERT INTO `_v196_gate`
|
||||
SELECT IF(COUNT(*) = 0, 0, NULL)
|
||||
FROM (
|
||||
SELECT c.`id`
|
||||
FROM `company` c
|
||||
LEFT JOIN `columns` col ON col.`company_id` = c.`id`
|
||||
AND col.`column_key` = 'admin_jd_database'
|
||||
LEFT JOIN `columns` grp ON grp.`id` = col.`parent_id`
|
||||
AND grp.`company_id` = c.`id` AND grp.`column_key` = 'admin_group_data'
|
||||
GROUP BY c.`id`
|
||||
HAVING COUNT(col.`id`) <> 1 OR COUNT(grp.`id`) <> 1 OR MAX(col.`sort_order`) <> 68
|
||||
) bad;
|
||||
|
||||
-- 闸门 2:该路由不允许被别的 column_key 占行(防 uk_company_menu_type_route_path 语义被顶)
|
||||
INSERT INTO `_v196_gate`
|
||||
SELECT IF(COUNT(*) = 0, 0, NULL)
|
||||
FROM `columns` col
|
||||
WHERE col.`menu_type` = 'admin'
|
||||
AND col.`route_path` = 'jd-center/database'
|
||||
AND col.`column_key` <> 'admin_jd_database';
|
||||
|
||||
DROP TEMPORARY TABLE `_v196_gate`;
|
||||
@@ -0,0 +1,31 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
|
||||
<mapper namespace="com.nanri.aiimage.modules.jd.mapper.JdProductImageMapper">
|
||||
<!-- 京东商品图片登记(V194,v1.4):SQL 全部落 XML(铁律 1)。
|
||||
登记链唯一写入口:按唯一键 uk_product_image(product_id,image_type,sha256) upsert——
|
||||
同商品同内容只留一行(AC-5 图片幂等,重复登记刷新排序与属性名),不同内容全保留。 -->
|
||||
|
||||
<!-- 多值批量登记(Phase 4 落 JdProductImageIngestService):调用方先按
|
||||
statObject 对撞「对象存在 + 字节数一致」再落行,对不上进 mismatched 不落本表。
|
||||
刻意不写 product_id/image_type/sha256 的 UPDATE 段(唯一键三元组自身不随更新漂移);
|
||||
created_at 列有 DB 默认值且 UPDATE 段不刷——登记时刻取首次登记。 -->
|
||||
<insert id="upsertBatch">
|
||||
INSERT INTO biz_jd_product_image
|
||||
(product_id, company_id, image_type, attr_name, sort_no,
|
||||
object_key, url, byte_size, sha256, width, height)
|
||||
VALUES
|
||||
<foreach collection="rows" item="row" separator=",">
|
||||
(#{row.productId}, #{row.companyId}, #{row.imageType}, #{row.attrName}, #{row.sortNo},
|
||||
#{row.objectKey}, #{row.url}, #{row.byteSize}, #{row.sha256}, #{row.width}, #{row.height})
|
||||
</foreach>
|
||||
ON DUPLICATE KEY UPDATE
|
||||
company_id = VALUES(company_id),
|
||||
attr_name = VALUES(attr_name),
|
||||
sort_no = VALUES(sort_no),
|
||||
object_key = VALUES(object_key),
|
||||
url = VALUES(url),
|
||||
byte_size = VALUES(byte_size),
|
||||
width = VALUES(width),
|
||||
height = VALUES(height)
|
||||
</insert>
|
||||
</mapper>
|
||||
@@ -0,0 +1,55 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
|
||||
<mapper namespace="com.nanri.aiimage.modules.jd.mapper.JdProductMapper">
|
||||
<!-- 京东店铺商品(V193,v1.4):SQL 全部落 XML(铁律 1)。
|
||||
覆盖最新唯一写入口:按唯一键 uk_company_shop_code(company_id,shop_id,product_code)
|
||||
upsert——同一商品二次采集刷新那条(synced_at 刷新),不同商品全保留,行数不增
|
||||
(R6/AC-5)。后管只读页的分页/筛选 SQL(Phase 5)落同份 XML。 -->
|
||||
|
||||
<!-- 同步链唯一写入口(Phase 2 落 JdResultIngestService):多值批量 upsert,
|
||||
AppearancePatentCleanItemMapper#upsertBatch 同形。刻意不写 company_id/shop_id/
|
||||
product_code 的 UPDATE 段(唯一键三元组自身不随更新漂移);
|
||||
synced_at 在 UPDATE 段显式刷 CURRENT_TIMESTAMP(INSERT 路径走列默认值,
|
||||
显式传 null 会覆盖掉默认值,故两段口径分开)。
|
||||
⚠ upsert-only:回传读出 0 行=什么都不写,不得 delete-then-insert 覆盖式重写
|
||||
(重投递载荷读不准时会抹掉存量,AppearancePatentCleanItemMapper 2026-11-11 实录)。 -->
|
||||
<insert id="upsertBatch">
|
||||
INSERT INTO biz_jd_product
|
||||
(company_id, user_id, task_id, shop_id, shop_name, product_code, sku_id,
|
||||
title, brand, brand_id, category_path, price_min, price_max, stock_total,
|
||||
sale_status, list_tab, jd_created_at, jd_updated_at,
|
||||
main_image_url, detail_url, attr_json, attr_count, image_count, collect_batch_id)
|
||||
VALUES
|
||||
<foreach collection="rows" item="row" separator=",">
|
||||
(#{row.companyId}, #{row.userId}, #{row.taskId}, #{row.shopId}, #{row.shopName},
|
||||
#{row.productCode}, #{row.skuId}, #{row.title}, #{row.brand}, #{row.brandId},
|
||||
#{row.categoryPath}, #{row.priceMin}, #{row.priceMax}, #{row.stockTotal},
|
||||
#{row.saleStatus}, #{row.listTab}, #{row.jdCreatedAt}, #{row.jdUpdatedAt},
|
||||
#{row.mainImageUrl}, #{row.detailUrl}, #{row.attrJson}, #{row.attrCount},
|
||||
#{row.imageCount}, #{row.collectBatchId})
|
||||
</foreach>
|
||||
ON DUPLICATE KEY UPDATE
|
||||
user_id = VALUES(user_id),
|
||||
task_id = VALUES(task_id),
|
||||
shop_name = VALUES(shop_name),
|
||||
sku_id = VALUES(sku_id),
|
||||
title = VALUES(title),
|
||||
brand = VALUES(brand),
|
||||
brand_id = VALUES(brand_id),
|
||||
category_path = VALUES(category_path),
|
||||
price_min = VALUES(price_min),
|
||||
price_max = VALUES(price_max),
|
||||
stock_total = VALUES(stock_total),
|
||||
sale_status = VALUES(sale_status),
|
||||
list_tab = VALUES(list_tab),
|
||||
jd_created_at = VALUES(jd_created_at),
|
||||
jd_updated_at = VALUES(jd_updated_at),
|
||||
main_image_url = VALUES(main_image_url),
|
||||
detail_url = VALUES(detail_url),
|
||||
attr_json = VALUES(attr_json),
|
||||
attr_count = VALUES(attr_count),
|
||||
image_count = VALUES(image_count),
|
||||
collect_batch_id = VALUES(collect_batch_id),
|
||||
synced_at = CURRENT_TIMESTAMP
|
||||
</insert>
|
||||
</mapper>
|
||||
@@ -180,7 +180,13 @@ class MigratedSqlEquivalenceTest {
|
||||
// 2026-11-11 卡片「删除」:1 条新写的 delete(谓词与按主管导出的 select
|
||||
// 逐字同源)。delete 不计 select,故 XML_SELECT_TOTAL 保持 109
|
||||
// (SqlLayeringConventionTest.XML_STATEMENT_TOTAL 同轮 155 → 156)。
|
||||
"AppearancePatentCleanItemMapper#deleteSupervisorItems");
|
||||
"AppearancePatentCleanItemMapper#deleteSupervisorItems",
|
||||
// v1.4 京东数据库(2026-11-14,V193/V194 同窗):jd 模块首份起的两份 mapper,
|
||||
// 各 1 条新写的 upsert(覆盖最新 uk_company_shop_code / 图片登记
|
||||
// uk_product_image),注解时代没有原文可对撞,逐条点名留痕
|
||||
//(SqlLayeringConventionTest.XML_STATEMENT_TOTAL 同轮 155 → 157)。
|
||||
"JdProductMapper#upsertBatch",
|
||||
"JdProductImageMapper#upsertBatch");
|
||||
|
||||
/** 账本 5 列:接口 / 方法 / @Select 种类 / 是否含常量插值 / 注解原文(Java 反转义后那条串)。 */
|
||||
private static final int LEDGER_COLUMNS = 5;
|
||||
|
||||
@@ -108,7 +108,11 @@ class SqlLayeringConventionTest {
|
||||
// 逐字同源)——delete 不计入该文件 XML_SELECT_TOTAL,只点名进 NOT_MIGRATED。
|
||||
// 156 → 155:2026-11-11「ASIN 累计」(V191 同窗)把同步链的 deleteByResultId+insertBatch
|
||||
// 两条合并成 1 条 upsertBatch(ON DUPLICATE KEY UPDATE,永不删除)——净减 1 条。
|
||||
private static final int XML_STATEMENT_TOTAL = 155;
|
||||
// 155 → 157:v1.4 京东数据库(V193/V194 同窗)jd 模块首份起的两份 XML 各 1 条写侧语句——
|
||||
// JdProductMapper#upsertBatch(覆盖最新,uk_company_shop_code)+
|
||||
// JdProductImageMapper#upsertBatch(图片登记,uk_product_image),全部新写,
|
||||
// 同轮登记进 MigratedSqlEquivalenceTest.NOT_MIGRATED(该文件 XML_SELECT_TOTAL 不动:无 select)。
|
||||
private static final int XML_STATEMENT_TOTAL = 157;
|
||||
|
||||
/**
|
||||
* wrapper 里夹带函数级 SQL 的现状("这不是简单单表"的证据),文件名 → 条数:
|
||||
|
||||
+2
-1
@@ -43,7 +43,8 @@ class TaskModuleCoverageTest {
|
||||
private static final Set<String> EXPECTED_MODULES = Set.of(
|
||||
"PUBLISH", "DEDUPE", "SPLIT", "CONVERT", "DELETE_BRAND", "PRODUCT_RISK_RESOLVE",
|
||||
"PRICE_TRACK", "SHOP_MATCH", "PATROL_DELETE", "QUERY_ASIN", "WITHDRAW",
|
||||
"APPEARANCE_PATENT", "SIMILAR_ASIN", "COLLECT_DATA", "SHOP_DATA_CRAWL", "BRAND");
|
||||
"APPEARANCE_PATENT", "SIMILAR_ASIN", "COLLECT_DATA", "SHOP_DATA_CRAWL", "BRAND",
|
||||
"JD_SHOP_COLLECT");
|
||||
|
||||
@Test
|
||||
void registryCoversEveryKnownModuleWithLabel() {
|
||||
|
||||
+19
-20
@@ -5,49 +5,48 @@ import com.nanri.aiimage.modules.task.model.CollectChannel;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import java.util.List;
|
||||
import java.util.Optional;
|
||||
import java.util.Set;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
import static org.junit.jupiter.api.Assertions.assertFalse;
|
||||
import static org.junit.jupiter.api.Assertions.assertThrows;
|
||||
import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||
|
||||
/**
|
||||
* v1.4 Phase 0 黄金测试:钉住 Phase 1 即将有意识改动的两个存量接缝的<b>当前</b>形状。
|
||||
* v1.4 Phase 1 黄金测试:钉住 Phase 1 有意识翻转后的两个存量接缝的<b>新</b>形状。
|
||||
*
|
||||
* <p>判据来源:蓝图 {@code docs/ITERATION_PLAN.md} §2.2 影响面清单——
|
||||
* ① {@code TaskModuleRegistry} 新增 {@code JD_SHOP_COLLECT} 注册行;
|
||||
* ① {@code TaskModuleRegistry} 新增 {@code JD_SHOP_COLLECT} 注册行(17 模块);
|
||||
* ② {@code CollectChannel.LOCAL_DEFAULT_MODULES} 加入 {@code JD_SHOP_COLLECT}
|
||||
* (不加 = 默认 ONLINE = 任务被推给无紫鸟的 Linux worker,铁律 19 同形坑)。
|
||||
*
|
||||
* <p>本类钉的是「改动前」的事实;Phase 1 落地时必须<b>同轮更新</b>这三条断言并激活
|
||||
* {@code JdChannelDefaultTest},让接缝翻转换成显式评审点。所有既有模块清单、
|
||||
* LOCAL 默认形状已由 {@code TaskModuleCoverageTest} / {@code CollectChannelTest} 各自钉住,此处不重复。
|
||||
* <p>本类 Phase 0 时钉的是「改动前」的事实(16 模块 / 默认 ONLINE / 无凭据登记,
|
||||
* git 历史可考);Phase 1 落地后同轮改写为翻转后的形状,与 {@code JdChannelDefaultTest}
|
||||
* 一起成为接缝的常驻判据。所有既有模块清单、LOCAL 默认形状已由
|
||||
* {@code TaskModuleCoverageTest} / {@code CollectChannelTest} 各自钉住,此处不重复。
|
||||
*/
|
||||
class JdCollectChannelGoldenTest {
|
||||
|
||||
/** 当前注册表恰好 16 个模块且无京东:Phase 1 新增 JD_SHOP_COLLECT 必须同轮更新本清单。 */
|
||||
/** Phase 1 起注册表 17 个模块且含京东:再增删模块必须同轮更新本清单。 */
|
||||
@Test
|
||||
void 京东模块当前未注册进任务模块注册表() {
|
||||
void 京东模块已注册进任务模块注册表() {
|
||||
Set<String> types = TaskModuleRegistry.moduleTypes();
|
||||
assertEquals(16, types.size(), "Phase 1 新增 JD_SHOP_COLLECT 时更新为 17");
|
||||
assertEquals(17, types.size(), "再增删模块时同轮更新本数(Phase 1 定格 17)");
|
||||
assertTrue(types.containsAll(List.of("APPEARANCE_PATENT", "SIMILAR_ASIN", "SHOP_DATA_CRAWL",
|
||||
"COLLECT_DATA", "PRICE_TRACK", "PUBLISH", "BRAND")), "既有清单形状漂移,先查别人改动");
|
||||
assertFalse(types.contains("JD_SHOP_COLLECT"), "当前未注册;出现即有人在未登记蓝图的情况下动了注册表");
|
||||
"COLLECT_DATA", "PRICE_TRACK", "PUBLISH", "BRAND", "JD_SHOP_COLLECT")), "既有清单形状漂移,先查别人改动");
|
||||
}
|
||||
|
||||
/** 当前京东模块按 V183 语义默认 ONLINE:Phase 1 改为 LOCAL 时同轮更新本断言。 */
|
||||
/** 京东模块默认 LOCAL(紫鸟只在本机):谁把它翻回 ONLINE 这里先红。 */
|
||||
@Test
|
||||
void 京东模块当前默认通道为ONLINE() {
|
||||
assertFalse(CollectChannel.defaultFor("JD_SHOP_COLLECT").isLocal(),
|
||||
"当前未加入 LOCAL 默认;Phase 1 翻转后本断言同步改为 isLocal()");
|
||||
void 京东模块默认通道为LOCAL() {
|
||||
assertTrue(CollectChannel.defaultFor("JD_SHOP_COLLECT").isLocal(),
|
||||
"京东采集只能在本机 Windows + 紫鸟窗口执行(铁律 19 同形),翻回 ONLINE = 任务永不执行");
|
||||
}
|
||||
|
||||
/** 当前京东模块无提交凭据要求:注册表对未注册类型按构造抛参。Phase 1 登记后本断言同轮更新。 */
|
||||
/** 京东模块建单不需要用户凭据(Optional.empty()=登记过的结论「不需要」,不是漏填)。 */
|
||||
@Test
|
||||
void 京东模块当前无提交凭据登记() {
|
||||
assertThrows(IllegalArgumentException.class,
|
||||
() -> TaskModuleRegistry.submitSecretModuleOf("JD_SHOP_COLLECT"),
|
||||
"未注册类型应按构造拒绝;Phase 1 注册后改断言为 Optional.empty()");
|
||||
void 京东模块无提交凭据登记() {
|
||||
assertEquals(Optional.empty(), TaskModuleRegistry.submitSecretModuleOf("JD_SHOP_COLLECT"),
|
||||
"京东采集缺代理是「直连降级」不是注定失败(铁律 27 边界 c),登记过=不需要;要改先拍板");
|
||||
}
|
||||
}
|
||||
|
||||
@@ -1,6 +1,5 @@
|
||||
package com.nanri.aiimage.modules.jd;
|
||||
|
||||
import org.junit.jupiter.api.Disabled;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import java.io.IOException;
|
||||
@@ -20,7 +19,6 @@ import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||
* Phase 1 写下的那一份形状——覆盖最新唯一键、归属列显式 NOT NULL(铁律 30)、
|
||||
* 图片独立桶不落默认桶(铁律 17:默认桶整桶 7 天 ILM)、菜单每公司一行且不插授权行(V190 惯例)。
|
||||
*/
|
||||
@Disabled("Pending Phase 1: V193~V196 迁移与 aiimage.jd.* 配置落地后激活")
|
||||
class JdSchemaContractTest {
|
||||
|
||||
private static final Path DB_DIR = Path.of("src", "main", "resources", "db");
|
||||
|
||||
+6
-4
@@ -13,9 +13,10 @@ import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||
/**
|
||||
* V183 任务级采集通道的判据(建单写入、认领读取、脏值兜底)。
|
||||
*
|
||||
* <p>这里钉死的是「不登记=按模块默认」这条兼容线:外观专利/相似ASIN 读作本机,
|
||||
* 其余模块读作线上,与 V183 之前 {@code AIIMAGE_COLLECT_LOCAL_*} 出厂值 {@code true} 等价。
|
||||
* 一旦默认翻转,全部历史任务与未升级客户端的执行方会集体换边,所以逐条点名。
|
||||
* <p>这里钉死的是「不登记=按模块默认」这条兼容线:外观专利/相似ASIN/京东店铺采集
|
||||
* (v1.4 Phase 1 加入,紫鸟只在本机)读作本机,其余模块读作线上,与 V183 之前
|
||||
* {@code AIIMAGE_COLLECT_LOCAL_*} 出厂值 {@code true} 等价。一旦默认翻转,
|
||||
* 全部历史任务与未升级客户端的执行方会集体换边,所以逐条点名。
|
||||
*/
|
||||
class CollectChannelTest {
|
||||
|
||||
@@ -39,7 +40,8 @@ class CollectChannelTest {
|
||||
@Test
|
||||
void 本机默认模块清单与defaultFor同源() {
|
||||
assertEquals(List.of(CollectRoutingProperties.MODULE_APPEARANCE_PATENT,
|
||||
CollectRoutingProperties.MODULE_SIMILAR_ASIN), CollectChannel.localDefaultModuleTypes());
|
||||
CollectRoutingProperties.MODULE_SIMILAR_ASIN,
|
||||
CollectRoutingProperties.MODULE_JD_SHOP_COLLECT), CollectChannel.localDefaultModuleTypes());
|
||||
for (String module : CollectChannel.localDefaultModuleTypes()) {
|
||||
assertTrue(CollectChannel.defaultFor(module).isLocal(), module + " 在清单里却不被判本机");
|
||||
}
|
||||
|
||||
+2
-4
@@ -1,6 +1,5 @@
|
||||
package com.nanri.aiimage.modules.task.model;
|
||||
|
||||
import org.junit.jupiter.api.Disabled;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
@@ -11,13 +10,12 @@ import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
* <p>蓝图为 {@code docs/ITERATION_PLAN.md} §4 Phase 1;判据即铁律 19 同形——
|
||||
* {@code CollectChannel.LOCAL_DEFAULT_MODULES} 不加 {@code JD_SHOP_COLLECT},
|
||||
* 取页 SQL 就会把它当 ONLINE 派给 Linux worker,而紫鸟只在客户端本机 ⇒ 任务永不执行。
|
||||
* 当前形状(默认 ONLINE)由黄金测试 {@code JdCollectChannelGoldenTest} 钉住;
|
||||
* Phase 1 加入 LOCAL 默认后移除本 @Disabled 并跑绿。
|
||||
* 已于 Phase 1(2026-11-14)激活跑绿;翻转前的 ONLINE 形状由黄金测试
|
||||
* {@code JdCollectChannelGoldenTest} 改写前记录(git 历史可考)。
|
||||
*/
|
||||
class JdChannelDefaultTest {
|
||||
|
||||
@Test
|
||||
@Disabled("Pending Phase 1: CollectChannel.LOCAL_DEFAULT_MODULES 加入 JD_SHOP_COLLECT 后激活")
|
||||
void 京东采集默认通道必须是LOCAL() {
|
||||
assertEquals(CollectChannel.LOCAL, CollectChannel.defaultFor("JD_SHOP_COLLECT"));
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user