From a429191edd2a244a67bd9e14972c347c4b47d2e7 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Sat, 14 Nov 2026 03:08:32 +0800 Subject: [PATCH] =?UTF-8?q?feat(phase-1):=20=E4=BA=AC=E4=B8=9C=E6=95=B0?= =?UTF-8?q?=E6=8D=AE=E5=BA=93=E6=95=B0=E6=8D=AE=E5=BA=95=E5=BA=A7=E2=80=94?= =?UTF-8?q?=E2=80=94V193~V196=20=E8=BF=81=E7=A7=BB=20+=20jd=20=E6=A8=A1?= =?UTF-8?q?=E5=9D=97=E5=AE=9E=E4=BD=93/Mapper=20+=20=E6=A8=A1=E5=9D=97?= =?UTF-8?q?=E6=B3=A8=E5=86=8C=E4=B8=8E=20LOCAL=20=E9=80=9A=E9=81=93?= =?UTF-8?q?=E9=BB=98=E8=AE=A4=20+=20aiimage.jd=20=E9=85=8D=E7=BD=AE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../common/module/TaskModuleRegistry.java | 7 +- .../config/CollectRoutingProperties.java | 3 + .../jd/mapper/JdProductGroupMapper.java | 17 ++++ .../jd/mapper/JdProductImageMapper.java | 29 +++++++ .../modules/jd/mapper/JdProductMapper.java | 32 ++++++++ .../jd/model/entity/JdProductEntity.java | 76 +++++++++++++++++ .../jd/model/entity/JdProductGroupEntity.java | 32 ++++++++ .../jd/model/entity/JdProductImageEntity.java | 48 +++++++++++ .../modules/task/model/CollectChannel.java | 11 ++- .../resources/application-local.example.yml | 8 ++ .../src/main/resources/application.yml | 17 +++- .../main/resources/db/V193__jd_product.sql | 76 +++++++++++++++++ .../resources/db/V194__jd_product_image.sql | 53 ++++++++++++ .../resources/db/V195__jd_product_group.sql | 72 +++++++++++++++++ .../resources/db/V196__jd_database_menu.sql | 81 +++++++++++++++++++ .../mapper/jd/JdProductImageMapper.xml | 31 +++++++ .../resources/mapper/jd/JdProductMapper.xml | 55 +++++++++++++ .../aiimage/MigratedSqlEquivalenceTest.java | 8 +- .../aiimage/SqlLayeringConventionTest.java | 6 +- .../service/TaskModuleCoverageTest.java | 3 +- .../jd/JdCollectChannelGoldenTest.java | 39 +++++---- .../modules/jd/JdSchemaContractTest.java | 2 - .../task/model/CollectChannelTest.java | 10 ++- .../task/model/JdChannelDefaultTest.java | 6 +- 24 files changed, 683 insertions(+), 39 deletions(-) create mode 100644 backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductGroupMapper.java create mode 100644 backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductImageMapper.java create mode 100644 backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductMapper.java create mode 100644 backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductEntity.java create mode 100644 backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductGroupEntity.java create mode 100644 backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductImageEntity.java create mode 100644 backend-java/src/main/resources/db/V193__jd_product.sql create mode 100644 backend-java/src/main/resources/db/V194__jd_product_image.sql create mode 100644 backend-java/src/main/resources/db/V195__jd_product_group.sql create mode 100644 backend-java/src/main/resources/db/V196__jd_database_menu.sql create mode 100644 backend-java/src/main/resources/mapper/jd/JdProductImageMapper.xml create mode 100644 backend-java/src/main/resources/mapper/jd/JdProductMapper.xml diff --git a/backend-java/src/main/java/com/nanri/aiimage/common/module/TaskModuleRegistry.java b/backend-java/src/main/java/com/nanri/aiimage/common/module/TaskModuleRegistry.java index 09e7492e8..0a0bb4013 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/common/module/TaskModuleRegistry.java +++ b/backend-java/src/main/java/com/nanri/aiimage/common/module/TaskModuleRegistry.java @@ -67,7 +67,12 @@ public final class TaskModuleRegistry { Optional.of(UserSecretModule.SIMILAR_ASIN)), new Module("COLLECT_DATA", "采集数据", true, true, false, true, Optional.empty()), new Module("SHOP_DATA_CRAWL", "店铺数据抓取", true, false, true, false, Optional.empty()), - new Module("BRAND", "品牌检测", true, false, true, false, Optional.empty()) + new Module("BRAND", "品牌检测", true, false, true, false, Optional.empty()), + // v1.4 京东店铺采集(蓝图 §4 Phase 1):resultFileJob=false——不出 Excel 结果文件, + // 商品数据直接落 biz_jd_product(V193),导出由后管做;ageCleanup=true——任务行 + // 照常按天清理(商品行在 biz_jd_product 独立保留,不被清);判死巡检暂不并入 + // (Phase 2 落 JdStaleTaskService 时按其调度形态登记,登录态失效判死由它自管)。 + new Module("JD_SHOP_COLLECT", "京东店铺采集", false, true, false, false, Optional.empty()) ); private TaskModuleRegistry() { diff --git a/backend-java/src/main/java/com/nanri/aiimage/config/CollectRoutingProperties.java b/backend-java/src/main/java/com/nanri/aiimage/config/CollectRoutingProperties.java index 31bc7d86d..26862445d 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/config/CollectRoutingProperties.java +++ b/backend-java/src/main/java/com/nanri/aiimage/config/CollectRoutingProperties.java @@ -25,6 +25,9 @@ public class CollectRoutingProperties { /** 相似ASIN(货源查询)模块名。 */ public static final String MODULE_SIMILAR_ASIN = "SIMILAR_ASIN"; + /** 京东店铺采集模块名(v1.4;紫鸟只在本机 Windows,默认通道必须 LOCAL,铁律 19 同形)。 */ + public static final String MODULE_JD_SHOP_COLLECT = "JD_SHOP_COLLECT"; + /** LOCAL 通道的任务在 PENDING 超过多少分钟后允许 Linux 兜底认领。 */ private long linuxFallbackMinutes = 30L; diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductGroupMapper.java b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductGroupMapper.java new file mode 100644 index 000000000..4e8cc78bf --- /dev/null +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductGroupMapper.java @@ -0,0 +1,17 @@ +package com.nanri.aiimage.modules.jd.mapper; + +import com.baomidou.mybatisplus.core.mapper.BaseMapper; +import com.nanri.aiimage.modules.jd.model.entity.JdProductGroupEntity; +import org.apache.ibatis.annotations.Mapper; + +/** + * 京东商品自定义分组(biz_jd_product_group,V195)数据访问口。 + * + *

简单单表 CRUD:新建/改名/删除/按公司取全量全部走 BaseMapper + wrapper + * (SqlLayering 惯例,无 XML)。业务规则落 Phase 5 的 {@code JdProductGroupService}: + * 同公司重名拒绝、按公司隔离、删除分组先把该组商品 {@code group_id} 置 NULL 再删组行 + * (两步一事务,AC-8)。

+ */ +@Mapper +public interface JdProductGroupMapper extends BaseMapper { +} diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductImageMapper.java b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductImageMapper.java new file mode 100644 index 000000000..3eedcaacf --- /dev/null +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductImageMapper.java @@ -0,0 +1,29 @@ +package com.nanri.aiimage.modules.jd.mapper; + +import com.baomidou.mybatisplus.core.mapper.BaseMapper; +import com.nanri.aiimage.modules.jd.model.entity.JdProductImageEntity; +import org.apache.ibatis.annotations.Mapper; +import org.apache.ibatis.annotations.Param; + +import java.util.List; + +/** + * 京东商品图片登记(biz_jd_product_image,V194)数据访问口。 + * + *

登记链唯一写入口是 {@link #upsertBatch}:按唯一键 + * {@code uk_product_image(product_id, image_type, sha256)} upsert——同商品同内容 + * 只留一行(AC-5 图片幂等,重复登记刷新排序与属性名),不同内容全保留。 + * SQL 全落 {@code mapper/jd/JdProductImageMapper.xml}(铁律 1)。

+ */ +@Mapper +public interface JdProductImageMapper extends BaseMapper { + + /** + * 多值批量登记图片行,冲突键={@code uk_product_image}:同 (product, type, sha256) + * 重复登记刷新那条(sort_no/attr_name/url 随最近一次采集走),不同内容全保留。 + * + *

INSERT 路径不写 created_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null + * 会覆盖掉默认值);UPDATE 路径不刷 created_at——登记时刻取首次登记。

+ */ + int upsertBatch(@Param("rows") List rows); +} diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductMapper.java b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductMapper.java new file mode 100644 index 000000000..3ece003bd --- /dev/null +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/mapper/JdProductMapper.java @@ -0,0 +1,32 @@ +package com.nanri.aiimage.modules.jd.mapper; + +import com.baomidou.mybatisplus.core.mapper.BaseMapper; +import com.nanri.aiimage.modules.jd.model.entity.JdProductEntity; +import org.apache.ibatis.annotations.Mapper; +import org.apache.ibatis.annotations.Param; + +import java.util.List; + +/** + * 京东店铺商品(biz_jd_product,V193)数据访问口。 + * + *

覆盖最新语义的唯一写入口是 {@link #upsertBatch}:按唯一键 + * {@code uk_company_shop_code(company_id, shop_id, product_code)} upsert——同一 + * (公司, 店铺, 商品编码) 二次采集刷新那条(synced_at 刷新),不同商品全保留, + * 行数不增(AC-5/R6)。SQL 全落 {@code mapper/jd/JdProductMapper.xml}(铁律 1)。 + * 后管只读页的分页/筛选 SQL(Phase 5)也落同份 XML。

+ */ +@Mapper +public interface JdProductMapper extends BaseMapper { + + /** + * 多值批量 upsert 商品行(调用方按批分批),冲突键= + * {@code uk_company_shop_code}:同商品重复采集更新那条(覆盖最新),不同商品全保留。 + * + *

INSERT 路径不写 synced_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null + * 会覆盖掉默认值);UPDATE 路径在 XML 里显式刷 CURRENT_TIMESTAMP(两段口径分开, + * AppearancePatentCleanItemMapper#upsertBatch 同形)。唯一键四元组自身 + * (company_id/shop_id/product_code)不出现在 UPDATE 段——不随更新漂移。

+ */ + int upsertBatch(@Param("rows") List rows); +} diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductEntity.java b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductEntity.java new file mode 100644 index 000000000..0a3bdc5d1 --- /dev/null +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductEntity.java @@ -0,0 +1,76 @@ +package com.nanri.aiimage.modules.jd.model.entity; + +import com.baomidou.mybatisplus.annotation.IdType; +import com.baomidou.mybatisplus.annotation.TableId; +import com.baomidou.mybatisplus.annotation.TableName; +import lombok.Data; + +import java.math.BigDecimal; +import java.time.LocalDateTime; + +/** + * 京东店铺商品主表行({@code biz_jd_product},V193,v1.4)。 + * + *

覆盖最新语义:唯一键 {@code uk_company_shop_code(company_id, shop_id, product_code)} + * 一行一商品,二次采集由 {@code JdProductMapper#upsertBatch}(INSERT ... ON DUPLICATE KEY + * UPDATE)刷新字段与 {@code syncedAt},不产生重复行、不做历史快照(AC-5,Out of Scope 4)。 + * 归属三列物化:{@code userId}=任务 owner、{@code companyId}=owner 用户的 + * {@code users.company_id}、{@code taskId}=来源任务——同步时显式落值、读不出归属跳过 + * 不回填默认 1(铁律 30)。{@code attrJson} 保存京东原始 key/label/value 三元组, + * 服务端不裁剪不转写(AC-3 保真防丢键)。

+ */ +@Data +@TableName("biz_jd_product") +public class JdProductEntity { + + @TableId(type = IdType.AUTO) + private Long id; + /** 物化归属分公司(任务 owner 的 users.company_id,无默认,同步时显式落值)。 */ + private Long companyId; + /** 任务 owner 用户 id。 */ + private Long userId; + /** 来源任务 id(biz_file_task.id)。 */ + private Long taskId; + /** 京东店铺标识。 */ + private String shopId; + /** 京麦店铺名。 */ + private String shopName; + /** 京东商品编码(uk_company_shop_code 三元组之一)。 */ + private String productCode; + /** 京东 SKU/货号。 */ + private String skuId; + private String title; + private String brand; + private String brandId; + /** 类目路径(京麦原始形状,A > B > C)。 */ + private String categoryPath; + /** 价格区间下限。 */ + private BigDecimal priceMin; + /** 价格区间上限。 */ + private BigDecimal priceMax; + private Integer stockTotal; + /** 商品状态原值(上架中/已下架/审核中/草稿)。 */ + private String saleStatus; + /** 采集来源 Tab(ONSALE/OFFSALE),覆盖最新语义下随最近一次采集刷新。 */ + private String listTab; + /** 京东侧创建时间。 */ + private LocalDateTime jdCreatedAt; + /** 京东侧修改时间。 */ + private LocalDateTime jdUpdatedAt; + /** 自有桶主图 URL(京东原图域名不落库,AC-4)。 */ + private String mainImageUrl; + /** 京东详情页 URL(仅作溯源,不作展示源)。 */ + private String detailUrl; + /** 京东属性全集 JSON(原始 key/label/value 三元组,服务端不裁剪)。 */ + private String attrJson; + /** 属性键数量(质量核查分母)。 */ + private Integer attrCount; + /** 已转存图片数。 */ + private Integer imageCount; + /** 自定义分组 id(V195 补列;删除分组时置 NULL,商品不删)。 */ + private Long groupId; + /** 本次采集批次号(断点与差异核对用,不作历史快照)。 */ + private String collectBatchId; + /** 同步时刻(INSERT 路径走列默认值,UPDATE 路径由 XML 显式刷 CURRENT_TIMESTAMP)。 */ + private LocalDateTime syncedAt; +} diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductGroupEntity.java b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductGroupEntity.java new file mode 100644 index 000000000..e499a31ba --- /dev/null +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductGroupEntity.java @@ -0,0 +1,32 @@ +package com.nanri.aiimage.modules.jd.model.entity; + +import com.baomidou.mybatisplus.annotation.IdType; +import com.baomidou.mybatisplus.annotation.TableId; +import com.baomidou.mybatisplus.annotation.TableName; +import lombok.Data; + +import java.time.LocalDateTime; + +/** + * 京东商品自定义分组({@code biz_jd_product_group},V195,v1.4)。 + * + *

京东数据库专属分组(R4):按公司隔离(唯一键 {@code uk_company_group_name}), + * 可新建/改名/删除;删除分组不删商品——商品行 {@code group_id} 置 NULL(AC-8)。 + * 简单单表 CRUD 走 BaseMapper + wrapper(SqlLayering 惯例),无 XML。

+ */ +@Data +@TableName("biz_jd_product_group") +public class JdProductGroupEntity { + + @TableId(type = IdType.AUTO) + private Long id; + /** 归属分公司(分组按公司隔离,R4)。 */ + private Long companyId; + /** 分组名(同公司内唯一)。 */ + private String name; + /** 下拉展示顺序。 */ + private Integer sortOrder; + private LocalDateTime createdAt; + /** 改名/排序刷新时刻(列 ON UPDATE CURRENT_TIMESTAMP)。 */ + private LocalDateTime updatedAt; +} diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductImageEntity.java b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductImageEntity.java new file mode 100644 index 000000000..ac1d3d0b0 --- /dev/null +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/jd/model/entity/JdProductImageEntity.java @@ -0,0 +1,48 @@ +package com.nanri.aiimage.modules.jd.model.entity; + +import com.baomidou.mybatisplus.annotation.IdType; +import com.baomidou.mybatisplus.annotation.TableId; +import com.baomidou.mybatisplus.annotation.TableName; +import lombok.Data; + +import java.time.LocalDateTime; + +/** + * 京东商品图片登记行({@code biz_jd_product_image},V194,v1.4)。 + * + *

幂等键 {@code uk_product_image(product_id, image_type, sha256)}:同一商品同档同内容 + * 只登记一行(AC-5 图片幂等)。登记链(Phase 4):归属先判 → 服务端生成 objectKey → + * 预签名直传独立桶 jd-products → {@code statObject} 对撞字节数 → 本表落行; + * {@code url} 100% 自有域名,京东原图域名不落库(AC-4)。

+ */ +@Data +@TableName("biz_jd_product_image") +public class JdProductImageEntity { + + @TableId(type = IdType.AUTO) + private Long id; + /** 商品行 id(biz_jd_product.id)。 */ + private Long productId; + /** 物化归属分公司(与商品行一致)。 */ + private Long companyId; + /** 图片档:MAIN=主图 / ATTR=销售属性图 / DETAIL=详情长图。 */ + private String imageType; + /** 销售属性名(ATTR 档专用,如 上衣/半裙/套装)。 */ + private String attrName; + /** 同档内排序(详情抽屉分区展示顺序)。 */ + private Integer sortNo; + /** 自有桶对象 key(服务端生成,客户端不得自造,蓝图 §3.3)。 */ + private String objectKey; + /** 自有域名回读 URL。 */ + private String url; + /** 对象字节数(登记时与 statObject 对撞,对不上进 mismatched)。 */ + private Long byteSize; + /** 内容摘要(幂等键一半,客户端采集时计算)。 */ + private String sha256; + /** 图片宽(像素,可空)。 */ + private Integer width; + /** 图片高(像素,可空)。 */ + private Integer height; + /** 登记时刻(首次登记后不再刷新)。 */ + private LocalDateTime createdAt; +} diff --git a/backend-java/src/main/java/com/nanri/aiimage/modules/task/model/CollectChannel.java b/backend-java/src/main/java/com/nanri/aiimage/modules/task/model/CollectChannel.java index 8529c050b..fd53e977c 100644 --- a/backend-java/src/main/java/com/nanri/aiimage/modules/task/model/CollectChannel.java +++ b/backend-java/src/main/java/com/nanri/aiimage/modules/task/model/CollectChannel.java @@ -12,9 +12,11 @@ import java.util.Locale; * 它取代了原先唯一的全局 {@code aiimage.collect-routing.local-enabled} 一档——那一档现在 * 只剩兜底窗口,不再决定执行方。 * - *

列可空,且**不回填**:空值按模块默认解释,外观专利/相似ASIN 读作 {@link #LOCAL}、 - * 其余模块读作 {@link #ONLINE},与 V183 之前 {@code AIIMAGE_COLLECT_LOCAL_*} 的出厂值 - * {@code true} 逐字等价。未升级的客户端与全部历史任务因此行为不变。 + *

列可空,且**不回填**:空值按模块默认解释,外观专利/相似ASIN/京东店铺采集 + * (v1.4 起)读作 {@link #LOCAL}、其余模块读作 {@link #ONLINE},与 V183 之前 + * {@code AIIMAGE_COLLECT_LOCAL_*} 的出厂值 {@code true} 逐字等价。未升级的客户端与 + * 全部历史任务因此行为不变。京东采集只能在本机 Windows + 紫鸟窗口执行,不加进本清单 + * 就会默认 ONLINE ⇒ 任务被推给无紫鸟的 Linux worker,永不执行(铁律 19 同形)。 */ public enum CollectChannel { @@ -26,7 +28,8 @@ public enum CollectChannel { private static final List LOCAL_DEFAULT_MODULES = List.of( CollectRoutingProperties.MODULE_APPEARANCE_PATENT, - CollectRoutingProperties.MODULE_SIMILAR_ASIN); + CollectRoutingProperties.MODULE_SIMILAR_ASIN, + CollectRoutingProperties.MODULE_JD_SHOP_COLLECT); /** * 未登记通道时读作 {@link #LOCAL} 的模块清单。 diff --git a/backend-java/src/main/resources/application-local.example.yml b/backend-java/src/main/resources/application-local.example.yml index 66bc66314..6faf95168 100644 --- a/backend-java/src/main/resources/application-local.example.yml +++ b/backend-java/src/main/resources/application-local.example.yml @@ -34,6 +34,14 @@ AIIMAGE_DIGITAL_HUMAN_OSS_BUCKET=nanri-ai-digital-human AIIMAGE_OSS_ACCESS_KEY_ID=change-me AIIMAGE_OSS_ACCESS_KEY_SECRET=change-me +# 京东店铺采集(v1.4):档位对应 application.yml 的 aiimage.jd: collect 段。 +# 商品图独立桶 jd-products 与保留期(0=永久)在 application.yml 里写死、不设 env—— +# 防一次误配把商品图指回 7 天 ILM 默认桶(铁律 17),见 application.yml 里 aiimage.jd: 注释。 +AIIMAGE_JD_COLLECT_PAGE_SIZE=50 +AIIMAGE_JD_COLLECT_DETAIL_CONCURRENCY=1 +AIIMAGE_JD_COLLECT_IMAGE_MAX_PER_PRODUCT=200 +AIIMAGE_JD_COLLECT_STALE_MINUTES=60 + # 任务异常现场证据件(v1.2 Phase 3):独立桶与保留期必须显式配置;桶不得复用 nanri-ai-images。 AIIMAGE_EVIDENCE_OSS_BUCKET=task-evidence AIIMAGE_EVIDENCE_RETENTION_DAYS=7 diff --git a/backend-java/src/main/resources/application.yml b/backend-java/src/main/resources/application.yml index 06be13291..27b899c5b 100644 --- a/backend-java/src/main/resources/application.yml +++ b/backend-java/src/main/resources/application.yml @@ -159,6 +159,21 @@ aiimage: shop-data-bucket: ${AIIMAGE_OSS_SHOP_DATA_BUCKET:shufu-shop-data} access-key-id: ${AIIMAGE_OSS_ACCESS_KEY_ID:} access-key-secret: ${AIIMAGE_OSS_ACCESS_KEY_SECRET:} + # 京东店铺采集(v1.4)。aiimage.jd: 独立图片桶——商品图是「覆盖最新、长期展示」的 + # 后管数据面,绝不能落默认桶 nanri-ai-images(那边整桶 7 天 ILM,铁律 17)⇒ + # bucket 与 retention-days 不设环境变量覆盖,防止一次 env 误配把商品图指回 7 天桶 + # 被删光;其余档位照常 env 可调。读侧(Phase 4 JdProductImageIngestService)与 + # 采集档位(Phase 2)分别接 aiimage.jd.oss / aiimage.jd.collect。 + jd: + oss: + bucket: jd-products + key-prefix: ${AIIMAGE_JD_OSS_KEY_PREFIX:jd-products/} + retention-days: 0 + collect: + page-size: ${AIIMAGE_JD_COLLECT_PAGE_SIZE:50} + detail-concurrency: ${AIIMAGE_JD_COLLECT_DETAIL_CONCURRENCY:1} + image-max-per-product: ${AIIMAGE_JD_COLLECT_IMAGE_MAX_PER_PRODUCT:200} + stale-minutes: ${AIIMAGE_JD_COLLECT_STALE_MINUTES:60} # 设备日志对象存储:主机B 独立 MinIO(与业务 OSS 隔离,日志只保留 7 天)。 # endpoint 未配置时日志上报/管理接口不可用(宁可失败也不静默落到业务桶)。 # 桶的 7 天过期规则由运维用 mc 配置(与 retention-days 口径一致)。 @@ -291,7 +306,7 @@ aiimage: enabled: ${AIIMAGE_MODULE_CLEANUP_ENABLED:true} cron: ${AIIMAGE_MODULE_CLEANUP_CRON:0 0 0 * * *} retention-days: ${AIIMAGE_MODULE_CLEANUP_RETENTION_DAYS:7} - module-types: ${AIIMAGE_MODULE_CLEANUP_MODULE_TYPES:DEDUPE,SPLIT,CONVERT,DELETE_BRAND,PRODUCT_RISK_RESOLVE,PRICE_TRACK,SHOP_MATCH,PATROL_DELETE,QUERY_ASIN,WITHDRAW,APPEARANCE_PATENT,SIMILAR_ASIN,COLLECT_DATA} + module-types: ${AIIMAGE_MODULE_CLEANUP_MODULE_TYPES:DEDUPE,SPLIT,CONVERT,DELETE_BRAND,PRODUCT_RISK_RESOLVE,PRICE_TRACK,SHOP_MATCH,PATROL_DELETE,QUERY_ASIN,WITHDRAW,APPEARANCE_PATENT,SIMILAR_ASIN,COLLECT_DATA,JD_SHOP_COLLECT} # 工作台客户端全量同步(POST /api/keyword-share/sync/import)。客户端每行自报真实使用人, # 服务端只接受名单内姓名、并统一按名单里那份写法落库(避免全/半角括号把同一个人拆成两个使用者)。 # 名单为空时必须保持 strict=false:否则首次上线会把全部记录静默改写成同步账号名,比现状更糟。 diff --git a/backend-java/src/main/resources/db/V193__jd_product.sql b/backend-java/src/main/resources/db/V193__jd_product.sql new file mode 100644 index 000000000..e97e09cea --- /dev/null +++ b/backend-java/src/main/resources/db/V193__jd_product.sql @@ -0,0 +1,76 @@ +-- 迁移 V193:京东店铺商品主表(v1.4 R1/R2/R6,蓝图 §3.1) +-- ============================================================= +-- 1. 变更目的:v1.4「京东店铺商品采集 → 后管京东数据库」的数据底座。客户端在紫鸟 +-- 窗口内采完京麦列表/详情/属性后经分片回传落本表(Phase 2 落 JdResultIngestService), +-- 后管只读页按分公司隔离分页展示(Phase 5)。本迁移只立表底座,不跑业务逻辑。 +-- +-- 2. 形状口径: +-- - 覆盖最新(R6,用户拍板「一行一商品,不做历史快照」):唯一键 +-- uk_company_shop_code(company_id, shop_id, product_code),二次采集按 +-- INSERT ... ON DUPLICATE KEY UPDATE upsert(Phase 2/Phase 4 XML), +-- 行数不增、synced_at 刷新;不建快照表、不做价格曲线(Out of Scope 4)。 +-- - 归属三列物化:user_id=任务 owner、company_id=owner 用户的 users.company_id、 +-- task_id=来源任务——company_id 直接 NOT NULL 无 DEFAULT、同步时显式落值 +-- (V189/V145/V154/V156 先例的终态形状);owner 读不出 company_id 的任务跳过 +-- 并留日志,不回填默认 1(铁律 30:读不出≠没有)。 +-- - attr_json 保真:京东详情页 8 个属性 Tab 的原始 key/label/value 三元组原样入库 +-- (LONGTEXT,服务端不裁剪不转写);attr_count 只作质量核查的分母,不参与展示。 +-- - main_image_url 只存自有桶 URL:京麦原图域名不落库(AC-4:以京东原图域名作为 +-- 展示源的记录数=0);detail_url 仅作溯源,不作展示源。 +-- - list_tab 记采集来源 Tab(ONSALE/OFFSALE):同一商品在两个 Tab 语义上是同一行 +-- (唯一键里没有 list_tab),二次采集按「覆盖最新」刷新本列。 +-- +-- 3. 数据量与索引:单店铺商品千级(京麦列表页「共 N 条」口径 1,294 条量级),多店铺 +-- 累计万级。idx_company_synced 支撑后管公司维度的 (company_id, synced_at) 排序翻页 +-- (V189 同形);idx_shop/idx_code 支撑店铺与商品编码筛选。group_id 挂组列在 V195 +-- 与分组表同窗补列(本表建表时不带,见 V195 头注释)。 +-- +-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op(V21/V111/V189 先例)。 +-- +-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied): +-- SHOW CREATE TABLE biz_jd_product; +-- -> 期望含 uk_company_shop_code(company_id,shop_id,product_code)、 +-- idx_company_synced、idx_shop、idx_code 四键 +-- 应用侧:MigrationInventoryTest 自动覆盖新迁移;Phase 2 验收测试落行/查询。 +-- +-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行): +-- 触发场景是"这张表不该建"。表是 v1.4 新增、无存量依赖,回滚即: +-- DROP TABLE biz_jd_product; +-- DELETE FROM flyway_schema_history WHERE version='193'; +-- (若 V194/V195 已应用,先删图片表/分组表再删本表;若 V196 已应用, +-- 先撤菜单行:见 V196 头注释的回滚段。) +-- ============================================================= + +CREATE TABLE IF NOT EXISTS biz_jd_product ( + `id` BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键', + `company_id` BIGINT NOT NULL COMMENT '物化归属分公司(任务 owner 的 users.company_id,同步时显式落值,无默认)', + `user_id` BIGINT NOT NULL COMMENT '任务 owner 用户 id', + `task_id` BIGINT NOT NULL COMMENT '来源任务 id(biz_file_task.id)', + `shop_id` VARCHAR(128) NOT NULL COMMENT '京东店铺标识', + `shop_name` VARCHAR(255) NOT NULL COMMENT '京麦店铺名', + `product_code` VARCHAR(64) NOT NULL COMMENT '京东商品编码(截图口径 10036442942137)', + `sku_id` VARCHAR(64) NULL COMMENT '京东 SKU/货号(截图口径 956597306407)', + `title` VARCHAR(600) NOT NULL COMMENT '商品标题', + `brand` VARCHAR(128) NULL COMMENT '品牌名(截图口径 花屿巷)', + `brand_id` VARCHAR(64) NULL COMMENT '品牌 ID(截图口径 1739198)', + `category_path` VARCHAR(500) NULL COMMENT '类目路径(运动户外 > 舞蹈体操鞋服/装备 > 艺考形体服)', + `price_min` DECIMAL(12,2) NULL COMMENT '价格区间下限', + `price_max` DECIMAL(12,2) NULL COMMENT '价格区间上限', + `stock_total` INT NULL COMMENT '总库存', + `sale_status` VARCHAR(32) NULL COMMENT '商品状态(上架中/已下架/审核中/草稿)', + `list_tab` VARCHAR(32) NOT NULL COMMENT '采集来源 Tab(ONSALE/OFFSALE)', + `jd_created_at` DATETIME NULL COMMENT '京东侧创建时间', + `jd_updated_at` DATETIME NULL COMMENT '京东侧修改时间', + `main_image_url` VARCHAR(1000) NULL COMMENT '自有桶主图 URL(京东原图域名不落库,AC-4)', + `detail_url` VARCHAR(1000) NULL COMMENT '京东详情页 URL(仅作溯源,不作展示源)', + `attr_json` LONGTEXT NULL COMMENT '京东属性全集(原始 key/label/value 三元组,服务端不裁剪,保真防丢键)', + `attr_count` INT NOT NULL DEFAULT 0 COMMENT '属性键数量(质量核查分母)', + `image_count` INT NOT NULL DEFAULT 0 COMMENT '已转存图片数', + `collect_batch_id` VARCHAR(40) NULL COMMENT '本次采集批次号(断点与差异核对用,不作历史快照)', + `synced_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '同步时刻(upsert 刷新,AC-5)', + PRIMARY KEY (`id`), + UNIQUE KEY `uk_company_shop_code` (`company_id`, `shop_id`, `product_code`), + KEY `idx_company_synced` (`company_id`, `synced_at`), + KEY `idx_shop` (`shop_id`), + KEY `idx_code` (`product_code`) +) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东店铺商品(覆盖最新,一行一商品,后管京东数据库只读页数据源)'; diff --git a/backend-java/src/main/resources/db/V194__jd_product_image.sql b/backend-java/src/main/resources/db/V194__jd_product_image.sql new file mode 100644 index 000000000..bbf217123 --- /dev/null +++ b/backend-java/src/main/resources/db/V194__jd_product_image.sql @@ -0,0 +1,53 @@ +-- 迁移 V194:京东店铺商品图片表(v1.4 R1/AC-4,蓝图 §3.1) +-- ============================================================= +-- 1. 变更目的:v1.4 商品图片转存链的登记底座。客户端按预签名直传独立桶 +-- jd-products(Phase 4 落 JdProductImageIngestService),服务端只做 +-- statObject 对撞后在本表登记(服务端零图片流量,蓝图 §3.3)。 +-- +-- 2. 形状口径: +-- - uk_product_image(product_id, image_type, sha256):同一商品同类型同内容 +-- 只登记一行(AC-5 图片幂等:同商品同 sha256 的图片不重复上传,对象数增量=0)。 +-- sha256 由客户端在采集时计算(Phase 3),服务端登记时对撞对象字节数, +-- 对不上进 mismatched 并留日志(不静默吞)。 +-- - image_type 三档:MAIN=主图;ATTR=销售属性 1:1 主图(attr_name 记销售属性名, +-- 如「上衣/半裙/套装」);DETAIL=详情长图。sort_no 在 (product_id, image_type) +-- 内排序,供后管详情抽屉分区展示(AC-7)。 +-- - object_key/url 均为自有桶形状:object_key=// +-- .<后缀>,url 为自有域名回读地址——京东原图域名不落库(AC-4)。 +-- - object_key 不设 UNIQUE:同一图片对象理论上可被多次登记对撞命中同一行 +-- (uk_product_image 已把同内容挡死),留普通列即可。 +-- +-- 3. 数据量与索引:单商品图片几十张、单店铺两万张量级;按 product_id 前缀查询 +-- (详情抽屉一次拉全)与按公司核对(对账)。idx_product 支撑详情页按商品取全量; +-- idx_company 支撑公司维度盘点。 +-- +-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op。 +-- +-- 5. 验证 SQL:SHOW CREATE TABLE biz_jd_product_image; +-- -> 期望含 uk_product_image(product_id,image_type,sha256)、idx_product、idx_company +-- +-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行): +-- DROP TABLE biz_jd_product_image; +-- DELETE FROM flyway_schema_history WHERE version='194'; +-- (桶内对象不受影响;若 V193 已应用,先删本表再删 V193 的表。) +-- ============================================================= + +CREATE TABLE IF NOT EXISTS biz_jd_product_image ( + `id` BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键', + `product_id` BIGINT NOT NULL COMMENT '商品行 id(biz_jd_product.id)', + `company_id` BIGINT NOT NULL COMMENT '物化归属分公司(与商品行一致,同步时显式落值)', + `image_type` VARCHAR(32) NOT NULL COMMENT '图片档(MAIN=主图/ATTR=销售属性图/DETAIL=详情长图)', + `attr_name` VARCHAR(128) NULL COMMENT '销售属性名(ATTR 档专用,如 上衣/半裙/套装)', + `sort_no` INT NOT NULL DEFAULT 0 COMMENT '同档内排序(详情抽屉分区展示顺序)', + `object_key` VARCHAR(500) NOT NULL COMMENT '自有桶对象 key(服务端生成,客户端不得自造,蓝图 §3.3)', + `url` VARCHAR(1000) NOT NULL COMMENT '自有域名回读 URL(京东原图域名不落库,AC-4)', + `byte_size` BIGINT NOT NULL DEFAULT 0 COMMENT '对象字节数(登记时与 statObject 对撞)', + `sha256` CHAR(64) NOT NULL COMMENT '内容摘要(幂等键一半,客户端采集时计算)', + `width` INT NULL COMMENT '图片宽(像素,可空)', + `height` INT NULL COMMENT '图片高(像素,可空)', + `created_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '登记时刻(首次登记后不再刷新)', + PRIMARY KEY (`id`), + UNIQUE KEY `uk_product_image` (`product_id`, `image_type`, `sha256`), + KEY `idx_product` (`product_id`, `image_type`, `sort_no`), + KEY `idx_company` (`company_id`) +) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东商品图片登记(预签名直传独立桶 jd-products,服务端零图片流量)'; diff --git a/backend-java/src/main/resources/db/V195__jd_product_group.sql b/backend-java/src/main/resources/db/V195__jd_product_group.sql new file mode 100644 index 000000000..075ca1d61 --- /dev/null +++ b/backend-java/src/main/resources/db/V195__jd_product_group.sql @@ -0,0 +1,72 @@ +-- 迁移 V195:京东商品自定义分组表(v1.4 R4/AC-8,蓝图 §3.1) +-- ============================================================= +-- 1. 变更目的:京东数据库专属分组(用户拍板「可自由新建/改名/删除,商品可归入某分组, +-- 列表按分组筛选」)。分组按公司隔离,与后管既有分组体系分表——不挂在通用分组表上, +-- 因为京东数据库的分组语义只有「商品归组」一档,通用表的结构拖不动也读不清。 +-- +-- 2. 形状口径: +-- - uk_company_group_name(company_id, name):同公司内重名拒绝(AC-8),跨公司可同名。 +-- - 商品挂组列 group_id 补在本迁移(与分组表同窗):ALTER 幂等写法—— +-- information_schema 判存后才执行,重跑 no-op。删除分组不删商品, +-- 商品行 group_id 置 NULL(AC-8:删除分组 → 商品仍在、下拉消失)。 +-- - 商品表与分组表无外键约束(本仓惯例,应用层维护引用完整性): +-- 删除分组由 Phase 5 服务先把该组商品 group_id 置 NULL 再删组行,两步一事务。 +-- +-- 3. 数据量与索引:分组行数=公司数×用户自建组数(十级),idx_company 支撑分组下拉 +-- 按公司取全量;商品侧 idx_group 支撑按组筛选(AC-8:按组筛选只出该组商品)。 +-- +-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS + ALTER 走 information_schema 条件判断, +-- 重跑逐条 no-op。 +-- +-- 5. 验证 SQL:SHOW CREATE TABLE biz_jd_product_group; -> 期望含 uk_company_group_name +-- SHOW CREATE TABLE biz_jd_product; -> 期望多出 group_id 列与 idx_group +-- +-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行): +-- ALTER TABLE biz_jd_product DROP INDEX idx_group; +-- ALTER TABLE biz_jd_product DROP COLUMN group_id; +-- DROP TABLE biz_jd_product_group; +-- DELETE FROM flyway_schema_history WHERE version='195'; +-- ============================================================= + +CREATE TABLE IF NOT EXISTS biz_jd_product_group ( + id BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键', + company_id BIGINT NOT NULL COMMENT '归属分公司(分组按公司隔离,R4)', + name VARCHAR(80) NOT NULL COMMENT '分组名(同公司内唯一,AC-8)', + sort_order INT NOT NULL DEFAULT 0 COMMENT '下拉展示顺序', + created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时刻', + updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '改名/排序刷新时刻', + PRIMARY KEY (id), + UNIQUE KEY uk_company_group_name (company_id, name), + KEY idx_company (company_id, sort_order) +) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东商品自定义分组(按公司隔离;删除分组不删商品)'; + +-- ---------- 商品表补挂组列(幂等:判存后才执行) ---------- +SET @v195_has_group_id := ( + SELECT COUNT(*) FROM information_schema.COLUMNS + WHERE TABLE_SCHEMA = DATABASE() + AND TABLE_NAME = 'biz_jd_product' + AND COLUMN_NAME = 'group_id' +); +SET @v195_group_ddl := IF( + @v195_has_group_id = 0, + 'ALTER TABLE biz_jd_product ADD COLUMN group_id BIGINT NULL COMMENT ''自定义分组 id(biz_jd_product_group.id;删除分组时置 NULL,商品不删)'' AFTER image_count', + 'SELECT 1' +); +PREPARE v195_stmt FROM @v195_group_ddl; +EXECUTE v195_stmt; +DEALLOCATE PREPARE v195_stmt; + +SET @v195_has_group_idx := ( + SELECT COUNT(*) FROM information_schema.STATISTICS + WHERE TABLE_SCHEMA = DATABASE() + AND TABLE_NAME = 'biz_jd_product' + AND INDEX_NAME = 'idx_group' +); +SET @v195_idx_ddl := IF( + @v195_has_group_idx = 0, + 'ALTER TABLE biz_jd_product ADD INDEX idx_group (group_id)', + 'SELECT 1' +); +PREPARE v195_stmt FROM @v195_idx_ddl; +EXECUTE v195_stmt; +DEALLOCATE PREPARE v195_stmt; diff --git a/backend-java/src/main/resources/db/V196__jd_database_menu.sql b/backend-java/src/main/resources/db/V196__jd_database_menu.sql new file mode 100644 index 000000000..f4251b2ca --- /dev/null +++ b/backend-java/src/main/resources/db/V196__jd_database_menu.sql @@ -0,0 +1,81 @@ +-- 迁移 V196:后管菜单「京东数据库」(v1.4 R3/R5,蓝图 §3.1) +-- ============================================================= +-- 1. 变更目的:v1.4 后管新页(jd-center/database)的数据入口。只新增 columns 菜单行, +-- 不插任何授权行(user→column 勾授表零写入)⇒ 默认仅 super_admin 可见可访问 +-- (V190 惯例,AC-6/AC-9);其余角色由超管在权限页手工勾授后才可见。 +-- key 不进 SUPER_ADMIN_ONLY_KEYS / ADMIN_ONLY_MENU_KEYS 强制名单,保持可授权弹性。 +-- +-- 2. 形状口径(V190 逐形,按 V175 确立的每公司模型落地): +-- - 菜单按每家公司一套树维护:company_id=1 为模板行,其余公司(含停用公司)逐家 +-- 复制;子行 parent_id 必须认本公司 admin_group_data 组行,严禁跨公司认父。 +-- 只插单行会让其余公司永远没有入口(V185 实录:columns.company_id NOT NULL +-- 无默认值,漏写直接 1364)。 +-- - 挂「数据管理」组(admin_group_data,与 V190 外观专利页同组),排序 68 +-- (V190 已占 67)。 +-- - route_path='jd-center/database' 为前端 History 路由(V109 形状), +-- column_key='admin_jd_database' 为稳定权限标识,两者是 Phase 5 控制器菜单权限 +-- 双匹配与前端路由注册的判据锚点(蓝图 §3.4)。 +-- - 幂等守卫按 (company_id, column_key) 判存,同时防 +-- uk_company_menu_type_route_path(company_id, menu_type, route_path) 撞行。 +-- +-- 3. 影响表与数据量:columns 新增 N 行(N=公司数),字典小表,毫秒级。 +-- +-- 4. 可重跑性:两段 INSERT 都带 NOT EXISTS 守卫,重跑逐条 no-op;自检闸门只读。 +-- +-- 5. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行): +-- DELETE FROM columns WHERE column_key='admin_jd_database'; +-- DELETE FROM flyway_schema_history WHERE version='196'; +-- (授权过的行随 columns 外键 ON DELETE CASCADE 一并清,无需单独处理。) +-- ============================================================= + +-- ---------- 1. 公司 1 模板行:京东数据库 ---------- +INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`, `parent_id`, `company_id`) +SELECT '京东数据库', 'admin_jd_database', 'admin', 'jd-center/database', 68, grp.`id`, 1 +FROM `columns` grp +WHERE grp.`company_id` = 1 AND grp.`column_key` = 'admin_group_data' + AND NOT EXISTS ( + SELECT 1 FROM `columns` + WHERE `company_id` = 1 + AND (`column_key` = 'admin_jd_database' + OR (`menu_type` = 'admin' AND `route_path` = 'jd-center/database')) + ); + +-- ---------- 2. 复制到其余公司(含停用公司),各自认本公司数据管理组行 ---------- +INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`, `parent_id`, `company_id`) +SELECT '京东数据库', 'admin_jd_database', 'admin', 'jd-center/database', 68, grp.`id`, c.`id` +FROM `company` c +JOIN `columns` grp ON grp.`company_id` = c.`id` AND grp.`column_key` = 'admin_group_data' +WHERE c.`id` <> 1 + AND NOT EXISTS ( + SELECT 1 FROM `columns` col + WHERE col.`company_id` = c.`id` + AND (col.`column_key` = 'admin_jd_database' + OR (col.`menu_type` = 'admin' AND col.`route_path` = 'jd-center/database')) + ); + +-- ---------- 3. 自检闸门:不为 0 就抛 1048(列 must_be_zero NOT NULL) ---------- +CREATE TEMPORARY TABLE IF NOT EXISTS `_v196_gate` (`must_be_zero` INT NOT NULL); + +-- 闸门 1:每家公司恰好一行,且父必须是本公司数据管理组、排序 68 +INSERT INTO `_v196_gate` +SELECT IF(COUNT(*) = 0, 0, NULL) +FROM ( + SELECT c.`id` + FROM `company` c + LEFT JOIN `columns` col ON col.`company_id` = c.`id` + AND col.`column_key` = 'admin_jd_database' + LEFT JOIN `columns` grp ON grp.`id` = col.`parent_id` + AND grp.`company_id` = c.`id` AND grp.`column_key` = 'admin_group_data' + GROUP BY c.`id` + HAVING COUNT(col.`id`) <> 1 OR COUNT(grp.`id`) <> 1 OR MAX(col.`sort_order`) <> 68 +) bad; + +-- 闸门 2:该路由不允许被别的 column_key 占行(防 uk_company_menu_type_route_path 语义被顶) +INSERT INTO `_v196_gate` +SELECT IF(COUNT(*) = 0, 0, NULL) +FROM `columns` col +WHERE col.`menu_type` = 'admin' + AND col.`route_path` = 'jd-center/database' + AND col.`column_key` <> 'admin_jd_database'; + +DROP TEMPORARY TABLE `_v196_gate`; diff --git a/backend-java/src/main/resources/mapper/jd/JdProductImageMapper.xml b/backend-java/src/main/resources/mapper/jd/JdProductImageMapper.xml new file mode 100644 index 000000000..a5a1c3940 --- /dev/null +++ b/backend-java/src/main/resources/mapper/jd/JdProductImageMapper.xml @@ -0,0 +1,31 @@ + + + + + + + + INSERT INTO biz_jd_product_image + (product_id, company_id, image_type, attr_name, sort_no, + object_key, url, byte_size, sha256, width, height) + VALUES + + (#{row.productId}, #{row.companyId}, #{row.imageType}, #{row.attrName}, #{row.sortNo}, + #{row.objectKey}, #{row.url}, #{row.byteSize}, #{row.sha256}, #{row.width}, #{row.height}) + + ON DUPLICATE KEY UPDATE + company_id = VALUES(company_id), + attr_name = VALUES(attr_name), + sort_no = VALUES(sort_no), + object_key = VALUES(object_key), + url = VALUES(url), + byte_size = VALUES(byte_size), + width = VALUES(width), + height = VALUES(height) + + diff --git a/backend-java/src/main/resources/mapper/jd/JdProductMapper.xml b/backend-java/src/main/resources/mapper/jd/JdProductMapper.xml new file mode 100644 index 000000000..b105846c7 --- /dev/null +++ b/backend-java/src/main/resources/mapper/jd/JdProductMapper.xml @@ -0,0 +1,55 @@ + + + + + + + + INSERT INTO biz_jd_product + (company_id, user_id, task_id, shop_id, shop_name, product_code, sku_id, + title, brand, brand_id, category_path, price_min, price_max, stock_total, + sale_status, list_tab, jd_created_at, jd_updated_at, + main_image_url, detail_url, attr_json, attr_count, image_count, collect_batch_id) + VALUES + + (#{row.companyId}, #{row.userId}, #{row.taskId}, #{row.shopId}, #{row.shopName}, + #{row.productCode}, #{row.skuId}, #{row.title}, #{row.brand}, #{row.brandId}, + #{row.categoryPath}, #{row.priceMin}, #{row.priceMax}, #{row.stockTotal}, + #{row.saleStatus}, #{row.listTab}, #{row.jdCreatedAt}, #{row.jdUpdatedAt}, + #{row.mainImageUrl}, #{row.detailUrl}, #{row.attrJson}, #{row.attrCount}, + #{row.imageCount}, #{row.collectBatchId}) + + ON DUPLICATE KEY UPDATE + user_id = VALUES(user_id), + task_id = VALUES(task_id), + shop_name = VALUES(shop_name), + sku_id = VALUES(sku_id), + title = VALUES(title), + brand = VALUES(brand), + brand_id = VALUES(brand_id), + category_path = VALUES(category_path), + price_min = VALUES(price_min), + price_max = VALUES(price_max), + stock_total = VALUES(stock_total), + sale_status = VALUES(sale_status), + list_tab = VALUES(list_tab), + jd_created_at = VALUES(jd_created_at), + jd_updated_at = VALUES(jd_updated_at), + main_image_url = VALUES(main_image_url), + detail_url = VALUES(detail_url), + attr_json = VALUES(attr_json), + attr_count = VALUES(attr_count), + image_count = VALUES(image_count), + collect_batch_id = VALUES(collect_batch_id), + synced_at = CURRENT_TIMESTAMP + + diff --git a/backend-java/src/test/java/com/nanri/aiimage/MigratedSqlEquivalenceTest.java b/backend-java/src/test/java/com/nanri/aiimage/MigratedSqlEquivalenceTest.java index 0d0e9f887..963608e42 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/MigratedSqlEquivalenceTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/MigratedSqlEquivalenceTest.java @@ -180,7 +180,13 @@ class MigratedSqlEquivalenceTest { // 2026-11-11 卡片「删除」:1 条新写的 delete(谓词与按主管导出的 select // 逐字同源)。delete 不计 select,故 XML_SELECT_TOTAL 保持 109 // (SqlLayeringConventionTest.XML_STATEMENT_TOTAL 同轮 155 → 156)。 - "AppearancePatentCleanItemMapper#deleteSupervisorItems"); + "AppearancePatentCleanItemMapper#deleteSupervisorItems", + // v1.4 京东数据库(2026-11-14,V193/V194 同窗):jd 模块首份起的两份 mapper, + // 各 1 条新写的 upsert(覆盖最新 uk_company_shop_code / 图片登记 + // uk_product_image),注解时代没有原文可对撞,逐条点名留痕 + //(SqlLayeringConventionTest.XML_STATEMENT_TOTAL 同轮 155 → 157)。 + "JdProductMapper#upsertBatch", + "JdProductImageMapper#upsertBatch"); /** 账本 5 列:接口 / 方法 / @Select 种类 / 是否含常量插值 / 注解原文(Java 反转义后那条串)。 */ private static final int LEDGER_COLUMNS = 5; diff --git a/backend-java/src/test/java/com/nanri/aiimage/SqlLayeringConventionTest.java b/backend-java/src/test/java/com/nanri/aiimage/SqlLayeringConventionTest.java index 01f45d46f..d71777782 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/SqlLayeringConventionTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/SqlLayeringConventionTest.java @@ -108,7 +108,11 @@ class SqlLayeringConventionTest { // 逐字同源)——delete 不计入该文件 XML_SELECT_TOTAL,只点名进 NOT_MIGRATED。 // 156 → 155:2026-11-11「ASIN 累计」(V191 同窗)把同步链的 deleteByResultId+insertBatch // 两条合并成 1 条 upsertBatch(ON DUPLICATE KEY UPDATE,永不删除)——净减 1 条。 - private static final int XML_STATEMENT_TOTAL = 155; + // 155 → 157:v1.4 京东数据库(V193/V194 同窗)jd 模块首份起的两份 XML 各 1 条写侧语句—— + // JdProductMapper#upsertBatch(覆盖最新,uk_company_shop_code)+ + // JdProductImageMapper#upsertBatch(图片登记,uk_product_image),全部新写, + // 同轮登记进 MigratedSqlEquivalenceTest.NOT_MIGRATED(该文件 XML_SELECT_TOTAL 不动:无 select)。 + private static final int XML_STATEMENT_TOTAL = 157; /** * wrapper 里夹带函数级 SQL 的现状("这不是简单单表"的证据),文件名 → 条数: diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/deletebrand/service/TaskModuleCoverageTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/deletebrand/service/TaskModuleCoverageTest.java index 3b37f8b6c..1493707d8 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/deletebrand/service/TaskModuleCoverageTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/deletebrand/service/TaskModuleCoverageTest.java @@ -43,7 +43,8 @@ class TaskModuleCoverageTest { private static final Set EXPECTED_MODULES = Set.of( "PUBLISH", "DEDUPE", "SPLIT", "CONVERT", "DELETE_BRAND", "PRODUCT_RISK_RESOLVE", "PRICE_TRACK", "SHOP_MATCH", "PATROL_DELETE", "QUERY_ASIN", "WITHDRAW", - "APPEARANCE_PATENT", "SIMILAR_ASIN", "COLLECT_DATA", "SHOP_DATA_CRAWL", "BRAND"); + "APPEARANCE_PATENT", "SIMILAR_ASIN", "COLLECT_DATA", "SHOP_DATA_CRAWL", "BRAND", + "JD_SHOP_COLLECT"); @Test void registryCoversEveryKnownModuleWithLabel() { diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/jd/JdCollectChannelGoldenTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/jd/JdCollectChannelGoldenTest.java index 7bf106a47..82e12099e 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/jd/JdCollectChannelGoldenTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/jd/JdCollectChannelGoldenTest.java @@ -5,49 +5,48 @@ import com.nanri.aiimage.modules.task.model.CollectChannel; import org.junit.jupiter.api.Test; import java.util.List; +import java.util.Optional; import java.util.Set; import static org.junit.jupiter.api.Assertions.assertEquals; import static org.junit.jupiter.api.Assertions.assertFalse; -import static org.junit.jupiter.api.Assertions.assertThrows; import static org.junit.jupiter.api.Assertions.assertTrue; /** - * v1.4 Phase 0 黄金测试:钉住 Phase 1 即将有意识改动的两个存量接缝的当前形状。 + * v1.4 Phase 1 黄金测试:钉住 Phase 1 有意识翻转后的两个存量接缝的新形状。 * *

判据来源:蓝图 {@code docs/ITERATION_PLAN.md} §2.2 影响面清单—— - * ① {@code TaskModuleRegistry} 新增 {@code JD_SHOP_COLLECT} 注册行; + * ① {@code TaskModuleRegistry} 新增 {@code JD_SHOP_COLLECT} 注册行(17 模块); * ② {@code CollectChannel.LOCAL_DEFAULT_MODULES} 加入 {@code JD_SHOP_COLLECT} * (不加 = 默认 ONLINE = 任务被推给无紫鸟的 Linux worker,铁律 19 同形坑)。 * - *

本类钉的是「改动前」的事实;Phase 1 落地时必须同轮更新这三条断言并激活 - * {@code JdChannelDefaultTest},让接缝翻转换成显式评审点。所有既有模块清单、 - * LOCAL 默认形状已由 {@code TaskModuleCoverageTest} / {@code CollectChannelTest} 各自钉住,此处不重复。 + *

本类 Phase 0 时钉的是「改动前」的事实(16 模块 / 默认 ONLINE / 无凭据登记, + * git 历史可考);Phase 1 落地后同轮改写为翻转后的形状,与 {@code JdChannelDefaultTest} + * 一起成为接缝的常驻判据。所有既有模块清单、LOCAL 默认形状已由 + * {@code TaskModuleCoverageTest} / {@code CollectChannelTest} 各自钉住,此处不重复。 */ class JdCollectChannelGoldenTest { - /** 当前注册表恰好 16 个模块且无京东:Phase 1 新增 JD_SHOP_COLLECT 必须同轮更新本清单。 */ + /** Phase 1 起注册表 17 个模块且含京东:再增删模块必须同轮更新本清单。 */ @Test - void 京东模块当前未注册进任务模块注册表() { + void 京东模块已注册进任务模块注册表() { Set types = TaskModuleRegistry.moduleTypes(); - assertEquals(16, types.size(), "Phase 1 新增 JD_SHOP_COLLECT 时更新为 17"); + assertEquals(17, types.size(), "再增删模块时同轮更新本数(Phase 1 定格 17)"); assertTrue(types.containsAll(List.of("APPEARANCE_PATENT", "SIMILAR_ASIN", "SHOP_DATA_CRAWL", - "COLLECT_DATA", "PRICE_TRACK", "PUBLISH", "BRAND")), "既有清单形状漂移,先查别人改动"); - assertFalse(types.contains("JD_SHOP_COLLECT"), "当前未注册;出现即有人在未登记蓝图的情况下动了注册表"); + "COLLECT_DATA", "PRICE_TRACK", "PUBLISH", "BRAND", "JD_SHOP_COLLECT")), "既有清单形状漂移,先查别人改动"); } - /** 当前京东模块按 V183 语义默认 ONLINE:Phase 1 改为 LOCAL 时同轮更新本断言。 */ + /** 京东模块默认 LOCAL(紫鸟只在本机):谁把它翻回 ONLINE 这里先红。 */ @Test - void 京东模块当前默认通道为ONLINE() { - assertFalse(CollectChannel.defaultFor("JD_SHOP_COLLECT").isLocal(), - "当前未加入 LOCAL 默认;Phase 1 翻转后本断言同步改为 isLocal()"); + void 京东模块默认通道为LOCAL() { + assertTrue(CollectChannel.defaultFor("JD_SHOP_COLLECT").isLocal(), + "京东采集只能在本机 Windows + 紫鸟窗口执行(铁律 19 同形),翻回 ONLINE = 任务永不执行"); } - /** 当前京东模块无提交凭据要求:注册表对未注册类型按构造抛参。Phase 1 登记后本断言同轮更新。 */ + /** 京东模块建单不需要用户凭据(Optional.empty()=登记过的结论「不需要」,不是漏填)。 */ @Test - void 京东模块当前无提交凭据登记() { - assertThrows(IllegalArgumentException.class, - () -> TaskModuleRegistry.submitSecretModuleOf("JD_SHOP_COLLECT"), - "未注册类型应按构造拒绝;Phase 1 注册后改断言为 Optional.empty()"); + void 京东模块无提交凭据登记() { + assertEquals(Optional.empty(), TaskModuleRegistry.submitSecretModuleOf("JD_SHOP_COLLECT"), + "京东采集缺代理是「直连降级」不是注定失败(铁律 27 边界 c),登记过=不需要;要改先拍板"); } } diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/jd/JdSchemaContractTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/jd/JdSchemaContractTest.java index 868f148cb..71978f153 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/jd/JdSchemaContractTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/jd/JdSchemaContractTest.java @@ -1,6 +1,5 @@ package com.nanri.aiimage.modules.jd; -import org.junit.jupiter.api.Disabled; import org.junit.jupiter.api.Test; import java.io.IOException; @@ -20,7 +19,6 @@ import static org.junit.jupiter.api.Assertions.assertTrue; * Phase 1 写下的那一份形状——覆盖最新唯一键、归属列显式 NOT NULL(铁律 30)、 * 图片独立桶不落默认桶(铁律 17:默认桶整桶 7 天 ILM)、菜单每公司一行且不插授权行(V190 惯例)。 */ -@Disabled("Pending Phase 1: V193~V196 迁移与 aiimage.jd.* 配置落地后激活") class JdSchemaContractTest { private static final Path DB_DIR = Path.of("src", "main", "resources", "db"); diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/task/model/CollectChannelTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/task/model/CollectChannelTest.java index 3d5cc628f..c161f62d2 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/task/model/CollectChannelTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/task/model/CollectChannelTest.java @@ -13,9 +13,10 @@ import static org.junit.jupiter.api.Assertions.assertTrue; /** * V183 任务级采集通道的判据(建单写入、认领读取、脏值兜底)。 * - *

这里钉死的是「不登记=按模块默认」这条兼容线:外观专利/相似ASIN 读作本机, - * 其余模块读作线上,与 V183 之前 {@code AIIMAGE_COLLECT_LOCAL_*} 出厂值 {@code true} 等价。 - * 一旦默认翻转,全部历史任务与未升级客户端的执行方会集体换边,所以逐条点名。 + *

这里钉死的是「不登记=按模块默认」这条兼容线:外观专利/相似ASIN/京东店铺采集 + * (v1.4 Phase 1 加入,紫鸟只在本机)读作本机,其余模块读作线上,与 V183 之前 + * {@code AIIMAGE_COLLECT_LOCAL_*} 出厂值 {@code true} 等价。一旦默认翻转, + * 全部历史任务与未升级客户端的执行方会集体换边,所以逐条点名。 */ class CollectChannelTest { @@ -39,7 +40,8 @@ class CollectChannelTest { @Test void 本机默认模块清单与defaultFor同源() { assertEquals(List.of(CollectRoutingProperties.MODULE_APPEARANCE_PATENT, - CollectRoutingProperties.MODULE_SIMILAR_ASIN), CollectChannel.localDefaultModuleTypes()); + CollectRoutingProperties.MODULE_SIMILAR_ASIN, + CollectRoutingProperties.MODULE_JD_SHOP_COLLECT), CollectChannel.localDefaultModuleTypes()); for (String module : CollectChannel.localDefaultModuleTypes()) { assertTrue(CollectChannel.defaultFor(module).isLocal(), module + " 在清单里却不被判本机"); } diff --git a/backend-java/src/test/java/com/nanri/aiimage/modules/task/model/JdChannelDefaultTest.java b/backend-java/src/test/java/com/nanri/aiimage/modules/task/model/JdChannelDefaultTest.java index b9f76f2e0..335eaebe5 100644 --- a/backend-java/src/test/java/com/nanri/aiimage/modules/task/model/JdChannelDefaultTest.java +++ b/backend-java/src/test/java/com/nanri/aiimage/modules/task/model/JdChannelDefaultTest.java @@ -1,6 +1,5 @@ package com.nanri.aiimage.modules.task.model; -import org.junit.jupiter.api.Disabled; import org.junit.jupiter.api.Test; import static org.junit.jupiter.api.Assertions.assertEquals; @@ -11,13 +10,12 @@ import static org.junit.jupiter.api.Assertions.assertEquals; *

蓝图为 {@code docs/ITERATION_PLAN.md} §4 Phase 1;判据即铁律 19 同形—— * {@code CollectChannel.LOCAL_DEFAULT_MODULES} 不加 {@code JD_SHOP_COLLECT}, * 取页 SQL 就会把它当 ONLINE 派给 Linux worker,而紫鸟只在客户端本机 ⇒ 任务永不执行。 - * 当前形状(默认 ONLINE)由黄金测试 {@code JdCollectChannelGoldenTest} 钉住; - * Phase 1 加入 LOCAL 默认后移除本 @Disabled 并跑绿。 + * 已于 Phase 1(2026-11-14)激活跑绿;翻转前的 ONLINE 形状由黄金测试 + * {@code JdCollectChannelGoldenTest} 改写前记录(git 历史可考)。 */ class JdChannelDefaultTest { @Test - @Disabled("Pending Phase 1: CollectChannel.LOCAL_DEFAULT_MODULES 加入 JD_SHOP_COLLECT 后激活") void 京东采集默认通道必须是LOCAL() { assertEquals(CollectChannel.LOCAL, CollectChannel.defaultFor("JD_SHOP_COLLECT")); }