feat(phase-1): 京东数据库数据底座——V193~V196 迁移 + jd 模块实体/Mapper + 模块注册与 LOCAL 通道默认 + aiimage.jd 配置

This commit is contained in:
2026-11-14 03:08:32 +08:00
parent 334ed2cadd
commit a429191edd
24 changed files with 683 additions and 39 deletions
@@ -67,7 +67,12 @@ public final class TaskModuleRegistry {
Optional.of(UserSecretModule.SIMILAR_ASIN)),
new Module("COLLECT_DATA", "采集数据", true, true, false, true, Optional.empty()),
new Module("SHOP_DATA_CRAWL", "店铺数据抓取", true, false, true, false, Optional.empty()),
new Module("BRAND", "品牌检测", true, false, true, false, Optional.empty())
new Module("BRAND", "品牌检测", true, false, true, false, Optional.empty()),
// v1.4 京东店铺采集(蓝图 §4 Phase 1):resultFileJob=false——不出 Excel 结果文件,
// 商品数据直接落 biz_jd_product(V193),导出由后管做;ageCleanup=true——任务行
// 照常按天清理(商品行在 biz_jd_product 独立保留,不被清);判死巡检暂不并入
// (Phase 2 落 JdStaleTaskService 时按其调度形态登记,登录态失效判死由它自管)。
new Module("JD_SHOP_COLLECT", "京东店铺采集", false, true, false, false, Optional.empty())
);
private TaskModuleRegistry() {
@@ -25,6 +25,9 @@ public class CollectRoutingProperties {
/** 相似ASIN(货源查询)模块名。 */
public static final String MODULE_SIMILAR_ASIN = "SIMILAR_ASIN";
/** 京东店铺采集模块名(v1.4;紫鸟只在本机 Windows,默认通道必须 LOCAL,铁律 19 同形)。 */
public static final String MODULE_JD_SHOP_COLLECT = "JD_SHOP_COLLECT";
/** LOCAL 通道的任务在 PENDING 超过多少分钟后允许 Linux 兜底认领。 */
private long linuxFallbackMinutes = 30L;
@@ -0,0 +1,17 @@
package com.nanri.aiimage.modules.jd.mapper;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.nanri.aiimage.modules.jd.model.entity.JdProductGroupEntity;
import org.apache.ibatis.annotations.Mapper;
/**
* 京东商品自定义分组(biz_jd_product_group,V195)数据访问口。
*
* <p>简单单表 CRUD:新建/改名/删除/按公司取全量全部走 BaseMapper + wrapper
* (SqlLayering 惯例,无 XML)。业务规则落 Phase 5 的 {@code JdProductGroupService}:
* 同公司重名拒绝、按公司隔离、删除分组先把该组商品 {@code group_id} 置 NULL 再删组行
* (两步一事务,AC-8)。</p>
*/
@Mapper
public interface JdProductGroupMapper extends BaseMapper<JdProductGroupEntity> {
}
@@ -0,0 +1,29 @@
package com.nanri.aiimage.modules.jd.mapper;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.nanri.aiimage.modules.jd.model.entity.JdProductImageEntity;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;
import java.util.List;
/**
* 京东商品图片登记(biz_jd_product_image,V194)数据访问口。
*
* <p>登记链唯一写入口是 {@link #upsertBatch}:按唯一键
* {@code uk_product_image(product_id, image_type, sha256)} upsert——同商品同内容
* 只留一行(AC-5 图片幂等,重复登记刷新排序与属性名),不同内容全保留。
* SQL 全落 {@code mapper/jd/JdProductImageMapper.xml}(铁律 1)。</p>
*/
@Mapper
public interface JdProductImageMapper extends BaseMapper<JdProductImageEntity> {
/**
* 多值批量登记图片行,冲突键={@code uk_product_image}:同 (product, type, sha256)
* 重复登记刷新那条(sort_no/attr_name/url 随最近一次采集走),不同内容全保留。
*
* <p>INSERT 路径不写 created_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null
* 会覆盖掉默认值);UPDATE 路径不刷 created_at——登记时刻取首次登记。</p>
*/
int upsertBatch(@Param("rows") List<JdProductImageEntity> rows);
}
@@ -0,0 +1,32 @@
package com.nanri.aiimage.modules.jd.mapper;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.nanri.aiimage.modules.jd.model.entity.JdProductEntity;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;
import java.util.List;
/**
* 京东店铺商品(biz_jd_product,V193)数据访问口。
*
* <p>覆盖最新语义的唯一写入口是 {@link #upsertBatch}:按唯一键
* {@code uk_company_shop_code(company_id, shop_id, product_code)} upsert——同一
* (公司, 店铺, 商品编码) 二次采集刷新那条(synced_at 刷新),不同商品全保留,
* 行数不增(AC-5/R6)。SQL 全落 {@code mapper/jd/JdProductMapper.xml}(铁律 1)。
* 后管只读页的分页/筛选 SQL(Phase 5)也落同份 XML。</p>
*/
@Mapper
public interface JdProductMapper extends BaseMapper<JdProductEntity> {
/**
* 多值批量 upsert 商品行(调用方按批分批),冲突键=
* {@code uk_company_shop_code}:同商品重复采集更新那条(覆盖最新),不同商品全保留。
*
* <p>INSERT 路径不写 synced_at(列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null
* 会覆盖掉默认值);UPDATE 路径在 XML 里显式刷 CURRENT_TIMESTAMP(两段口径分开,
* AppearancePatentCleanItemMapper#upsertBatch 同形)。唯一键四元组自身
* (company_id/shop_id/product_code)不出现在 UPDATE 段——不随更新漂移。</p>
*/
int upsertBatch(@Param("rows") List<JdProductEntity> rows);
}
@@ -0,0 +1,76 @@
package com.nanri.aiimage.modules.jd.model.entity;
import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;
import java.math.BigDecimal;
import java.time.LocalDateTime;
/**
* 京东店铺商品主表行({@code biz_jd_product},V193,v1.4)。
*
* <p>覆盖最新语义:唯一键 {@code uk_company_shop_code(company_id, shop_id, product_code)}
* 一行一商品,二次采集由 {@code JdProductMapper#upsertBatch}(INSERT ... ON DUPLICATE KEY
* UPDATE)刷新字段与 {@code syncedAt},不产生重复行、不做历史快照(AC-5,Out of Scope 4)。
* 归属三列物化:{@code userId}=任务 owner、{@code companyId}=owner 用户的
* {@code users.company_id}、{@code taskId}=来源任务——同步时显式落值、读不出归属跳过
* 不回填默认 1(铁律 30)。{@code attrJson} 保存京东原始 key/label/value 三元组,
* 服务端不裁剪不转写(AC-3 保真防丢键)。</p>
*/
@Data
@TableName("biz_jd_product")
public class JdProductEntity {
@TableId(type = IdType.AUTO)
private Long id;
/** 物化归属分公司(任务 owner 的 users.company_id,无默认,同步时显式落值)。 */
private Long companyId;
/** 任务 owner 用户 id。 */
private Long userId;
/** 来源任务 id(biz_file_task.id)。 */
private Long taskId;
/** 京东店铺标识。 */
private String shopId;
/** 京麦店铺名。 */
private String shopName;
/** 京东商品编码(uk_company_shop_code 三元组之一)。 */
private String productCode;
/** 京东 SKU/货号。 */
private String skuId;
private String title;
private String brand;
private String brandId;
/** 类目路径(京麦原始形状,A &gt; B &gt; C)。 */
private String categoryPath;
/** 价格区间下限。 */
private BigDecimal priceMin;
/** 价格区间上限。 */
private BigDecimal priceMax;
private Integer stockTotal;
/** 商品状态原值(上架中/已下架/审核中/草稿)。 */
private String saleStatus;
/** 采集来源 Tab(ONSALE/OFFSALE),覆盖最新语义下随最近一次采集刷新。 */
private String listTab;
/** 京东侧创建时间。 */
private LocalDateTime jdCreatedAt;
/** 京东侧修改时间。 */
private LocalDateTime jdUpdatedAt;
/** 自有桶主图 URL(京东原图域名不落库,AC-4)。 */
private String mainImageUrl;
/** 京东详情页 URL(仅作溯源,不作展示源)。 */
private String detailUrl;
/** 京东属性全集 JSON(原始 key/label/value 三元组,服务端不裁剪)。 */
private String attrJson;
/** 属性键数量(质量核查分母)。 */
private Integer attrCount;
/** 已转存图片数。 */
private Integer imageCount;
/** 自定义分组 id(V195 补列;删除分组时置 NULL,商品不删)。 */
private Long groupId;
/** 本次采集批次号(断点与差异核对用,不作历史快照)。 */
private String collectBatchId;
/** 同步时刻(INSERT 路径走列默认值,UPDATE 路径由 XML 显式刷 CURRENT_TIMESTAMP)。 */
private LocalDateTime syncedAt;
}
@@ -0,0 +1,32 @@
package com.nanri.aiimage.modules.jd.model.entity;
import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;
import java.time.LocalDateTime;
/**
* 京东商品自定义分组({@code biz_jd_product_group},V195,v1.4)。
*
* <p>京东数据库专属分组(R4):按公司隔离(唯一键 {@code uk_company_group_name}),
* 可新建/改名/删除;删除分组不删商品——商品行 {@code group_id} 置 NULL(AC-8)。
* 简单单表 CRUD 走 BaseMapper + wrapper(SqlLayering 惯例),无 XML。</p>
*/
@Data
@TableName("biz_jd_product_group")
public class JdProductGroupEntity {
@TableId(type = IdType.AUTO)
private Long id;
/** 归属分公司(分组按公司隔离,R4)。 */
private Long companyId;
/** 分组名(同公司内唯一)。 */
private String name;
/** 下拉展示顺序。 */
private Integer sortOrder;
private LocalDateTime createdAt;
/** 改名/排序刷新时刻(列 ON UPDATE CURRENT_TIMESTAMP)。 */
private LocalDateTime updatedAt;
}
@@ -0,0 +1,48 @@
package com.nanri.aiimage.modules.jd.model.entity;
import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;
import java.time.LocalDateTime;
/**
* 京东商品图片登记行({@code biz_jd_product_image},V194,v1.4)。
*
* <p>幂等键 {@code uk_product_image(product_id, image_type, sha256)}:同一商品同档同内容
* 只登记一行(AC-5 图片幂等)。登记链(Phase 4):归属先判 → 服务端生成 objectKey →
* 预签名直传独立桶 jd-products → {@code statObject} 对撞字节数 → 本表落行;
* {@code url} 100% 自有域名,京东原图域名不落库(AC-4)。</p>
*/
@Data
@TableName("biz_jd_product_image")
public class JdProductImageEntity {
@TableId(type = IdType.AUTO)
private Long id;
/** 商品行 id(biz_jd_product.id)。 */
private Long productId;
/** 物化归属分公司(与商品行一致)。 */
private Long companyId;
/** 图片档:MAIN=主图 / ATTR=销售属性图 / DETAIL=详情长图。 */
private String imageType;
/** 销售属性名(ATTR 档专用,如 上衣/半裙/套装)。 */
private String attrName;
/** 同档内排序(详情抽屉分区展示顺序)。 */
private Integer sortNo;
/** 自有桶对象 key(服务端生成,客户端不得自造,蓝图 §3.3)。 */
private String objectKey;
/** 自有域名回读 URL。 */
private String url;
/** 对象字节数(登记时与 statObject 对撞,对不上进 mismatched)。 */
private Long byteSize;
/** 内容摘要(幂等键一半,客户端采集时计算)。 */
private String sha256;
/** 图片宽(像素,可空)。 */
private Integer width;
/** 图片高(像素,可空)。 */
private Integer height;
/** 登记时刻(首次登记后不再刷新)。 */
private LocalDateTime createdAt;
}
@@ -12,9 +12,11 @@ import java.util.Locale;
* 它取代了原先唯一的全局 {@code aiimage.collect-routing.local-enabled} 一档——那一档现在
* 只剩兜底窗口,不再决定执行方。
*
* <p>列可空,且**不回填**:空值按模块默认解释,外观专利/相似ASIN 读作 {@link #LOCAL}、
* 其余模块读作 {@link #ONLINE},与 V183 之前 {@code AIIMAGE_COLLECT_LOCAL_*} 的出厂值
* {@code true} 逐字等价。未升级的客户端与全部历史任务因此行为不变。
* <p>列可空,且**不回填**:空值按模块默认解释,外观专利/相似ASIN/京东店铺采集
* (v1.4 起)读作 {@link #LOCAL}、其余模块读作 {@link #ONLINE},与 V183 之前
* {@code AIIMAGE_COLLECT_LOCAL_*} 的出厂值 {@code true} 逐字等价。未升级的客户端与
* 全部历史任务因此行为不变。京东采集只能在本机 Windows + 紫鸟窗口执行,不加进本清单
* 就会默认 ONLINE ⇒ 任务被推给无紫鸟的 Linux worker,永不执行(铁律 19 同形)。
*/
public enum CollectChannel {
@@ -26,7 +28,8 @@ public enum CollectChannel {
private static final List<String> LOCAL_DEFAULT_MODULES = List.of(
CollectRoutingProperties.MODULE_APPEARANCE_PATENT,
CollectRoutingProperties.MODULE_SIMILAR_ASIN);
CollectRoutingProperties.MODULE_SIMILAR_ASIN,
CollectRoutingProperties.MODULE_JD_SHOP_COLLECT);
/**
* 未登记通道时读作 {@link #LOCAL} 的模块清单。
@@ -34,6 +34,14 @@ AIIMAGE_DIGITAL_HUMAN_OSS_BUCKET=nanri-ai-digital-human
AIIMAGE_OSS_ACCESS_KEY_ID=change-me
AIIMAGE_OSS_ACCESS_KEY_SECRET=change-me
# 京东店铺采集(v1.4):档位对应 application.yml 的 aiimage.jd: collect 段。
# 商品图独立桶 jd-products 与保留期(0=永久)在 application.yml 里写死、不设 env——
# 防一次误配把商品图指回 7 天 ILM 默认桶(铁律 17),见 application.yml 里 aiimage.jd: 注释。
AIIMAGE_JD_COLLECT_PAGE_SIZE=50
AIIMAGE_JD_COLLECT_DETAIL_CONCURRENCY=1
AIIMAGE_JD_COLLECT_IMAGE_MAX_PER_PRODUCT=200
AIIMAGE_JD_COLLECT_STALE_MINUTES=60
# 任务异常现场证据件(v1.2 Phase 3):独立桶与保留期必须显式配置;桶不得复用 nanri-ai-images。
AIIMAGE_EVIDENCE_OSS_BUCKET=task-evidence
AIIMAGE_EVIDENCE_RETENTION_DAYS=7
@@ -159,6 +159,21 @@ aiimage:
shop-data-bucket: ${AIIMAGE_OSS_SHOP_DATA_BUCKET:shufu-shop-data}
access-key-id: ${AIIMAGE_OSS_ACCESS_KEY_ID:}
access-key-secret: ${AIIMAGE_OSS_ACCESS_KEY_SECRET:}
# 京东店铺采集(v1.4)。aiimage.jd: 独立图片桶——商品图是「覆盖最新、长期展示」的
# 后管数据面,绝不能落默认桶 nanri-ai-images(那边整桶 7 天 ILM,铁律 17)⇒
# bucket 与 retention-days 不设环境变量覆盖,防止一次 env 误配把商品图指回 7 天桶
# 被删光;其余档位照常 env 可调。读侧(Phase 4 JdProductImageIngestService)与
# 采集档位(Phase 2)分别接 aiimage.jd.oss / aiimage.jd.collect。
jd:
oss:
bucket: jd-products
key-prefix: ${AIIMAGE_JD_OSS_KEY_PREFIX:jd-products/}
retention-days: 0
collect:
page-size: ${AIIMAGE_JD_COLLECT_PAGE_SIZE:50}
detail-concurrency: ${AIIMAGE_JD_COLLECT_DETAIL_CONCURRENCY:1}
image-max-per-product: ${AIIMAGE_JD_COLLECT_IMAGE_MAX_PER_PRODUCT:200}
stale-minutes: ${AIIMAGE_JD_COLLECT_STALE_MINUTES:60}
# 设备日志对象存储:主机B 独立 MinIO(与业务 OSS 隔离,日志只保留 7 天)。
# endpoint 未配置时日志上报/管理接口不可用(宁可失败也不静默落到业务桶)。
# 桶的 7 天过期规则由运维用 mc 配置(与 retention-days 口径一致)。
@@ -291,7 +306,7 @@ aiimage:
enabled: ${AIIMAGE_MODULE_CLEANUP_ENABLED:true}
cron: ${AIIMAGE_MODULE_CLEANUP_CRON:0 0 0 * * *}
retention-days: ${AIIMAGE_MODULE_CLEANUP_RETENTION_DAYS:7}
module-types: ${AIIMAGE_MODULE_CLEANUP_MODULE_TYPES:DEDUPE,SPLIT,CONVERT,DELETE_BRAND,PRODUCT_RISK_RESOLVE,PRICE_TRACK,SHOP_MATCH,PATROL_DELETE,QUERY_ASIN,WITHDRAW,APPEARANCE_PATENT,SIMILAR_ASIN,COLLECT_DATA}
module-types: ${AIIMAGE_MODULE_CLEANUP_MODULE_TYPES:DEDUPE,SPLIT,CONVERT,DELETE_BRAND,PRODUCT_RISK_RESOLVE,PRICE_TRACK,SHOP_MATCH,PATROL_DELETE,QUERY_ASIN,WITHDRAW,APPEARANCE_PATENT,SIMILAR_ASIN,COLLECT_DATA,JD_SHOP_COLLECT}
# 工作台客户端全量同步(POST /api/keyword-share/sync/import)。客户端每行自报真实使用人,
# 服务端只接受名单内姓名、并统一按名单里那份写法落库(避免全/半角括号把同一个人拆成两个使用者)。
# 名单为空时必须保持 strict=false:否则首次上线会把全部记录静默改写成同步账号名,比现状更糟。
@@ -0,0 +1,76 @@
-- 迁移 V193:京东店铺商品主表(v1.4 R1/R2/R6,蓝图 §3.1)
-- =============================================================
-- 1. 变更目的:v1.4「京东店铺商品采集 → 后管京东数据库」的数据底座。客户端在紫鸟
-- 窗口内采完京麦列表/详情/属性后经分片回传落本表(Phase 2 落 JdResultIngestService),
-- 后管只读页按分公司隔离分页展示(Phase 5)。本迁移只立表底座,不跑业务逻辑。
--
-- 2. 形状口径:
-- - 覆盖最新(R6,用户拍板「一行一商品,不做历史快照」):唯一键
-- uk_company_shop_code(company_id, shop_id, product_code),二次采集按
-- INSERT ... ON DUPLICATE KEY UPDATE upsert(Phase 2/Phase 4 XML),
-- 行数不增、synced_at 刷新;不建快照表、不做价格曲线(Out of Scope 4)。
-- - 归属三列物化:user_id=任务 owner、company_id=owner 用户的 users.company_id、
-- task_id=来源任务——company_id 直接 NOT NULL 无 DEFAULT、同步时显式落值
-- (V189/V145/V154/V156 先例的终态形状);owner 读不出 company_id 的任务跳过
-- 并留日志,不回填默认 1(铁律 30:读不出≠没有)。
-- - attr_json 保真:京东详情页 8 个属性 Tab 的原始 key/label/value 三元组原样入库
-- (LONGTEXT,服务端不裁剪不转写);attr_count 只作质量核查的分母,不参与展示。
-- - main_image_url 只存自有桶 URL:京麦原图域名不落库(AC-4:以京东原图域名作为
-- 展示源的记录数=0);detail_url 仅作溯源,不作展示源。
-- - list_tab 记采集来源 Tab(ONSALE/OFFSALE):同一商品在两个 Tab 语义上是同一行
-- (唯一键里没有 list_tab),二次采集按「覆盖最新」刷新本列。
--
-- 3. 数据量与索引:单店铺商品千级(京麦列表页「共 N 条」口径 1,294 条量级),多店铺
-- 累计万级。idx_company_synced 支撑后管公司维度的 (company_id, synced_at) 排序翻页
-- (V189 同形);idx_shop/idx_code 支撑店铺与商品编码筛选。group_id 挂组列在 V195
-- 与分组表同窗补列(本表建表时不带,见 V195 头注释)。
--
-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op(V21/V111/V189 先例)。
--
-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied):
-- SHOW CREATE TABLE biz_jd_product;
-- -> 期望含 uk_company_shop_code(company_id,shop_id,product_code)、
-- idx_company_synced、idx_shop、idx_code 四键
-- 应用侧:MigrationInventoryTest 自动覆盖新迁移;Phase 2 验收测试落行/查询。
--
-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
-- 触发场景是"这张表不该建"。表是 v1.4 新增、无存量依赖,回滚即:
-- DROP TABLE biz_jd_product;
-- DELETE FROM flyway_schema_history WHERE version='193';
-- (若 V194/V195 已应用,先删图片表/分组表再删本表;若 V196 已应用,
-- 先撤菜单行:见 V196 头注释的回滚段。)
-- =============================================================
CREATE TABLE IF NOT EXISTS biz_jd_product (
`id` BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
`company_id` BIGINT NOT NULL COMMENT '物化归属分公司(任务 owner 的 users.company_id,同步时显式落值,无默认)',
`user_id` BIGINT NOT NULL COMMENT '任务 owner 用户 id',
`task_id` BIGINT NOT NULL COMMENT '来源任务 id(biz_file_task.id)',
`shop_id` VARCHAR(128) NOT NULL COMMENT '京东店铺标识',
`shop_name` VARCHAR(255) NOT NULL COMMENT '京麦店铺名',
`product_code` VARCHAR(64) NOT NULL COMMENT '京东商品编码(截图口径 10036442942137)',
`sku_id` VARCHAR(64) NULL COMMENT '京东 SKU/货号(截图口径 956597306407)',
`title` VARCHAR(600) NOT NULL COMMENT '商品标题',
`brand` VARCHAR(128) NULL COMMENT '品牌名(截图口径 花屿巷)',
`brand_id` VARCHAR(64) NULL COMMENT '品牌 ID(截图口径 1739198)',
`category_path` VARCHAR(500) NULL COMMENT '类目路径(运动户外 > 舞蹈体操鞋服/装备 > 艺考形体服)',
`price_min` DECIMAL(12,2) NULL COMMENT '价格区间下限',
`price_max` DECIMAL(12,2) NULL COMMENT '价格区间上限',
`stock_total` INT NULL COMMENT '总库存',
`sale_status` VARCHAR(32) NULL COMMENT '商品状态(上架中/已下架/审核中/草稿)',
`list_tab` VARCHAR(32) NOT NULL COMMENT '采集来源 Tab(ONSALE/OFFSALE)',
`jd_created_at` DATETIME NULL COMMENT '京东侧创建时间',
`jd_updated_at` DATETIME NULL COMMENT '京东侧修改时间',
`main_image_url` VARCHAR(1000) NULL COMMENT '自有桶主图 URL(京东原图域名不落库,AC-4)',
`detail_url` VARCHAR(1000) NULL COMMENT '京东详情页 URL(仅作溯源,不作展示源)',
`attr_json` LONGTEXT NULL COMMENT '京东属性全集(原始 key/label/value 三元组,服务端不裁剪,保真防丢键)',
`attr_count` INT NOT NULL DEFAULT 0 COMMENT '属性键数量(质量核查分母)',
`image_count` INT NOT NULL DEFAULT 0 COMMENT '已转存图片数',
`collect_batch_id` VARCHAR(40) NULL COMMENT '本次采集批次号(断点与差异核对用,不作历史快照)',
`synced_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '同步时刻(upsert 刷新,AC-5)',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_company_shop_code` (`company_id`, `shop_id`, `product_code`),
KEY `idx_company_synced` (`company_id`, `synced_at`),
KEY `idx_shop` (`shop_id`),
KEY `idx_code` (`product_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东店铺商品(覆盖最新,一行一商品,后管京东数据库只读页数据源)';
@@ -0,0 +1,53 @@
-- 迁移 V194:京东店铺商品图片表(v1.4 R1/AC-4,蓝图 §3.1)
-- =============================================================
-- 1. 变更目的:v1.4 商品图片转存链的登记底座。客户端按预签名直传独立桶
-- jd-products(Phase 4 落 JdProductImageIngestService),服务端只做
-- statObject 对撞后在本表登记(服务端零图片流量,蓝图 §3.3)。
--
-- 2. 形状口径:
-- - uk_product_image(product_id, image_type, sha256):同一商品同类型同内容
-- 只登记一行(AC-5 图片幂等:同商品同 sha256 的图片不重复上传,对象数增量=0)。
-- sha256 由客户端在采集时计算(Phase 3),服务端登记时对撞对象字节数,
-- 对不上进 mismatched 并留日志(不静默吞)。
-- - image_type 三档:MAIN=主图;ATTR=销售属性 1:1 主图(attr_name 记销售属性名,
-- 如「上衣/半裙/套装」);DETAIL=详情长图。sort_no 在 (product_id, image_type)
-- 内排序,供后管详情抽屉分区展示(AC-7)。
-- - object_key/url 均为自有桶形状:object_key=<key-prefix><company_id>/<task_id>/
-- <sha256>.<后缀>,url 为自有域名回读地址——京东原图域名不落库(AC-4)。
-- - object_key 不设 UNIQUE:同一图片对象理论上可被多次登记对撞命中同一行
-- (uk_product_image 已把同内容挡死),留普通列即可。
--
-- 3. 数据量与索引:单商品图片几十张、单店铺两万张量级;按 product_id 前缀查询
-- (详情抽屉一次拉全)与按公司核对(对账)。idx_product 支撑详情页按商品取全量;
-- idx_company 支撑公司维度盘点。
--
-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op。
--
-- 5. 验证 SQL:SHOW CREATE TABLE biz_jd_product_image;
-- -> 期望含 uk_product_image(product_id,image_type,sha256)、idx_product、idx_company
--
-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
-- DROP TABLE biz_jd_product_image;
-- DELETE FROM flyway_schema_history WHERE version='194';
-- (桶内对象不受影响;若 V193 已应用,先删本表再删 V193 的表。)
-- =============================================================
CREATE TABLE IF NOT EXISTS biz_jd_product_image (
`id` BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
`product_id` BIGINT NOT NULL COMMENT '商品行 id(biz_jd_product.id)',
`company_id` BIGINT NOT NULL COMMENT '物化归属分公司(与商品行一致,同步时显式落值)',
`image_type` VARCHAR(32) NOT NULL COMMENT '图片档(MAIN=主图/ATTR=销售属性图/DETAIL=详情长图)',
`attr_name` VARCHAR(128) NULL COMMENT '销售属性名(ATTR 档专用,如 上衣/半裙/套装)',
`sort_no` INT NOT NULL DEFAULT 0 COMMENT '同档内排序(详情抽屉分区展示顺序)',
`object_key` VARCHAR(500) NOT NULL COMMENT '自有桶对象 key(服务端生成,客户端不得自造,蓝图 §3.3)',
`url` VARCHAR(1000) NOT NULL COMMENT '自有域名回读 URL(京东原图域名不落库,AC-4)',
`byte_size` BIGINT NOT NULL DEFAULT 0 COMMENT '对象字节数(登记时与 statObject 对撞)',
`sha256` CHAR(64) NOT NULL COMMENT '内容摘要(幂等键一半,客户端采集时计算)',
`width` INT NULL COMMENT '图片宽(像素,可空)',
`height` INT NULL COMMENT '图片高(像素,可空)',
`created_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '登记时刻(首次登记后不再刷新)',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_product_image` (`product_id`, `image_type`, `sha256`),
KEY `idx_product` (`product_id`, `image_type`, `sort_no`),
KEY `idx_company` (`company_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东商品图片登记(预签名直传独立桶 jd-products,服务端零图片流量)';
@@ -0,0 +1,72 @@
-- 迁移 V195:京东商品自定义分组表(v1.4 R4/AC-8,蓝图 §3.1)
-- =============================================================
-- 1. 变更目的:京东数据库专属分组(用户拍板「可自由新建/改名/删除,商品可归入某分组,
-- 列表按分组筛选」)。分组按公司隔离,与后管既有分组体系分表——不挂在通用分组表上,
-- 因为京东数据库的分组语义只有「商品归组」一档,通用表的结构拖不动也读不清。
--
-- 2. 形状口径:
-- - uk_company_group_name(company_id, name):同公司内重名拒绝(AC-8),跨公司可同名。
-- - 商品挂组列 group_id 补在本迁移(与分组表同窗):ALTER 幂等写法——
-- information_schema 判存后才执行,重跑 no-op。删除分组不删商品,
-- 商品行 group_id 置 NULL(AC-8:删除分组 → 商品仍在、下拉消失)。
-- - 商品表与分组表无外键约束(本仓惯例,应用层维护引用完整性):
-- 删除分组由 Phase 5 服务先把该组商品 group_id 置 NULL 再删组行,两步一事务。
--
-- 3. 数据量与索引:分组行数=公司数×用户自建组数(十级),idx_company 支撑分组下拉
-- 按公司取全量;商品侧 idx_group 支撑按组筛选(AC-8:按组筛选只出该组商品)。
--
-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS + ALTER 走 information_schema 条件判断,
-- 重跑逐条 no-op。
--
-- 5. 验证 SQL:SHOW CREATE TABLE biz_jd_product_group; -> 期望含 uk_company_group_name
-- SHOW CREATE TABLE biz_jd_product; -> 期望多出 group_id 列与 idx_group
--
-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
-- ALTER TABLE biz_jd_product DROP INDEX idx_group;
-- ALTER TABLE biz_jd_product DROP COLUMN group_id;
-- DROP TABLE biz_jd_product_group;
-- DELETE FROM flyway_schema_history WHERE version='195';
-- =============================================================
CREATE TABLE IF NOT EXISTS biz_jd_product_group (
id BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
company_id BIGINT NOT NULL COMMENT '归属分公司(分组按公司隔离,R4)',
name VARCHAR(80) NOT NULL COMMENT '分组名(同公司内唯一,AC-8)',
sort_order INT NOT NULL DEFAULT 0 COMMENT '下拉展示顺序',
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时刻',
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '改名/排序刷新时刻',
PRIMARY KEY (id),
UNIQUE KEY uk_company_group_name (company_id, name),
KEY idx_company (company_id, sort_order)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东商品自定义分组(按公司隔离;删除分组不删商品)';
-- ---------- 商品表补挂组列(幂等:判存后才执行) ----------
SET @v195_has_group_id := (
SELECT COUNT(*) FROM information_schema.COLUMNS
WHERE TABLE_SCHEMA = DATABASE()
AND TABLE_NAME = 'biz_jd_product'
AND COLUMN_NAME = 'group_id'
);
SET @v195_group_ddl := IF(
@v195_has_group_id = 0,
'ALTER TABLE biz_jd_product ADD COLUMN group_id BIGINT NULL COMMENT ''自定义分组 id(biz_jd_product_group.id;删除分组时置 NULL,商品不删)'' AFTER image_count',
'SELECT 1'
);
PREPARE v195_stmt FROM @v195_group_ddl;
EXECUTE v195_stmt;
DEALLOCATE PREPARE v195_stmt;
SET @v195_has_group_idx := (
SELECT COUNT(*) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = DATABASE()
AND TABLE_NAME = 'biz_jd_product'
AND INDEX_NAME = 'idx_group'
);
SET @v195_idx_ddl := IF(
@v195_has_group_idx = 0,
'ALTER TABLE biz_jd_product ADD INDEX idx_group (group_id)',
'SELECT 1'
);
PREPARE v195_stmt FROM @v195_idx_ddl;
EXECUTE v195_stmt;
DEALLOCATE PREPARE v195_stmt;
@@ -0,0 +1,81 @@
-- 迁移 V196:后管菜单「京东数据库」(v1.4 R3/R5,蓝图 §3.1)
-- =============================================================
-- 1. 变更目的:v1.4 后管新页(jd-center/database)的数据入口。只新增 columns 菜单行,
-- 不插任何授权行(user→column 勾授表零写入)⇒ 默认仅 super_admin 可见可访问
-- (V190 惯例,AC-6/AC-9);其余角色由超管在权限页手工勾授后才可见。
-- key 不进 SUPER_ADMIN_ONLY_KEYS / ADMIN_ONLY_MENU_KEYS 强制名单,保持可授权弹性。
--
-- 2. 形状口径(V190 逐形,按 V175 确立的每公司模型落地):
-- - 菜单按每家公司一套树维护:company_id=1 为模板行,其余公司(含停用公司)逐家
-- 复制;子行 parent_id 必须认本公司 admin_group_data 组行,严禁跨公司认父。
-- 只插单行会让其余公司永远没有入口(V185 实录:columns.company_id NOT NULL
-- 无默认值,漏写直接 1364)。
-- - 挂「数据管理」组(admin_group_data,与 V190 外观专利页同组),排序 68
-- (V190 已占 67)。
-- - route_path='jd-center/database' 为前端 History 路由(V109 形状),
-- column_key='admin_jd_database' 为稳定权限标识,两者是 Phase 5 控制器菜单权限
-- 双匹配与前端路由注册的判据锚点(蓝图 §3.4)。
-- - 幂等守卫按 (company_id, column_key) 判存,同时防
-- uk_company_menu_type_route_path(company_id, menu_type, route_path) 撞行。
--
-- 3. 影响表与数据量:columns 新增 N 行(N=公司数),字典小表,毫秒级。
--
-- 4. 可重跑性:两段 INSERT 都带 NOT EXISTS 守卫,重跑逐条 no-op;自检闸门只读。
--
-- 5. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
-- DELETE FROM columns WHERE column_key='admin_jd_database';
-- DELETE FROM flyway_schema_history WHERE version='196';
-- (授权过的行随 columns 外键 ON DELETE CASCADE 一并清,无需单独处理。)
-- =============================================================
-- ---------- 1. 公司 1 模板行:京东数据库 ----------
INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`, `parent_id`, `company_id`)
SELECT '京东数据库', 'admin_jd_database', 'admin', 'jd-center/database', 68, grp.`id`, 1
FROM `columns` grp
WHERE grp.`company_id` = 1 AND grp.`column_key` = 'admin_group_data'
AND NOT EXISTS (
SELECT 1 FROM `columns`
WHERE `company_id` = 1
AND (`column_key` = 'admin_jd_database'
OR (`menu_type` = 'admin' AND `route_path` = 'jd-center/database'))
);
-- ---------- 2. 复制到其余公司(含停用公司),各自认本公司数据管理组行 ----------
INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`, `parent_id`, `company_id`)
SELECT '京东数据库', 'admin_jd_database', 'admin', 'jd-center/database', 68, grp.`id`, c.`id`
FROM `company` c
JOIN `columns` grp ON grp.`company_id` = c.`id` AND grp.`column_key` = 'admin_group_data'
WHERE c.`id` <> 1
AND NOT EXISTS (
SELECT 1 FROM `columns` col
WHERE col.`company_id` = c.`id`
AND (col.`column_key` = 'admin_jd_database'
OR (col.`menu_type` = 'admin' AND col.`route_path` = 'jd-center/database'))
);
-- ---------- 3. 自检闸门:不为 0 就抛 1048(列 must_be_zero NOT NULL) ----------
CREATE TEMPORARY TABLE IF NOT EXISTS `_v196_gate` (`must_be_zero` INT NOT NULL);
-- 闸门 1:每家公司恰好一行,且父必须是本公司数据管理组、排序 68
INSERT INTO `_v196_gate`
SELECT IF(COUNT(*) = 0, 0, NULL)
FROM (
SELECT c.`id`
FROM `company` c
LEFT JOIN `columns` col ON col.`company_id` = c.`id`
AND col.`column_key` = 'admin_jd_database'
LEFT JOIN `columns` grp ON grp.`id` = col.`parent_id`
AND grp.`company_id` = c.`id` AND grp.`column_key` = 'admin_group_data'
GROUP BY c.`id`
HAVING COUNT(col.`id`) <> 1 OR COUNT(grp.`id`) <> 1 OR MAX(col.`sort_order`) <> 68
) bad;
-- 闸门 2:该路由不允许被别的 column_key 占行(防 uk_company_menu_type_route_path 语义被顶)
INSERT INTO `_v196_gate`
SELECT IF(COUNT(*) = 0, 0, NULL)
FROM `columns` col
WHERE col.`menu_type` = 'admin'
AND col.`route_path` = 'jd-center/database'
AND col.`column_key` <> 'admin_jd_database';
DROP TEMPORARY TABLE `_v196_gate`;
@@ -0,0 +1,31 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.nanri.aiimage.modules.jd.mapper.JdProductImageMapper">
<!-- 京东商品图片登记(V194,v1.4):SQL 全部落 XML(铁律 1)。
登记链唯一写入口:按唯一键 uk_product_image(product_id,image_type,sha256) upsert——
同商品同内容只留一行(AC-5 图片幂等,重复登记刷新排序与属性名),不同内容全保留。 -->
<!-- 多值批量登记(Phase 4 落 JdProductImageIngestService):调用方先按
statObject 对撞「对象存在 + 字节数一致」再落行,对不上进 mismatched 不落本表。
刻意不写 product_id/image_type/sha256 的 UPDATE 段(唯一键三元组自身不随更新漂移);
created_at 列有 DB 默认值且 UPDATE 段不刷——登记时刻取首次登记。 -->
<insert id="upsertBatch">
INSERT INTO biz_jd_product_image
(product_id, company_id, image_type, attr_name, sort_no,
object_key, url, byte_size, sha256, width, height)
VALUES
<foreach collection="rows" item="row" separator=",">
(#{row.productId}, #{row.companyId}, #{row.imageType}, #{row.attrName}, #{row.sortNo},
#{row.objectKey}, #{row.url}, #{row.byteSize}, #{row.sha256}, #{row.width}, #{row.height})
</foreach>
ON DUPLICATE KEY UPDATE
company_id = VALUES(company_id),
attr_name = VALUES(attr_name),
sort_no = VALUES(sort_no),
object_key = VALUES(object_key),
url = VALUES(url),
byte_size = VALUES(byte_size),
width = VALUES(width),
height = VALUES(height)
</insert>
</mapper>
@@ -0,0 +1,55 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.nanri.aiimage.modules.jd.mapper.JdProductMapper">
<!-- 京东店铺商品(V193,v1.4):SQL 全部落 XML(铁律 1)。
覆盖最新唯一写入口:按唯一键 uk_company_shop_code(company_id,shop_id,product_code)
upsert——同一商品二次采集刷新那条(synced_at 刷新),不同商品全保留,行数不增
(R6/AC-5)。后管只读页的分页/筛选 SQL(Phase 5)落同份 XML。 -->
<!-- 同步链唯一写入口(Phase 2 落 JdResultIngestService):多值批量 upsert,
AppearancePatentCleanItemMapper#upsertBatch 同形。刻意不写 company_id/shop_id/
product_code 的 UPDATE 段(唯一键三元组自身不随更新漂移);
synced_at 在 UPDATE 段显式刷 CURRENT_TIMESTAMP(INSERT 路径走列默认值,
显式传 null 会覆盖掉默认值,故两段口径分开)。
⚠ upsert-only:回传读出 0 行=什么都不写,不得 delete-then-insert 覆盖式重写
(重投递载荷读不准时会抹掉存量,AppearancePatentCleanItemMapper 2026-11-11 实录)。 -->
<insert id="upsertBatch">
INSERT INTO biz_jd_product
(company_id, user_id, task_id, shop_id, shop_name, product_code, sku_id,
title, brand, brand_id, category_path, price_min, price_max, stock_total,
sale_status, list_tab, jd_created_at, jd_updated_at,
main_image_url, detail_url, attr_json, attr_count, image_count, collect_batch_id)
VALUES
<foreach collection="rows" item="row" separator=",">
(#{row.companyId}, #{row.userId}, #{row.taskId}, #{row.shopId}, #{row.shopName},
#{row.productCode}, #{row.skuId}, #{row.title}, #{row.brand}, #{row.brandId},
#{row.categoryPath}, #{row.priceMin}, #{row.priceMax}, #{row.stockTotal},
#{row.saleStatus}, #{row.listTab}, #{row.jdCreatedAt}, #{row.jdUpdatedAt},
#{row.mainImageUrl}, #{row.detailUrl}, #{row.attrJson}, #{row.attrCount},
#{row.imageCount}, #{row.collectBatchId})
</foreach>
ON DUPLICATE KEY UPDATE
user_id = VALUES(user_id),
task_id = VALUES(task_id),
shop_name = VALUES(shop_name),
sku_id = VALUES(sku_id),
title = VALUES(title),
brand = VALUES(brand),
brand_id = VALUES(brand_id),
category_path = VALUES(category_path),
price_min = VALUES(price_min),
price_max = VALUES(price_max),
stock_total = VALUES(stock_total),
sale_status = VALUES(sale_status),
list_tab = VALUES(list_tab),
jd_created_at = VALUES(jd_created_at),
jd_updated_at = VALUES(jd_updated_at),
main_image_url = VALUES(main_image_url),
detail_url = VALUES(detail_url),
attr_json = VALUES(attr_json),
attr_count = VALUES(attr_count),
image_count = VALUES(image_count),
collect_batch_id = VALUES(collect_batch_id),
synced_at = CURRENT_TIMESTAMP
</insert>
</mapper>
@@ -180,7 +180,13 @@ class MigratedSqlEquivalenceTest {
// 2026-11-11 卡片「删除」:1 条新写的 delete(谓词与按主管导出的 select
// 逐字同源)。delete 不计 select,故 XML_SELECT_TOTAL 保持 109
// (SqlLayeringConventionTest.XML_STATEMENT_TOTAL 同轮 155 → 156)。
"AppearancePatentCleanItemMapper#deleteSupervisorItems");
"AppearancePatentCleanItemMapper#deleteSupervisorItems",
// v1.4 京东数据库(2026-11-14,V193/V194 同窗):jd 模块首份起的两份 mapper,
// 各 1 条新写的 upsert(覆盖最新 uk_company_shop_code / 图片登记
// uk_product_image),注解时代没有原文可对撞,逐条点名留痕
//(SqlLayeringConventionTest.XML_STATEMENT_TOTAL 同轮 155 → 157)。
"JdProductMapper#upsertBatch",
"JdProductImageMapper#upsertBatch");
/** 账本 5 列:接口 / 方法 / @Select 种类 / 是否含常量插值 / 注解原文(Java 反转义后那条串)。 */
private static final int LEDGER_COLUMNS = 5;
@@ -108,7 +108,11 @@ class SqlLayeringConventionTest {
// 逐字同源)——delete 不计入该文件 XML_SELECT_TOTAL,只点名进 NOT_MIGRATED。
// 156 → 155:2026-11-11「ASIN 累计」(V191 同窗)把同步链的 deleteByResultId+insertBatch
// 两条合并成 1 条 upsertBatch(ON DUPLICATE KEY UPDATE,永不删除)——净减 1 条。
private static final int XML_STATEMENT_TOTAL = 155;
// 155 → 157:v1.4 京东数据库(V193/V194 同窗)jd 模块首份起的两份 XML 各 1 条写侧语句——
// JdProductMapper#upsertBatch(覆盖最新,uk_company_shop_code)+
// JdProductImageMapper#upsertBatch(图片登记,uk_product_image),全部新写,
// 同轮登记进 MigratedSqlEquivalenceTest.NOT_MIGRATED(该文件 XML_SELECT_TOTAL 不动:无 select)。
private static final int XML_STATEMENT_TOTAL = 157;
/**
* wrapper 里夹带函数级 SQL 的现状("这不是简单单表"的证据),文件名 → 条数:
@@ -43,7 +43,8 @@ class TaskModuleCoverageTest {
private static final Set<String> EXPECTED_MODULES = Set.of(
"PUBLISH", "DEDUPE", "SPLIT", "CONVERT", "DELETE_BRAND", "PRODUCT_RISK_RESOLVE",
"PRICE_TRACK", "SHOP_MATCH", "PATROL_DELETE", "QUERY_ASIN", "WITHDRAW",
"APPEARANCE_PATENT", "SIMILAR_ASIN", "COLLECT_DATA", "SHOP_DATA_CRAWL", "BRAND");
"APPEARANCE_PATENT", "SIMILAR_ASIN", "COLLECT_DATA", "SHOP_DATA_CRAWL", "BRAND",
"JD_SHOP_COLLECT");
@Test
void registryCoversEveryKnownModuleWithLabel() {
@@ -5,49 +5,48 @@ import com.nanri.aiimage.modules.task.model.CollectChannel;
import org.junit.jupiter.api.Test;
import java.util.List;
import java.util.Optional;
import java.util.Set;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* v1.4 Phase 0 黄金测试:钉住 Phase 1 即将有意识改动的两个存量接缝的<b>当前</b>形状。
* v1.4 Phase 1 黄金测试:钉住 Phase 1 有意识翻转后的两个存量接缝的<b>新</b>形状。
*
* <p>判据来源:蓝图 {@code docs/ITERATION_PLAN.md} §2.2 影响面清单——
* ① {@code TaskModuleRegistry} 新增 {@code JD_SHOP_COLLECT} 注册行;
* ① {@code TaskModuleRegistry} 新增 {@code JD_SHOP_COLLECT} 注册行(17 模块);
* ② {@code CollectChannel.LOCAL_DEFAULT_MODULES} 加入 {@code JD_SHOP_COLLECT}
* (不加 = 默认 ONLINE = 任务被推给无紫鸟的 Linux worker,铁律 19 同形坑)。
*
* <p>本类钉的是「改动前」的事实;Phase 1 落地时必须<b>同轮更新</b>这三条断言并激活
* {@code JdChannelDefaultTest},让接缝翻转换成显式评审点。所有既有模块清单、
* LOCAL 默认形状已由 {@code TaskModuleCoverageTest} / {@code CollectChannelTest} 各自钉住,此处不重复。
* <p>本类 Phase 0 时钉的是「改动前」的事实(16 模块 / 默认 ONLINE / 无凭据登记,
* git 历史可考);Phase 1 落地后同轮改写为翻转后的形状,与 {@code JdChannelDefaultTest}
* 一起成为接缝的常驻判据。所有既有模块清单、LOCAL 默认形状已由
* {@code TaskModuleCoverageTest} / {@code CollectChannelTest} 各自钉住,此处不重复。
*/
class JdCollectChannelGoldenTest {
/** 当前注册表恰好 16 个模块且无京东:Phase 1 新增 JD_SHOP_COLLECT 必须同轮更新本清单。 */
/** Phase 1 起注册表 17 个模块且含京东:再增删模块必须同轮更新本清单。 */
@Test
void 京东模块当前未注册进任务模块注册表() {
void 京东模块已注册进任务模块注册表() {
Set<String> types = TaskModuleRegistry.moduleTypes();
assertEquals(16, types.size(), "Phase 1 新增 JD_SHOP_COLLECT 时更新为 17");
assertEquals(17, types.size(), "再增删模块时同轮更新本数(Phase 1 定格 17)");
assertTrue(types.containsAll(List.of("APPEARANCE_PATENT", "SIMILAR_ASIN", "SHOP_DATA_CRAWL",
"COLLECT_DATA", "PRICE_TRACK", "PUBLISH", "BRAND")), "既有清单形状漂移,先查别人改动");
assertFalse(types.contains("JD_SHOP_COLLECT"), "当前未注册;出现即有人在未登记蓝图的情况下动了注册表");
"COLLECT_DATA", "PRICE_TRACK", "PUBLISH", "BRAND", "JD_SHOP_COLLECT")), "既有清单形状漂移,先查别人改动");
}
/** 当前京东模块按 V183 语义默认 ONLINE:Phase 1 改为 LOCAL 时同轮更新本断言。 */
/** 京东模块默认 LOCAL(紫鸟只在本机):谁把它翻回 ONLINE 这里先红。 */
@Test
void 京东模块当前默认通道为ONLINE() {
assertFalse(CollectChannel.defaultFor("JD_SHOP_COLLECT").isLocal(),
"当前未加入 LOCAL 默认;Phase 1 翻转后本断言同步改为 isLocal()");
void 京东模块默认通道为LOCAL() {
assertTrue(CollectChannel.defaultFor("JD_SHOP_COLLECT").isLocal(),
"京东采集只能在本机 Windows + 紫鸟窗口执行(铁律 19 同形),翻回 ONLINE = 任务永不执行");
}
/** 当前京东模块无提交凭据要求:注册表对未注册类型按构造抛参。Phase 1 登记后本断言同轮更新。 */
/** 京东模块建单不需要用户凭据(Optional.empty()=登记过的结论「不需要」,不是漏填)。 */
@Test
void 京东模块当前无提交凭据登记() {
assertThrows(IllegalArgumentException.class,
() -> TaskModuleRegistry.submitSecretModuleOf("JD_SHOP_COLLECT"),
"未注册类型应按构造拒绝;Phase 1 注册后改断言为 Optional.empty()");
void 京东模块无提交凭据登记() {
assertEquals(Optional.empty(), TaskModuleRegistry.submitSecretModuleOf("JD_SHOP_COLLECT"),
"京东采集缺代理是「直连降级」不是注定失败(铁律 27 边界 c),登记过=不需要;要改先拍板");
}
}
@@ -1,6 +1,5 @@
package com.nanri.aiimage.modules.jd;
import org.junit.jupiter.api.Disabled;
import org.junit.jupiter.api.Test;
import java.io.IOException;
@@ -20,7 +19,6 @@ import static org.junit.jupiter.api.Assertions.assertTrue;
* Phase 1 写下的那一份形状——覆盖最新唯一键、归属列显式 NOT NULL(铁律 30)、
* 图片独立桶不落默认桶(铁律 17:默认桶整桶 7 天 ILM)、菜单每公司一行且不插授权行(V190 惯例)。
*/
@Disabled("Pending Phase 1: V193~V196 迁移与 aiimage.jd.* 配置落地后激活")
class JdSchemaContractTest {
private static final Path DB_DIR = Path.of("src", "main", "resources", "db");
@@ -13,9 +13,10 @@ import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* V183 任务级采集通道的判据(建单写入、认领读取、脏值兜底)。
*
* <p>这里钉死的是「不登记=按模块默认」这条兼容线:外观专利/相似ASIN 读作本机,
* 其余模块读作线上,与 V183 之前 {@code AIIMAGE_COLLECT_LOCAL_*} 出厂值 {@code true} 等价。
* 一旦默认翻转,全部历史任务与未升级客户端的执行方会集体换边,所以逐条点名。
* <p>这里钉死的是「不登记=按模块默认」这条兼容线:外观专利/相似ASIN/京东店铺采集
* (v1.4 Phase 1 加入,紫鸟只在本机)读作本机,其余模块读作线上,与 V183 之前
* {@code AIIMAGE_COLLECT_LOCAL_*} 出厂值 {@code true} 等价。一旦默认翻转,
* 全部历史任务与未升级客户端的执行方会集体换边,所以逐条点名。
*/
class CollectChannelTest {
@@ -39,7 +40,8 @@ class CollectChannelTest {
@Test
void 本机默认模块清单与defaultFor同源() {
assertEquals(List.of(CollectRoutingProperties.MODULE_APPEARANCE_PATENT,
CollectRoutingProperties.MODULE_SIMILAR_ASIN), CollectChannel.localDefaultModuleTypes());
CollectRoutingProperties.MODULE_SIMILAR_ASIN,
CollectRoutingProperties.MODULE_JD_SHOP_COLLECT), CollectChannel.localDefaultModuleTypes());
for (String module : CollectChannel.localDefaultModuleTypes()) {
assertTrue(CollectChannel.defaultFor(module).isLocal(), module + " 在清单里却不被判本机");
}
@@ -1,6 +1,5 @@
package com.nanri.aiimage.modules.task.model;
import org.junit.jupiter.api.Disabled;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.assertEquals;
@@ -11,13 +10,12 @@ import static org.junit.jupiter.api.Assertions.assertEquals;
* <p>蓝图为 {@code docs/ITERATION_PLAN.md} §4 Phase 1;判据即铁律 19 同形——
* {@code CollectChannel.LOCAL_DEFAULT_MODULES} 不加 {@code JD_SHOP_COLLECT},
* 取页 SQL 就会把它当 ONLINE 派给 Linux worker,而紫鸟只在客户端本机 ⇒ 任务永不执行。
* 当前形状(默认 ONLINE)由黄金测试 {@code JdCollectChannelGoldenTest} 钉住;
* Phase 1 加入 LOCAL 默认后移除本 @Disabled 并跑绿。
* 已于 Phase 1(2026-11-14)激活跑绿;翻转前的 ONLINE 形状由黄金测试
* {@code JdCollectChannelGoldenTest} 改写前记录(git 历史可考)。
*/
class JdChannelDefaultTest {
@Test
@Disabled("Pending Phase 1: CollectChannel.LOCAL_DEFAULT_MODULES 加入 JD_SHOP_COLLECT 后激活")
void 京东采集默认通道必须是LOCAL() {
assertEquals(CollectChannel.LOCAL, CollectChannel.defaultFor("JD_SHOP_COLLECT"));
}