feat(phase-2): 京东商品上架后端地基(v1.5 蓝图 docs/ITERATION_PLAN.md §4 Phase 2)——V210 发布明细表 biz_jd_publish_item(号段实核:V207~V209 已按序占用)+JdPublishTaskService 建单/配额/归属/生命周期(建单即落快照行,AC-8 配额闸前置、AC-9 他人商品 403、铁律 27a 改价同源、铁律 19 LOCAL 显式写)+items 分批下发(SQL 侧下推只出 PENDING 行=AC-4 断点服务端半边,图片 jd-products 预签名 GET 新开 presignObjectDownload 出口)+JdPublishIngestService chunk 行级回传(isEnd 按行级真源汇总终态,铁律 31 分档判死口凭据化)+JdPublishStaleTaskService 判死(JdStaleTaskService 同形,60 分钟 aiimage.jd.publish.stale-minutes)+派发三件套(SPI jd-product-publish-run+白名单 JD_PUBLISH+建单响应 queuePayload,铁律 32)+JdPublishTaskHeartbeatSpi override ensureOwnership(B98-07 同形债预防:SPI 轻校验+服务层用户域归属闸,LOCAL 客户端心跳实例域不适用)+registry/EXPECTED_MODULES/清理清单/CollectChannel.LOCAL_DEFAULT_MODULES 四清单同步;激活 JdPublishContractPendingTest 7 支 Pending 契约全绿。判据:点名 12 类 87 例 BUILD SUCCESS(契约 8+建单 14+回传 11+判死 3+schema V210 格+coverage/golden/channel/pull-spi/migration 各格);mvn -o test-compile rc=0;可读棘轮 OssStorageService 1161→1176 行随本笔点名更新(presignObjectDownload +15);LockSkipWitness 分母 30→32、覆盖文件 12→13(JdPublishStaleTaskService 两处留痕,ops 仓同窗更新);快检后端 9.5/用户端 9.6 绿、唯一 fail 红格=后管 readSource 属他窗在飞 align-group-editor 用例 10→13(本笔零后管文件);真机带库整链(V210 实跑)随 Phase 5 发版窗口

This commit is contained in:
2026-11-18 00:31:53 +08:00
parent f4bde32f83
commit 24272a910c
31 changed files with 2435 additions and 26 deletions
@@ -43,7 +43,10 @@ AIIMAGE_JD_COLLECT_IMAGE_MAX_PER_PRODUCT=200
AIIMAGE_JD_COLLECT_STALE_MINUTES=60
# SKU 矩阵单商品上限(V198 详情面):真机一个商品 12 行,超限截断并 WARN。
AIIMAGE_JD_SKU_MAX_PER_PRODUCT=200
# 京东采集的客户端兜底拉取白名单(v1.4 P0-1):默认值已含 JD_SHOP_COLLECT(见 application.yml)。
# 京东商品上架(v1.5):对应 application.yml 的 aiimage.jd: publish 段。
AIIMAGE_JD_PUBLISH_STALE_MINUTES=60
AIIMAGE_JD_PUBLISH_ITEMS_BATCH_SIZE=20
# 京东采集/上架的客户端兜底拉取白名单(v1.4 P0-1 / v1.5):默认值已含 JD_SHOP_COLLECT、JD_PUBLISH(见 application.yml)。
# ⚠ 只有真的要覆盖整个白名单时才设 AIIMAGE_CLIENT_TASK_PULL_MODULE_TYPES——env 变量存在即生效,
# 设成空串会把白名单清空(兜底拉取对 JD 形同关闭)。打开 AIIMAGE_CLIENT_TASK_PULL_ENABLED
# 前先确认客户端版本带兜底拉取线程。
@@ -177,6 +177,11 @@ aiimage:
# SKU 矩阵单商品上限(V198 详情面):真机一个商品 12 行,超限截断并 WARN,
# 防脏回传把整批撑爆。显式写在这里,不许只活在代码默认值里。
sku-max-per-product: ${AIIMAGE_JD_SKU_MAX_PER_PRODUCT:200}
# 京东商品上架(v1.5):发布是逐商品页面自动化,节奏比采集慢——判死窗口独立可调
# (按发布时长重估,蓝图 §3);items 下发批大小钳制在服务侧(上限 100)。
publish:
stale-minutes: ${AIIMAGE_JD_PUBLISH_STALE_MINUTES:60}
items-batch-size: ${AIIMAGE_JD_PUBLISH_ITEMS_BATCH_SIZE:20}
# 设备日志对象存储:主机B 独立 MinIO(与业务 OSS 隔离,日志只保留 7 天)。
# endpoint 未配置时日志上报/管理接口不可用(宁可失败也不静默落到业务桶)。
# 桶的 7 天过期规则由运维用 mc 配置(与 retention-days 口径一致)。
@@ -300,7 +305,7 @@ aiimage:
enabled: ${AIIMAGE_MODULE_CLEANUP_ENABLED:true}
cron: ${AIIMAGE_MODULE_CLEANUP_CRON:0 0 0 * * *}
retention-days: ${AIIMAGE_MODULE_CLEANUP_RETENTION_DAYS:7}
module-types: ${AIIMAGE_MODULE_CLEANUP_MODULE_TYPES:DEDUPE,SPLIT,CONVERT,DELETE_BRAND,PRODUCT_RISK_RESOLVE,PRICE_TRACK,SHOP_MATCH,PATROL_DELETE,QUERY_ASIN,WITHDRAW,APPEARANCE_PATENT,SIMILAR_ASIN,COLLECT_DATA,JD_SHOP_COLLECT}
module-types: ${AIIMAGE_MODULE_CLEANUP_MODULE_TYPES:DEDUPE,SPLIT,CONVERT,DELETE_BRAND,PRODUCT_RISK_RESOLVE,PRICE_TRACK,SHOP_MATCH,PATROL_DELETE,QUERY_ASIN,WITHDRAW,APPEARANCE_PATENT,SIMILAR_ASIN,COLLECT_DATA,JD_SHOP_COLLECT,JD_PUBLISH}
# 以下为各业务表的保留期清理(2026-09-16 统一补齐):这些表此前只增不删,
# 或只有"读的时候顺手删一行"这类碰运气的清理。全部按天分批删除、带分布式锁单实例执行。
device-log:
@@ -405,7 +410,9 @@ aiimage:
# 2026-11-14 v1.4 加 JD_SHOP_COLLECT(P0-1):京东采集只能在本机客户端执行(紫鸟/京麦
# 登录态在桌面机),页面推送缺失时任务会永久停在 PENDING——兜底拉取是它的唯一出路;
# queuePayload 由 JdTaskPullSpiImpl 组装(type=jd-shop-collect-run,与客户端同值)。
module-types: ${AIIMAGE_CLIENT_TASK_PULL_MODULE_TYPES:SIMILAR_ASIN,COLLECT_DATA,JD_SHOP_COLLECT}
# 2026-11-17 v1.5 加 JD_PUBLISH:京麦登录态在用户桌面机 19899 Chrome profile,发布同样
# 只能由客户端执行;queuePayload 由 JdPublishTaskPullSpiImpl 组装(type=jd-product-publish-run)。
module-types: ${AIIMAGE_CLIENT_TASK_PULL_MODULE_TYPES:SIMILAR_ASIN,COLLECT_DATA,JD_SHOP_COLLECT,JD_PUBLISH}
min-pending-minutes: ${AIIMAGE_CLIENT_TASK_PULL_MIN_PENDING_MINUTES:5}
limit: ${AIIMAGE_CLIENT_TASK_PULL_LIMIT:5}
# 服务端内部认领(/api/internal/tasks/pull-pending,Linux 后台 worker 专用),
@@ -0,0 +1,47 @@
-- 迁移 V210:京东商品上架发布明细表 biz_jd_publish_item(v1.5 蓝图 docs/ITERATION_PLAN.md §3)。
-- =============================================================
-- 1. 号段协调(2026-11-17 当窗实核):V207=users_jd_publish_quota(5c7a310e)、
-- V208=drop_jd_category_manage_menu、V209=jd_app_menu 已按序占用(蓝图 Phase 0 登记的
-- V208 在飞件已转正),发布明细表取 V210;契约正则放宽到 V208~V229(JdPublishContractPendingTest)。
--
-- 2. 形状口径:每任务每商品一行(uk_task_product)——建单即按 biz_jd_product 快照落行
-- (商品库有 ageCleanup 清理语义,发布记录不随商品删除丢失溯源,蓝图 §3);行级状态机
-- PENDING → PUBLISHING → SUCCESS/FAILED 由客户端 chunk 回传逐行推进,服务端不预测
-- (行状态唯一写入口 = JdPublishIngestService,单客户端串行回传无并发竞争)。
-- 任务级行为复用 biz_file_task(module_type=JD_PUBLISH),本表只承载行级明细。
-- user_id 是任务 owner 投影(biz_file_task.user_id),company_id 物化归属分公司
-- (owner 用户的 users.company_id;读不出显式落 NULL 不回填默认,铁律 30)。
--
-- 3. 影响表与数据量:新表零存量行;行数 = 上架任务商品勾选数(单任务上限 500,建单口钳制)。
--
-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op(V193/V198 先例)。
-- 应用侧:MigrationInventoryTest 自动清点;JdSchemaContractTest#V210 钉形状。
--
-- 5. 回滚(patch,不当期执行):
-- DROP TABLE biz_jd_publish_item;
-- DELETE FROM flyway_schema_history WHERE version='210';
-- =============================================================
CREATE TABLE IF NOT EXISTS `biz_jd_publish_item` (
`id` BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
`task_id` BIGINT NOT NULL COMMENT 'biz_file_task.id(module_type=JD_PUBLISH)',
`company_id` BIGINT NULL COMMENT '物化归属分公司(owner 的 users.company_id;读不出落 NULL 不回填,铁律 30)',
`user_id` BIGINT NOT NULL COMMENT '任务 owner uid(biz_file_task.user_id 投影)',
`product_id` BIGINT NOT NULL COMMENT '商品行 id(biz_jd_product.id)',
`product_code` VARCHAR(64) NULL COMMENT '京东商品编码快照',
`shop_name` VARCHAR(255) NULL COMMENT '来源店铺名快照',
`title` VARCHAR(600) NULL COMMENT '商品标题快照(京麦标题上限 60 字,留余量)',
`category_path` VARCHAR(512) NULL COMMENT '京麦类目路径快照(A > B > C)',
`price_rule_json` JSON NULL COMMENT '改价快照 {"mode":"none|percent|fixed","value":n,"sourcePrice":x,"finalPrice":y}(finalPrice=主档价按规则折算)',
`stock_json` JSON NULL COMMENT '库存快照 {"total":n}',
`publish_status` VARCHAR(32) NOT NULL DEFAULT 'PENDING' COMMENT '行级状态机:PENDING/PUBLISHING/SUCCESS/FAILED',
`publish_error` VARCHAR(1024) NULL COMMENT '行级失败真实原因(客户端回传原文,R6 单行失败隔离)',
`jd_ware_id` VARCHAR(64) NULL COMMENT '京麦发布成功回执的商品 id(wareId,AC-3 真机核对锚点)',
`main_image_object_key` VARCHAR(512) NULL COMMENT '主图 objectKey 快照(biz_jd_product_image MAIN 档 sortNo 最小行)',
`created_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建单落行时刻',
`updated_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最近回传/复位时刻',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_task_product` (`task_id`, `product_id`),
KEY `idx_task_status` (`task_id`, `publish_status`),
KEY `idx_user_created` (`user_id`, `created_at`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东商品上架发布明细(v1.5,行级状态与快照,任务行在 biz_file_task)';
@@ -0,0 +1,31 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.nanri.aiimage.modules.jd.mapper.JdPublishItemMapper">
<!-- 京东商品上架发布明细(V210,v1.5):SQL 全部落 XML(铁律 1)。
行级状态推进(chunk 回传)走 MyBatis-Plus 条件更新(Mapper 层),本文件只承载
分批下发与状态聚合两条读侧具名 SQL。 -->
<!-- 明细分批下发页(断点友好,铁律 20 SQL 侧下推):过滤谓词必须在 SQL 段——
按 task_id 等值 + publish_status='PENDING' + id > cursor 下推后 LIMIT,
不得把已取页拉回 Java 再 filter(先 limit 后过滤会饿死另一批,铁律 20 同形)。
状态谓词同时是断点真源:已回传行(SUCCESS/FAILED/PUBLISHING)天然不进下一页,
客户端断点重连 cursor 归零也不会重发已发布商品(AC-4 服务端半边)。 -->
<select id="selectPublishableItems" resultType="com.nanri.aiimage.modules.jd.model.entity.JdPublishItemEntity">
SELECT *
FROM biz_jd_publish_item
WHERE task_id = #{taskId}
AND publish_status = 'PENDING'
AND id &gt; #{cursor}
ORDER BY id ASC
LIMIT #{limit}
</select>
<!-- 行级状态聚合(进度展示与 isEnd 终态汇总共用):按 publish_status 分组计数。
行数上界=该任务商品行数(建单口钳 500),无分页问题。 -->
<select id="countByPublishStatus" resultType="java.util.Map">
SELECT publish_status AS publishStatus, COUNT(*) AS cnt
FROM biz_jd_publish_item
WHERE task_id = #{taskId}
GROUP BY publish_status
</select>
</mapper>