feat(jd): 京东数据库行级编辑与删除+人工编辑锁/删除忽略保护(V199,2026-11-15 用户口径「每条数据可以编辑/删除」)——主链:PUT /api/admin/jd-products/{id} 主字段全量提交即置 manual_locked=1(采集回传 upsert/purge 对锁定行跳过,XML 侧 AND manual_locked=0 铁律 20);attrGroups 只重建 attr_json 的 tabs 段保留其它顶层键(铁律 30),原文形状不识别拒绝;skus 按 (productId,skuId) 改价改库存缺失拒绝;deleteImageIds 先删桶(共用对象保留)计数按表实数刷;删除链成功后写 biz_jd_product_ignore 防重爬复活(幂等吞 DuplicateKey);采集回传 filterProtectedRows 跳过锁定/忽略行不登记子表。后管:列表 11 列操作列(编辑/删除,@click.stop 防冒泡)+ JdProductEditDrawer(主字段/属性键值行删/SKU 价格库存/图片标删,保存提示人工维护后果),updateJdProduct 带 company_id;company-tab-wiring SEND_POINTS 26→32(补详情/删除/分组/类目/删分组/编辑六口一函数一钉对平)。判据:JdProductUpdateServiceTest 8 例+SyncServiceTest 保护闸/绊线+DeleteServiceTest 忽略登记+mount 操作列防冒泡/编辑抽屉;后端整量 5,607 例、后管 vue-tsc+1903+113 全绿。同窗交织笔(另一路会话类目下拉已收尾,文件级无法拆分一并入库):selectProductCategories/GET /categories/JdProductCategoryVo 类目筛选下拉+MigratedSqlEquivalenceTest/SqlLayeringConventionTest 适配。图片上传/替换链路记 BACKLOG B109-01;RawExceptionMessageSinkGuard/CatchSilenceRatchet 随笔抬格逐处记名

This commit is contained in:
2026-11-15 18:38:27 +08:00
parent 7a117187b7
commit dea9891e19
30 changed files with 2449 additions and 517 deletions
@@ -0,0 +1,60 @@
-- 迁移 V199:京东商品人工编辑保护(行级「编辑/删除」,2026-11-15 用户口径)
-- =============================================================
-- 1. 变更目的:后管京东数据库列表加行级「编辑/删除」。采集回传的 upsertBatch
-- UPDATE 段是整字段覆盖、收尾覆盖清理(purgeSupersededRows)会整行删旧数据、
-- 重爬会把删掉的行当新行插回来——不加保护件,人工编辑/删除会在下一次采集时
-- 被京麦值盖回/复活。本迁移补两个保护件(Expand-and-Contract,只加不改):
--
-- - biz_jd_product.manual_locked:人工编辑锁。后管编辑保存置 1;采集链路
-- (upsert / 图片与 SKU 登记 / 覆盖清理)对锁定的行全部跳过——人工值优先。
-- 单向锁(本轮不做「解锁恢复采集覆盖」)。
-- - biz_jd_product_ignore:删除忽略表。后管删除成功后写入被删行的
-- (company_id, shop_id, product_code) 三元组,采集回传对命中行跳过落库,
-- 防止删除后的商品在重爬时复活。键形状与主表 uk_company_shop_code 同三元组。
--
-- 2. 形状口径:
-- - manual_locked TINYINT NOT NULL DEFAULT 0:存量行全部视为「未人工编辑」,
-- 采集链路行为不变(默认 0=不跳过)。
-- - ignore 表不设外键、不级联:主表行被覆盖清理级联删掉时忽略记录仍保留
-- (忽略语义本就独立于行存在)。
-- - created_at DEFAULT CURRENT_TIMESTAMP,与 V193 synced_at 同口径。
--
-- 3. 数据量:ignore 表随删除操作增长,量级=人工删除次数(远小于商品行数);
-- uk 三元组同时是采集侧过滤的查询键(按 company_id + 三元组 IN 查)。
--
-- 4. 可重跑性:ADD COLUMN 用「先判存在再加」的幂等形状(V195 补列先例);
-- CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op。
--
-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied):
-- SHOW COLUMNS FROM biz_jd_product LIKE 'manual_locked'; -> 期望 tinyint(1) NOT NULL DEFAULT '0'
-- SHOW CREATE TABLE biz_jd_product_ignore; -> 期望 uk_company_shop_code 唯一键
-- 应用侧:MigrationInventoryTest 自动覆盖新迁移;JdProductUpdateServiceTest /
-- JdResultIngestService 锁定跳过用例在 Phase 测试收口。
--
-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
-- DROP TABLE biz_jd_product_ignore;
-- ALTER TABLE biz_jd_product DROP COLUMN manual_locked;
-- DELETE FROM flyway_schema_history WHERE version='199';
-- =============================================================
-- 幂等补列(V195 先例:information_schema 先判存在)
SET @col_exists = (SELECT COUNT(*) FROM information_schema.COLUMNS
WHERE TABLE_SCHEMA = DATABASE()
AND TABLE_NAME = 'biz_jd_product'
AND COLUMN_NAME = 'manual_locked');
SET @sql = IF(@col_exists = 0,
'ALTER TABLE biz_jd_product ADD COLUMN manual_locked TINYINT NOT NULL DEFAULT 0 COMMENT ''人工编辑锁(后管编辑保存置 1;采集 upsert/登记/覆盖清理对锁定的行全部跳过)'' AFTER synced_at',
'SELECT ''manual_locked already exists, skip''');
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
CREATE TABLE IF NOT EXISTS biz_jd_product_ignore (
`id` BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
`company_id` BIGINT NOT NULL COMMENT '物化归属分公司(与主表 uk_company_shop_code 同口径)',
`shop_id` VARCHAR(128) NOT NULL COMMENT '京东店铺标识(与主表 shop_id 同形状)',
`product_code` VARCHAR(64) NOT NULL COMMENT '京东商品编码',
`created_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '写入时刻(后管删除成功时)',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_company_shop_code` (`company_id`, `shop_id`, `product_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='京东商品删除忽略表(后管删除成功即登记,采集回传对命中行跳过落库,防重爬复活)';
@@ -64,11 +64,14 @@
不是本任务写、且所属任务已不在在飞(PENDING/RUNNING 不删——同店铺并发两单先收尾的
单不得抹掉仍在跑的单的行,后收尾的单会在自己的收尾时清)的商品行。
shop_id 取本任务落过的行的 DISTINCT 值(shop_id 缺省回落 shop_name,与 buildRow 同源),
删除本体走 JdProductRowDeleteService#deleteRows(SKU/图片行级联),本查询只出 id。 -->
删除本体走 JdProductRowDeleteService#deleteRows(SKU/图片行级联),本查询只出 id。
V199:manual_locked=1 的行(后管人工编辑过)不进清理候选——人工值优先,重爬不得整行删掉。 -->
<select id="selectSupersededProductIds" resultType="long">
SELECT p.id
FROM biz_jd_product p
WHERE p.company_id = #{companyId}
<!-- V199 覆盖清理候选必须排除 manual_locked=1 的行(V199 人工编辑锁) -->
AND p.manual_locked = 0
AND p.shop_id IN (
SELECT DISTINCT shop_id FROM biz_jd_product
WHERE company_id = #{companyId} AND task_id = #{taskId}
@@ -81,14 +84,15 @@
</select>
<!-- 后管只读页(Phase 5,v1.4)过滤面:公司(物化列 eq)、店铺名/商品编码/标题关键词
(contains LIKE)、商品状态 eq、分组 eq、同步起止(datetime 闭区间)。
(contains LIKE)、类目 eq、分组 eq、同步起止(datetime 闭区间)。
sale_status 筛选随 2026-11-15 客户口径撤掉(前端筛选框下线;列本身与详情/回传链不动)。
全部走 #{} 占位符;offset/limit 必须是服务侧钳制后的值(铁律 15),mapper 不做第二次换算。 -->
<sql id="productConds">
<if test="companyId != null and companyId &gt; 0">AND p.company_id = #{companyId}</if>
<if test="shopName != null and shopName != ''">AND p.shop_name LIKE CONCAT('%', #{shopName}, '%')</if>
<if test="productCode != null and productCode != ''">AND p.product_code LIKE CONCAT('%', #{productCode}, '%')</if>
<if test="titleKeyword != null and titleKeyword != ''">AND p.title LIKE CONCAT('%', #{titleKeyword}, '%')</if>
<if test="saleStatus != null and saleStatus != ''">AND p.sale_status = #{saleStatus}</if>
<if test="category != null and category != ''">AND p.category_path = #{category}</if>
<if test="groupId != null and groupId &gt; 0">AND p.group_id = #{groupId}</if>
<if test="syncedFrom != null">AND p.synced_at &gt;= #{syncedFrom}</if>
<if test="syncedTo != null">AND p.synced_at &lt;= #{syncedTo}</if>
@@ -115,4 +119,16 @@
ORDER BY p.synced_at DESC, p.id DESC
LIMIT #{offset}, #{limit}
</select>
<!-- 类目筛选下拉数据源(2026-11-15 用户口径「京麦的类目也要同步过来后台」):本公司已落库行
的 DISTINCT category_path(=京麦末级类目名,契约 §2.3 E3)+ 行数。
空类目行不进下拉;companyId 为空(超管不选公司=全量)时跨公司去重。 -->
<select id="selectProductCategories" resultType="com.nanri.aiimage.modules.jd.model.vo.JdProductCategoryVo">
SELECT p.category_path AS name, COUNT(*) AS productCount
FROM biz_jd_product p
WHERE p.category_path IS NOT NULL AND p.category_path != ''
<if test="companyId != null">AND p.company_id = #{companyId}</if>
GROUP BY p.category_path
ORDER BY p.category_path
</select>
</mapper>