Files
crawler-plugin/backend-java/src/main/resources/mapper/jd/JdProductMapper.xml
T
huangzd1997 c6f70a0b11 fix(jd-collect): 货号刷写的判重比较改 BINARY,消除真库 1267 排序规则混用
真机 34956 分片回传 500「服务器内部错误」,而 8 个商品其实已经 upsert 落库
(synced_at 有刷新)——卡在落库后的货号刷写这一句:
item_num != CONVERT(id, CHAR) 两侧都是 IMPLICIT 可强制的字符串,
CONVERT 取的是连接排序规则(库默认 utf8mb4_0900_ai_ci),item_num 列是建表时的
utf8mb4_unicode_ci ⇒ MySQL 报 1267 Illegal mix of collations for '<>',整批分片失败。

判据必须与排序规则无关:按字节比较(BINARY),不做任何 collation 协商。
真库对撞(A 机 java-server 账号,事务回滚):旧谓词 ERROR 1267 / 新谓词 touched=8,
回滚后货号仍为原值。

JdProductMapperSqlTest 用真 XMLMapperBuilder 渲染 BoundSql 钉形状:摘掉 BINARY
或改用 COLLATE 即红。
2026-11-19 22:42:01 +08:00

210 lines
13 KiB
XML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.nanri.aiimage.modules.jd.mapper.JdProductMapper">
<!-- 京东店铺商品(V193,v1.4):SQL 全部落 XML(铁律 1)。
覆盖最新唯一写入口:按唯一键 uk_company_shop_code(company_id,shop_id,product_code)
upsert——同一商品二次采集刷新那条(synced_at 刷新),不同商品全保留,行数不增
(R6/AC-5)。后管只读页的分页/筛选 SQL(Phase 5)落同份 XML。 -->
<!-- 同步链唯一写入口(Phase 2 落 JdResultIngestService):多值批量 upsert,
AppearancePatentCleanItemMapper#upsertBatch 同形。刻意不写 company_id/
product_code 的 UPDATE 段(唯一键三元组自身不随更新漂移);
synced_at 在 UPDATE 段显式刷 CURRENT_TIMESTAMP(INSERT 路径走列默认值,
显式传 null 会覆盖掉默认值,故两段口径分开)。
⚠ upsert-only:回传读出 0 行=什么都不写,不得 delete-then-insert 覆盖式重写
(重投递载荷读不准时会抹掉存量,AppearancePatentCleanItemMapper 2026-11-11 实录)。
⚠ UPDATE 段不写 image_count / main_image_url(P1-1):buildRow 恒 0/恒 null,
写进 UPDATE 会把登记链 refreshProductImageCount 刷的真实计数抹回 0
(后管「图片数」恒 0);image_count 只由登记侧按表实数刷,main_image_url
是 P2 死列(BACKLOG B98-01)不随更新。 -->
<insert id="upsertBatch">
INSERT INTO biz_jd_product
(company_id, user_id, task_id, shop_id, shop_name, product_code, sku_id, item_num, sku_count,
health_score, title, brand, brand_id, category_path, price_min, price_max, stock_total,
sale_status, list_tab, jd_created_at, jd_online_at, jd_updated_at,
main_image_url, detail_url, attr_json, attr_count, image_count, collect_batch_id)
VALUES
<foreach collection="rows" item="row" separator=",">
(#{row.companyId}, #{row.userId}, #{row.taskId}, #{row.shopId}, #{row.shopName},
#{row.productCode}, #{row.skuId}, #{row.itemNum}, #{row.skuCount},
#{row.healthScore}, #{row.title}, #{row.brand}, #{row.brandId},
#{row.categoryPath}, #{row.priceMin}, #{row.priceMax}, #{row.stockTotal},
#{row.saleStatus}, #{row.listTab}, #{row.jdCreatedAt}, #{row.jdOnlineAt}, #{row.jdUpdatedAt},
#{row.mainImageUrl}, #{row.detailUrl}, #{row.attrJson}, #{row.attrCount},
#{row.imageCount}, #{row.collectBatchId})
</foreach>
ON DUPLICATE KEY UPDATE
user_id = VALUES(user_id),
task_id = VALUES(task_id),
shop_name = VALUES(shop_name),
sku_id = VALUES(sku_id),
<!-- 货号不进 UPDATE 段(2026-11-15 用户口径「系统自行生成货号,不用之前的货号」):
货号=行号(reassignItemNums 在落库后刷写,全局唯一、从 1 递增,行不变货号就不变),
重爬命中已有行时不得把系统货号刷回京东原值。 -->
sku_count = VALUES(sku_count),
health_score = VALUES(health_score),
title = VALUES(title),
brand = VALUES(brand),
brand_id = VALUES(brand_id),
category_path = VALUES(category_path),
price_min = VALUES(price_min),
price_max = VALUES(price_max),
stock_total = VALUES(stock_total),
sale_status = VALUES(sale_status),
list_tab = VALUES(list_tab),
jd_created_at = VALUES(jd_created_at),
jd_online_at = VALUES(jd_online_at),
jd_updated_at = VALUES(jd_updated_at),
detail_url = VALUES(detail_url),
attr_json = VALUES(attr_json),
attr_count = VALUES(attr_count),
collect_batch_id = VALUES(collect_batch_id),
synced_at = CURRENT_TIMESTAMP
</insert>
<!-- 货号系统生成(2026-11-15 用户口径「我们系统自行生成货号 排序 不用之前的货号;
从 1 开始递增或者随机数(唯一)」):行号即货号——全局唯一、从 1 递增、天然零竞争,
行不变货号就不变(重爬命中已有行时货号稳定)。只在商品行落库后按本任务刷一次:
新插入行的 item_num 是京东原值(暂存),刷成行号;已等于行号的行不重复写(幂等);
manual_locked=1 的行不动(人工编辑过货号的人工值优先)。京东原货号仍在 attr_json
的「货号」属性行留档(京麦原文随属性区同步),主字段货号一律系统形状。 -->
<update id="reassignItemNums">
UPDATE biz_jd_product
SET item_num = CONVERT(id, CHAR)
WHERE company_id = #{companyId}
AND task_id = #{taskId}
AND manual_locked = 0
<!-- 2026-11-19 事故(真机 34956 分片回传 500):`item_num != CONVERT(id, CHAR)` 两边都是
IMPLICIT 可强制的字符串,`CONVERT(..., CHAR)` 取的是**连接排序规则**
(库默认 utf8mb4_0900_ai_ci),而 item_num 列是建表时的 utf8mb4_unicode_ci ⇒
MySQL 报 1267「Illegal mix of collations ... for operation '<>'」,整批分片 500。
行其实已经 upsert 落库(synced_at 有刷新),任务却只能判失败。
判据必须与排序规则无关:按字节比较(BINARY)不做任何 collation 协商。
⚠ 不要改回 != / <>,也不要指望给字面量加 COLLATE——库默认规则是环境相关值。 -->
AND (item_num IS NULL OR item_num = '' OR BINARY item_num != BINARY CONVERT(id, CHAR))
</update>
<!-- 覆盖清理候选行(重爬覆盖语义,2026-11-15):本任务成功收尾后,同一公司同一批店铺里
不是本任务写、且所属任务已不在在飞(PENDING/RUNNING 不删——同店铺并发两单先收尾的
单不得抹掉仍在跑的单的行,后收尾的单会在自己的收尾时清)的商品行。
shop_id 取本任务落过的行的 DISTINCT 值(shop_id 缺省回落 shop_name,与 buildRow 同源),
删除本体走 JdProductRowDeleteService#deleteRows(SKU/图片行级联),本查询只出 id。
V199:manual_locked=1 的行(后管人工编辑过)不进清理候选——人工值优先,重爬不得整行删掉。 -->
<select id="selectSupersededProductIds" resultType="long">
SELECT p.id
FROM biz_jd_product p
WHERE p.company_id = #{companyId}
<!-- V199 覆盖清理候选必须排除 manual_locked=1 的行(V199 人工编辑锁) -->
AND p.manual_locked = 0
AND p.shop_id IN (
SELECT DISTINCT shop_id FROM biz_jd_product
WHERE company_id = #{companyId} AND task_id = #{taskId}
)
AND p.task_id != #{taskId}
AND NOT EXISTS (
SELECT 1 FROM biz_file_task t
WHERE t.id = p.task_id AND t.status IN ('PENDING', 'RUNNING')
)
</select>
<!-- 后管只读页(Phase 5,v1.4)过滤面:商品编码/标题关键词(contains LIKE)、类目 eq、
自定义分类 eq(2026-11-16 起由类目面板「自定义分类」选中驱动,独立「分类」筛选框与
「分类状态」档随同日口径「分类不要了,全部整合到类目里」撤掉:ungrouped/grouped
两参数与谓词同窗删除)、同步起止(datetime 闭区间)。
group_id 过滤【V203 起按组隔离】:分类归属在 biz_jd_product_group_assign 的
(product_id, owner_group_id) 一行上,商品行自己的 group_id 列已停用(V201 清空),
故改 EXISTS 子查询;分类 id 自带归属组,不必再传 owner 维(行内谓词仍只这一处)。
公司维过滤随 2026-11-16「删除掉公司 tab,参考品牌数据库」撤掉(数据全平台公共;
行 company_id 列仍是同步来源标记,不构成可见性边界)。
sale_status 筛选随 2026-11-15 客户口径撤掉;店铺名过滤同日客户口径「店铺不需要」
同窗撤掉(前端筛选框与列下线;DB 列本身与详情/回传链不动)。
全部走 #{} 占位符;offset/limit 必须是服务侧钳制后的值(铁律 15),mapper 不做第二次换算。 -->
<sql id="productConds">
<if test="productCode != null and productCode != ''">AND p.product_code LIKE CONCAT('%', #{productCode}, '%')</if>
<if test="titleKeyword != null and titleKeyword != ''">AND p.title LIKE CONCAT('%', #{titleKeyword}, '%')</if>
<!-- 类目过滤(2026-11-18 一级/二级类目可选):单值=原 eq 形状;父级选中由前端展开为
子树类目名集合,这里 IN 下推(铁律 20:谓词必须在 SQL 侧,不得 Java 侧对已取页 filter)。
服务侧已逐项 trim/去空白/去重,空集合归 null 不进本分支。 -->
<if test="categories != null and categories.size() > 0">
AND p.category_path IN
<foreach collection="categories" item="cat" open="(" separator="," close=")">#{cat}</foreach>
</if>
<if test="groupId != null and groupId &gt; 0">
AND EXISTS (
SELECT 1 FROM biz_jd_product_group_assign a
WHERE a.product_id = p.id AND a.category_id = #{groupId}
)
</if>
<!-- 分类状态快筛(2026-11-17 用户口径「加个已分类和未分类的筛选」):已分类=在
「当前数据权限分组」(owner_group_id)下有 category_id 非空的归属行——与读侧
fillGroupNames 把分类列填出来的条件同形;未分类=NOT EXISTS。谓词 SQL 侧下推
(铁律 20 同形,不得 Java 侧对已取页 filter)。owner_group_id 为 NULL(作用域
无可分组)时 EXISTS 恒假、NOT EXISTS 恒真——与列表「分类列全空」口径天然一致,
不需要服务侧特判。与 2026-11-16 撤掉的旧 grouped/ungrouped 不是一回事:那两档
读的是已停用的 biz_jd_product.group_id 列,本档读 V203 归属表。 -->
<if test="classified != null">
<choose>
<when test="classified == true">
AND EXISTS (
SELECT 1 FROM biz_jd_product_group_assign cs
WHERE cs.product_id = p.id AND cs.owner_group_id = #{ownerGroupId} AND cs.category_id IS NOT NULL
)
</when>
<otherwise>
AND NOT EXISTS (
SELECT 1 FROM biz_jd_product_group_assign cs
WHERE cs.product_id = p.id AND cs.owner_group_id = #{ownerGroupId} AND cs.category_id IS NOT NULL
)
</otherwise>
</choose>
</if>
<if test="syncedFrom != null">AND p.synced_at &gt;= #{syncedFrom}</if>
<if test="syncedTo != null">AND p.synced_at &lt;= #{syncedTo}</if>
</sql>
<!-- 只读页总数(与 selectProductPage 同一过滤面)。 -->
<select id="countProducts" resultType="long">
SELECT COUNT(*)
FROM biz_jd_product p
WHERE 1=1 <include refid="productConds"/>
</select>
<!-- 只读页分页查询(synced_at 倒序)。
group_name 不在此联表:读侧按「当前数据权限分组」批量取归属
(biz_jd_product_group_assign,V203)再补分类名(一次查询,无逐行查询)。
p.group_id 列已随 V203 停用(分类改按组归属),不再投影。 -->
<select id="selectProductPage" resultType="com.nanri.aiimage.modules.jd.model.entity.JdProductEntity">
SELECT p.id, p.company_id, p.user_id, p.task_id, p.shop_id, p.shop_name, p.product_code, p.sku_id,
p.item_num, p.sku_count, p.health_score,
p.title, p.brand, p.brand_id, p.category_path, p.price_min, p.price_max, p.stock_total,
p.sale_status, p.list_tab, p.jd_created_at, p.jd_online_at, p.jd_updated_at,
p.main_image_url, p.detail_url,
p.attr_json, p.attr_count, p.image_count, p.collect_batch_id, p.synced_at
FROM biz_jd_product p
WHERE 1=1 <include refid="productConds"/>
ORDER BY p.synced_at DESC, p.id DESC
LIMIT #{offset}, #{limit}
</select>
<!-- 类目筛选下拉数据源(2026-11-15 用户口径「京麦的类目也要同步过来后台」):已落库行
的 DISTINCT category_path(=京麦末级类目名,契约 §2.3 E3)+ 行数,全平台公共去重
(2026-11-16 起公司与后管两侧同口径,无公司维过滤)。空类目行不进下拉。 -->
<select id="selectProductCategories" resultType="com.nanri.aiimage.modules.jd.model.vo.JdProductCategoryVo">
SELECT p.category_path AS name, COUNT(*) AS productCount
FROM biz_jd_product p
WHERE p.category_path IS NOT NULL AND p.category_path != ''
GROUP BY p.category_path
ORDER BY p.category_path
</select>
<!-- 商品上架配额计数(JdPublishQuotaService):按 owner uid 集计 biz_jd_product 行数;
uid 集=管理员本人+名下员工(公司超管=全公司成员),由服务侧保证非空
(空集按 0 处理,不进 SQL)。user_id=任务 owner(V193 物化归属列)。 -->
<select id="countByUserIds" resultType="long">
SELECT COUNT(*)
FROM biz_jd_product
WHERE user_id IN
<foreach collection="userIds" item="uid" open="(" separator="," close=")">#{uid}</foreach>
</select>
</mapper>