c6f70a0b11
真机 34956 分片回传 500「服务器内部错误」,而 8 个商品其实已经 upsert 落库 (synced_at 有刷新)——卡在落库后的货号刷写这一句: item_num != CONVERT(id, CHAR) 两侧都是 IMPLICIT 可强制的字符串, CONVERT 取的是连接排序规则(库默认 utf8mb4_0900_ai_ci),item_num 列是建表时的 utf8mb4_unicode_ci ⇒ MySQL 报 1267 Illegal mix of collations for '<>',整批分片失败。 判据必须与排序规则无关:按字节比较(BINARY),不做任何 collation 协商。 真库对撞(A 机 java-server 账号,事务回滚):旧谓词 ERROR 1267 / 新谓词 touched=8, 回滚后货号仍为原值。 JdProductMapperSqlTest 用真 XMLMapperBuilder 渲染 BoundSql 钉形状:摘掉 BINARY 或改用 COLLATE 即红。
210 lines
13 KiB
XML
210 lines
13 KiB
XML
<?xml version="1.0" encoding="UTF-8"?>
|
||
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
|
||
<mapper namespace="com.nanri.aiimage.modules.jd.mapper.JdProductMapper">
|
||
<!-- 京东店铺商品(V193,v1.4):SQL 全部落 XML(铁律 1)。
|
||
覆盖最新唯一写入口:按唯一键 uk_company_shop_code(company_id,shop_id,product_code)
|
||
upsert——同一商品二次采集刷新那条(synced_at 刷新),不同商品全保留,行数不增
|
||
(R6/AC-5)。后管只读页的分页/筛选 SQL(Phase 5)落同份 XML。 -->
|
||
|
||
<!-- 同步链唯一写入口(Phase 2 落 JdResultIngestService):多值批量 upsert,
|
||
AppearancePatentCleanItemMapper#upsertBatch 同形。刻意不写 company_id/
|
||
product_code 的 UPDATE 段(唯一键三元组自身不随更新漂移);
|
||
synced_at 在 UPDATE 段显式刷 CURRENT_TIMESTAMP(INSERT 路径走列默认值,
|
||
显式传 null 会覆盖掉默认值,故两段口径分开)。
|
||
⚠ upsert-only:回传读出 0 行=什么都不写,不得 delete-then-insert 覆盖式重写
|
||
(重投递载荷读不准时会抹掉存量,AppearancePatentCleanItemMapper 2026-11-11 实录)。
|
||
⚠ UPDATE 段不写 image_count / main_image_url(P1-1):buildRow 恒 0/恒 null,
|
||
写进 UPDATE 会把登记链 refreshProductImageCount 刷的真实计数抹回 0
|
||
(后管「图片数」恒 0);image_count 只由登记侧按表实数刷,main_image_url
|
||
是 P2 死列(BACKLOG B98-01)不随更新。 -->
|
||
<insert id="upsertBatch">
|
||
INSERT INTO biz_jd_product
|
||
(company_id, user_id, task_id, shop_id, shop_name, product_code, sku_id, item_num, sku_count,
|
||
health_score, title, brand, brand_id, category_path, price_min, price_max, stock_total,
|
||
sale_status, list_tab, jd_created_at, jd_online_at, jd_updated_at,
|
||
main_image_url, detail_url, attr_json, attr_count, image_count, collect_batch_id)
|
||
VALUES
|
||
<foreach collection="rows" item="row" separator=",">
|
||
(#{row.companyId}, #{row.userId}, #{row.taskId}, #{row.shopId}, #{row.shopName},
|
||
#{row.productCode}, #{row.skuId}, #{row.itemNum}, #{row.skuCount},
|
||
#{row.healthScore}, #{row.title}, #{row.brand}, #{row.brandId},
|
||
#{row.categoryPath}, #{row.priceMin}, #{row.priceMax}, #{row.stockTotal},
|
||
#{row.saleStatus}, #{row.listTab}, #{row.jdCreatedAt}, #{row.jdOnlineAt}, #{row.jdUpdatedAt},
|
||
#{row.mainImageUrl}, #{row.detailUrl}, #{row.attrJson}, #{row.attrCount},
|
||
#{row.imageCount}, #{row.collectBatchId})
|
||
</foreach>
|
||
ON DUPLICATE KEY UPDATE
|
||
user_id = VALUES(user_id),
|
||
task_id = VALUES(task_id),
|
||
shop_name = VALUES(shop_name),
|
||
sku_id = VALUES(sku_id),
|
||
<!-- 货号不进 UPDATE 段(2026-11-15 用户口径「系统自行生成货号,不用之前的货号」):
|
||
货号=行号(reassignItemNums 在落库后刷写,全局唯一、从 1 递增,行不变货号就不变),
|
||
重爬命中已有行时不得把系统货号刷回京东原值。 -->
|
||
sku_count = VALUES(sku_count),
|
||
health_score = VALUES(health_score),
|
||
title = VALUES(title),
|
||
brand = VALUES(brand),
|
||
brand_id = VALUES(brand_id),
|
||
category_path = VALUES(category_path),
|
||
price_min = VALUES(price_min),
|
||
price_max = VALUES(price_max),
|
||
stock_total = VALUES(stock_total),
|
||
sale_status = VALUES(sale_status),
|
||
list_tab = VALUES(list_tab),
|
||
jd_created_at = VALUES(jd_created_at),
|
||
jd_online_at = VALUES(jd_online_at),
|
||
jd_updated_at = VALUES(jd_updated_at),
|
||
detail_url = VALUES(detail_url),
|
||
attr_json = VALUES(attr_json),
|
||
attr_count = VALUES(attr_count),
|
||
collect_batch_id = VALUES(collect_batch_id),
|
||
synced_at = CURRENT_TIMESTAMP
|
||
</insert>
|
||
|
||
<!-- 货号系统生成(2026-11-15 用户口径「我们系统自行生成货号 排序 不用之前的货号;
|
||
从 1 开始递增或者随机数(唯一)」):行号即货号——全局唯一、从 1 递增、天然零竞争,
|
||
行不变货号就不变(重爬命中已有行时货号稳定)。只在商品行落库后按本任务刷一次:
|
||
新插入行的 item_num 是京东原值(暂存),刷成行号;已等于行号的行不重复写(幂等);
|
||
manual_locked=1 的行不动(人工编辑过货号的人工值优先)。京东原货号仍在 attr_json
|
||
的「货号」属性行留档(京麦原文随属性区同步),主字段货号一律系统形状。 -->
|
||
<update id="reassignItemNums">
|
||
UPDATE biz_jd_product
|
||
SET item_num = CONVERT(id, CHAR)
|
||
WHERE company_id = #{companyId}
|
||
AND task_id = #{taskId}
|
||
AND manual_locked = 0
|
||
<!-- 2026-11-19 事故(真机 34956 分片回传 500):`item_num != CONVERT(id, CHAR)` 两边都是
|
||
IMPLICIT 可强制的字符串,`CONVERT(..., CHAR)` 取的是**连接排序规则**
|
||
(库默认 utf8mb4_0900_ai_ci),而 item_num 列是建表时的 utf8mb4_unicode_ci ⇒
|
||
MySQL 报 1267「Illegal mix of collations ... for operation '<>'」,整批分片 500。
|
||
行其实已经 upsert 落库(synced_at 有刷新),任务却只能判失败。
|
||
判据必须与排序规则无关:按字节比较(BINARY)不做任何 collation 协商。
|
||
⚠ 不要改回 != / <>,也不要指望给字面量加 COLLATE——库默认规则是环境相关值。 -->
|
||
AND (item_num IS NULL OR item_num = '' OR BINARY item_num != BINARY CONVERT(id, CHAR))
|
||
</update>
|
||
|
||
<!-- 覆盖清理候选行(重爬覆盖语义,2026-11-15):本任务成功收尾后,同一公司同一批店铺里
|
||
不是本任务写、且所属任务已不在在飞(PENDING/RUNNING 不删——同店铺并发两单先收尾的
|
||
单不得抹掉仍在跑的单的行,后收尾的单会在自己的收尾时清)的商品行。
|
||
shop_id 取本任务落过的行的 DISTINCT 值(shop_id 缺省回落 shop_name,与 buildRow 同源),
|
||
删除本体走 JdProductRowDeleteService#deleteRows(SKU/图片行级联),本查询只出 id。
|
||
V199:manual_locked=1 的行(后管人工编辑过)不进清理候选——人工值优先,重爬不得整行删掉。 -->
|
||
<select id="selectSupersededProductIds" resultType="long">
|
||
SELECT p.id
|
||
FROM biz_jd_product p
|
||
WHERE p.company_id = #{companyId}
|
||
<!-- V199 覆盖清理候选必须排除 manual_locked=1 的行(V199 人工编辑锁) -->
|
||
AND p.manual_locked = 0
|
||
AND p.shop_id IN (
|
||
SELECT DISTINCT shop_id FROM biz_jd_product
|
||
WHERE company_id = #{companyId} AND task_id = #{taskId}
|
||
)
|
||
AND p.task_id != #{taskId}
|
||
AND NOT EXISTS (
|
||
SELECT 1 FROM biz_file_task t
|
||
WHERE t.id = p.task_id AND t.status IN ('PENDING', 'RUNNING')
|
||
)
|
||
</select>
|
||
|
||
<!-- 后管只读页(Phase 5,v1.4)过滤面:商品编码/标题关键词(contains LIKE)、类目 eq、
|
||
自定义分类 eq(2026-11-16 起由类目面板「自定义分类」选中驱动,独立「分类」筛选框与
|
||
「分类状态」档随同日口径「分类不要了,全部整合到类目里」撤掉:ungrouped/grouped
|
||
两参数与谓词同窗删除)、同步起止(datetime 闭区间)。
|
||
group_id 过滤【V203 起按组隔离】:分类归属在 biz_jd_product_group_assign 的
|
||
(product_id, owner_group_id) 一行上,商品行自己的 group_id 列已停用(V201 清空),
|
||
故改 EXISTS 子查询;分类 id 自带归属组,不必再传 owner 维(行内谓词仍只这一处)。
|
||
公司维过滤随 2026-11-16「删除掉公司 tab,参考品牌数据库」撤掉(数据全平台公共;
|
||
行 company_id 列仍是同步来源标记,不构成可见性边界)。
|
||
sale_status 筛选随 2026-11-15 客户口径撤掉;店铺名过滤同日客户口径「店铺不需要」
|
||
同窗撤掉(前端筛选框与列下线;DB 列本身与详情/回传链不动)。
|
||
全部走 #{} 占位符;offset/limit 必须是服务侧钳制后的值(铁律 15),mapper 不做第二次换算。 -->
|
||
<sql id="productConds">
|
||
<if test="productCode != null and productCode != ''">AND p.product_code LIKE CONCAT('%', #{productCode}, '%')</if>
|
||
<if test="titleKeyword != null and titleKeyword != ''">AND p.title LIKE CONCAT('%', #{titleKeyword}, '%')</if>
|
||
<!-- 类目过滤(2026-11-18 一级/二级类目可选):单值=原 eq 形状;父级选中由前端展开为
|
||
子树类目名集合,这里 IN 下推(铁律 20:谓词必须在 SQL 侧,不得 Java 侧对已取页 filter)。
|
||
服务侧已逐项 trim/去空白/去重,空集合归 null 不进本分支。 -->
|
||
<if test="categories != null and categories.size() > 0">
|
||
AND p.category_path IN
|
||
<foreach collection="categories" item="cat" open="(" separator="," close=")">#{cat}</foreach>
|
||
</if>
|
||
<if test="groupId != null and groupId > 0">
|
||
AND EXISTS (
|
||
SELECT 1 FROM biz_jd_product_group_assign a
|
||
WHERE a.product_id = p.id AND a.category_id = #{groupId}
|
||
)
|
||
</if>
|
||
<!-- 分类状态快筛(2026-11-17 用户口径「加个已分类和未分类的筛选」):已分类=在
|
||
「当前数据权限分组」(owner_group_id)下有 category_id 非空的归属行——与读侧
|
||
fillGroupNames 把分类列填出来的条件同形;未分类=NOT EXISTS。谓词 SQL 侧下推
|
||
(铁律 20 同形,不得 Java 侧对已取页 filter)。owner_group_id 为 NULL(作用域
|
||
无可分组)时 EXISTS 恒假、NOT EXISTS 恒真——与列表「分类列全空」口径天然一致,
|
||
不需要服务侧特判。与 2026-11-16 撤掉的旧 grouped/ungrouped 不是一回事:那两档
|
||
读的是已停用的 biz_jd_product.group_id 列,本档读 V203 归属表。 -->
|
||
<if test="classified != null">
|
||
<choose>
|
||
<when test="classified == true">
|
||
AND EXISTS (
|
||
SELECT 1 FROM biz_jd_product_group_assign cs
|
||
WHERE cs.product_id = p.id AND cs.owner_group_id = #{ownerGroupId} AND cs.category_id IS NOT NULL
|
||
)
|
||
</when>
|
||
<otherwise>
|
||
AND NOT EXISTS (
|
||
SELECT 1 FROM biz_jd_product_group_assign cs
|
||
WHERE cs.product_id = p.id AND cs.owner_group_id = #{ownerGroupId} AND cs.category_id IS NOT NULL
|
||
)
|
||
</otherwise>
|
||
</choose>
|
||
</if>
|
||
<if test="syncedFrom != null">AND p.synced_at >= #{syncedFrom}</if>
|
||
<if test="syncedTo != null">AND p.synced_at <= #{syncedTo}</if>
|
||
</sql>
|
||
|
||
<!-- 只读页总数(与 selectProductPage 同一过滤面)。 -->
|
||
<select id="countProducts" resultType="long">
|
||
SELECT COUNT(*)
|
||
FROM biz_jd_product p
|
||
WHERE 1=1 <include refid="productConds"/>
|
||
</select>
|
||
|
||
<!-- 只读页分页查询(synced_at 倒序)。
|
||
group_name 不在此联表:读侧按「当前数据权限分组」批量取归属
|
||
(biz_jd_product_group_assign,V203)再补分类名(一次查询,无逐行查询)。
|
||
p.group_id 列已随 V203 停用(分类改按组归属),不再投影。 -->
|
||
<select id="selectProductPage" resultType="com.nanri.aiimage.modules.jd.model.entity.JdProductEntity">
|
||
SELECT p.id, p.company_id, p.user_id, p.task_id, p.shop_id, p.shop_name, p.product_code, p.sku_id,
|
||
p.item_num, p.sku_count, p.health_score,
|
||
p.title, p.brand, p.brand_id, p.category_path, p.price_min, p.price_max, p.stock_total,
|
||
p.sale_status, p.list_tab, p.jd_created_at, p.jd_online_at, p.jd_updated_at,
|
||
p.main_image_url, p.detail_url,
|
||
p.attr_json, p.attr_count, p.image_count, p.collect_batch_id, p.synced_at
|
||
FROM biz_jd_product p
|
||
WHERE 1=1 <include refid="productConds"/>
|
||
ORDER BY p.synced_at DESC, p.id DESC
|
||
LIMIT #{offset}, #{limit}
|
||
</select>
|
||
|
||
<!-- 类目筛选下拉数据源(2026-11-15 用户口径「京麦的类目也要同步过来后台」):已落库行
|
||
的 DISTINCT category_path(=京麦末级类目名,契约 §2.3 E3)+ 行数,全平台公共去重
|
||
(2026-11-16 起公司与后管两侧同口径,无公司维过滤)。空类目行不进下拉。 -->
|
||
<select id="selectProductCategories" resultType="com.nanri.aiimage.modules.jd.model.vo.JdProductCategoryVo">
|
||
SELECT p.category_path AS name, COUNT(*) AS productCount
|
||
FROM biz_jd_product p
|
||
WHERE p.category_path IS NOT NULL AND p.category_path != ''
|
||
GROUP BY p.category_path
|
||
ORDER BY p.category_path
|
||
</select>
|
||
|
||
<!-- 商品上架配额计数(JdPublishQuotaService):按 owner uid 集计 biz_jd_product 行数;
|
||
uid 集=管理员本人+名下员工(公司超管=全公司成员),由服务侧保证非空
|
||
(空集按 0 处理,不进 SQL)。user_id=任务 owner(V193 物化归属列)。 -->
|
||
<select id="countByUserIds" resultType="long">
|
||
SELECT COUNT(*)
|
||
FROM biz_jd_product
|
||
WHERE user_id IN
|
||
<foreach collection="userIds" item="uid" open="(" separator="," close=")">#{uid}</foreach>
|
||
</select>
|
||
</mapper>
|