feat(phase-1): 无侵权同步数据底座——V189 建表/V190 菜单(每公司V21形状)/实体与Mapper+XML,三本台账同轮记账
This commit is contained in:
+56
@@ -0,0 +1,56 @@
|
||||
package com.nanri.aiimage.modules.appearancepatent.mapper;
|
||||
|
||||
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
|
||||
import com.nanri.aiimage.modules.appearancepatent.model.entity.CleanItemEntity;
|
||||
import org.apache.ibatis.annotations.Mapper;
|
||||
import org.apache.ibatis.annotations.Param;
|
||||
|
||||
import java.time.LocalDate;
|
||||
import java.util.List;
|
||||
|
||||
/**
|
||||
* 外观专利无侵权数据(biz_appearance_patent_clean_item,V189)数据访问口。
|
||||
*
|
||||
* <p>出表成功点由 {@code AppearancePatentCleanSyncService}(Phase 2)按 result_id
|
||||
* 覆盖式落表({@link #deleteByResultId} + {@link #insertBatch});后管只读页
|
||||
* (Phase 3)走 {@link #countCleanItems}/{@link #selectCleanItemPage}。SQL 全部落
|
||||
* {@code mapper/appearancepatent/AppearancePatentCleanItemMapper.xml}(铁律 1)。</p>
|
||||
*/
|
||||
@Mapper
|
||||
public interface AppearancePatentCleanItemMapper extends BaseMapper<CleanItemEntity> {
|
||||
|
||||
/** 删除某次结果文件已同步的全部明细行(覆盖式重写第一步,AC-2)。 */
|
||||
int deleteByResultId(@Param("resultId") Long resultId);
|
||||
|
||||
/**
|
||||
* 多值批量插入明细行(调用方按 ≤500 行/批分批,蓝图 §3.3)。
|
||||
*
|
||||
* <p>刻意不写 synced_at:该列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null 会覆盖掉
|
||||
* 默认值(同 ShopDataCrawlItemMapper#insertBatch 的口径)。</p>
|
||||
*/
|
||||
int insertBatch(@Param("rows") List<CleanItemEntity> rows);
|
||||
|
||||
/** 只读页总数(与 {@link #selectCleanItemPage} 同一过滤面)。 */
|
||||
long countCleanItems(@Param("companyId") Long companyId,
|
||||
@Param("taskId") Long taskId,
|
||||
@Param("asin") String asin,
|
||||
@Param("country") String country,
|
||||
@Param("startDate") LocalDate startDate,
|
||||
@Param("endDate") LocalDate endDate);
|
||||
|
||||
/**
|
||||
* 只读页分页查询(synced_at 倒序)。
|
||||
*
|
||||
* <p>{@code offset}/{@code limit} 必须是服务侧钳制后的值——page 钳制防
|
||||
* {@code (page-1)*page_size} 溢出(铁律 15),默认值出处 {@code PageDefaults};
|
||||
* 钳制出口在 Phase 3 控制器/服务,mapper 不做第二次换算,避免两处各算各的。</p>
|
||||
*/
|
||||
List<CleanItemEntity> selectCleanItemPage(@Param("companyId") Long companyId,
|
||||
@Param("taskId") Long taskId,
|
||||
@Param("asin") String asin,
|
||||
@Param("country") String country,
|
||||
@Param("startDate") LocalDate startDate,
|
||||
@Param("endDate") LocalDate endDate,
|
||||
@Param("offset") long offset,
|
||||
@Param("limit") int limit);
|
||||
}
|
||||
+54
@@ -0,0 +1,54 @@
|
||||
package com.nanri.aiimage.modules.appearancepatent.model.entity;
|
||||
|
||||
import com.baomidou.mybatisplus.annotation.IdType;
|
||||
import com.baomidou.mybatisplus.annotation.TableId;
|
||||
import com.baomidou.mybatisplus.annotation.TableName;
|
||||
import lombok.Data;
|
||||
|
||||
import java.time.LocalDateTime;
|
||||
|
||||
/**
|
||||
* 外观专利无侵权数据明细行({@code biz_appearance_patent_clean_item},V189,v1.3 R1)。
|
||||
*
|
||||
* <p>出表成功点由同步服务按 {@code result_id} 覆盖式落表(Phase 2),后管只读页按
|
||||
* 分公司隔离分页查询(Phase 3)。归属两列物化:{@code userId}=任务 owner、
|
||||
* {@code companyId}=owner 用户的 {@code users.company_id},同步时显式落值、不回填默认
|
||||
* (铁律 30:读不出≠没有)。字段与 chunk payload 行的取值契约由 Phase 0 黄金测试
|
||||
* {@code AppearancePatentChunkRowContractTest} 钉住。</p>
|
||||
*/
|
||||
@Data
|
||||
@TableName("biz_appearance_patent_clean_item")
|
||||
public class CleanItemEntity {
|
||||
|
||||
@TableId(type = IdType.AUTO)
|
||||
private Long id;
|
||||
/** 来源结果文件行 id(biz_file_result.id)。 */
|
||||
private Long resultId;
|
||||
/** 来源任务 id(biz_file_task.id)。 */
|
||||
private Long taskId;
|
||||
/** 任务 owner 用户 id。 */
|
||||
private Long userId;
|
||||
/** 物化归属分公司(任务 owner 的 users.company_id)。 */
|
||||
private Long companyId;
|
||||
/** 结果内行号(uk_result_row 覆盖式重写的幂等键一半)。 */
|
||||
private Integer rowNo;
|
||||
private String asin;
|
||||
private String country;
|
||||
private String sku;
|
||||
private String brand;
|
||||
private String price;
|
||||
private String title;
|
||||
/** 商品主图/检测图 URL(payload 行 url 键)。 */
|
||||
private String imageUrl;
|
||||
/** 商品详情页 URL(payload 23 键契约暂无该键,V189 头注释第 2 条的落值口径)。 */
|
||||
private String itemUrl;
|
||||
/** 检测结论原值(严格口径下全为无侵权,存原值不转写)。 */
|
||||
private String conclusion;
|
||||
private String titleReason;
|
||||
private String appearanceReason;
|
||||
private String patentReason;
|
||||
/** 来源文件名(多源文件任务区分用)。 */
|
||||
private String sourceFilename;
|
||||
/** 同步落库时刻(DB 默认 CURRENT_TIMESTAMP,insert 不显式写,覆盖式重写随新行刷新)。 */
|
||||
private LocalDateTime syncedAt;
|
||||
}
|
||||
@@ -0,0 +1,64 @@
|
||||
-- 迁移 V189:外观专利无侵权数据后管新表(v1.3 R1,蓝图 §3.1)
|
||||
-- =============================================================
|
||||
-- 1. 变更目的:外观专利任务出表成功后,把「结论=无侵权」的行自动同步落后管新表,
|
||||
-- 后管按分公司隔离以分页列表呈现(展示形式参照「去重数据库」页)。同步点在服务端
|
||||
-- 出表成功处(Phase 2 落 AppearancePatentCleanSyncService),本迁移只立数据底座:
|
||||
-- 表、实体与 Mapper 同窗落地,读写同版发布(同 V188 的同窗纪律)。
|
||||
--
|
||||
-- 2. 形状口径:
|
||||
-- - 归属三列物化:user_id=任务 owner、company_id=owner 用户的 users.company_id——
|
||||
-- company_id 直接 NOT NULL 无 DEFAULT、同步时显式落值(V145/V154/V156 先例的终态
|
||||
-- 形状,不留历史欠账);owner 读不出 company_id 的任务跳过并留日志,不回填默认 1
|
||||
-- (铁律 30:读不出≠没有)。
|
||||
-- - uk_result_row(result_id, row_no):同一 result 覆盖式重写的幂等键(AC-2,
|
||||
-- delete-then-insert 同 ShopDataCrawlItemStoreService 模式)。
|
||||
-- - item_url 本版可空:Phase 0 黄金测试钉的 chunk payload 行 23 键里没有 itemUrl 键,
|
||||
-- 列按蓝图 §3.1 先立,落值口径 Phase 2 按「payload 有才落」执行,不伪造数据。
|
||||
-- - synced_at NOT NULL DEFAULT CURRENT_TIMESTAMP:行只由同步链写入,落库时刻即同步
|
||||
-- 时刻;重试/补检重出表按 result_id 覆盖式重写,本列随新行刷新。
|
||||
--
|
||||
-- 3. 数据量与索引:行数=外观专利任务的无侵权行量级(万级)。idx_company 支撑后管
|
||||
-- 公司 Tab 的 (company_id, synced_at) 排序翻页;idx_task/idx_asin 支撑任务号筛选与
|
||||
-- ASIN 前缀筛选(前缀形状同去重页,保证索引可用)。
|
||||
--
|
||||
-- 4. 可重跑性:CREATE TABLE IF NOT EXISTS——中途失败重跑整条 no-op(V21/V111 先例)。
|
||||
--
|
||||
-- 5. 验证 SQL(迁移后跑,不许只看启动日志的 Successfully applied):
|
||||
-- SHOW CREATE TABLE biz_appearance_patent_clean_item;
|
||||
-- -> 期望含 uk_result_row(result_id,row_no)、idx_company、idx_task、idx_asin 四键
|
||||
-- 应用侧:MigrationInventoryTest 自动覆盖新迁移;Phase 2/3 验收测试落行/查询。
|
||||
--
|
||||
-- 6. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
|
||||
-- 触发场景是"这张表不该建"。表是 v1.3 新增、无存量依赖,回滚即:
|
||||
-- DROP TABLE biz_appearance_patent_clean_item;
|
||||
-- DELETE FROM flyway_schema_history WHERE version='189';
|
||||
-- (若 V190 已应用且菜单已勾授给角色,先撤菜单行:见 V190 头注释的回滚段。)
|
||||
-- =============================================================
|
||||
|
||||
CREATE TABLE IF NOT EXISTS biz_appearance_patent_clean_item (
|
||||
id BIGINT NOT NULL AUTO_INCREMENT COMMENT '主键',
|
||||
result_id BIGINT NOT NULL COMMENT '来源结果文件行 id(biz_file_result.id)',
|
||||
task_id BIGINT NOT NULL COMMENT '来源任务 id(biz_file_task.id)',
|
||||
user_id BIGINT NOT NULL COMMENT '任务 owner 用户 id',
|
||||
company_id BIGINT NOT NULL COMMENT '物化归属分公司(任务 owner 的 users.company_id,同步时显式落值)',
|
||||
row_no INT NOT NULL COMMENT '结果内行号(uk_result_row 覆盖式重写的幂等键一半)',
|
||||
asin VARCHAR(64) NOT NULL DEFAULT '' COMMENT '亚马逊 ASIN',
|
||||
country VARCHAR(32) NOT NULL DEFAULT '' COMMENT '站点或国家名(源 Excel 国家列原值)',
|
||||
sku VARCHAR(128) NOT NULL DEFAULT '' COMMENT '商品 SKU',
|
||||
brand VARCHAR(128) NULL COMMENT '商品品牌',
|
||||
price VARCHAR(64) NULL COMMENT '商品价格(原样字符串)',
|
||||
title VARCHAR(512) NULL COMMENT '商品标题',
|
||||
image_url VARCHAR(1024) NULL COMMENT '商品主图/检测图 URL(payload 行 url 键)',
|
||||
item_url VARCHAR(1024) NULL COMMENT '商品详情页 URL(payload 23 键契约暂无该键,落值口径见头注释第 2 条)',
|
||||
conclusion VARCHAR(255) NOT NULL COMMENT '检测结论原值(严格口径下全为无侵权,存原值不转写)',
|
||||
title_reason TEXT NULL COMMENT '标题维度原因(LLM 原文,可空)',
|
||||
appearance_reason TEXT NULL COMMENT '外观维度原因(LLM 原文,可空)',
|
||||
patent_reason TEXT NULL COMMENT '专利维度原因(LLM 原文,可空)',
|
||||
source_filename VARCHAR(255) NULL COMMENT '来源文件名(多源文件任务区分用,可空)',
|
||||
synced_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '同步落库时刻(覆盖式重写随新行刷新)',
|
||||
PRIMARY KEY (id),
|
||||
UNIQUE KEY uk_result_row (result_id, row_no),
|
||||
KEY idx_company (company_id, synced_at),
|
||||
KEY idx_task (task_id),
|
||||
KEY idx_asin (asin)
|
||||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='外观专利无侵权数据(出表成功自动同步,后管只读)';
|
||||
@@ -0,0 +1,82 @@
|
||||
-- 迁移 V190:后管菜单「外观专利无侵权数据」(v1.3 R4,蓝图 §3.1)
|
||||
-- =============================================================
|
||||
-- 1. 变更目的:v1.3 新后管只读页(patent-center/clean-items)的数据入口。只新增
|
||||
-- columns 菜单行,不插任何 user_column_permission 授权行 ⇒ 默认仅 super_admin
|
||||
-- 可见可访问(无授权记录的角色链看不到、接口菜单双匹配也不命中即拒,AC-6);
|
||||
-- 其余角色由超管在权限页手工勾授后才可见。key 不进 SUPER_ADMIN_ONLY_KEYS /
|
||||
-- ADMIN_ONLY_MENU_KEYS 强制名单,保持可授权弹性(蓝图 §3.1)。
|
||||
--
|
||||
-- 2. 形状口径(V21+V103+V109 的合并终态形状,按 V175 确立的每公司模型落地):
|
||||
-- - 菜单按每家公司一套树维护:company_id=1 为模板行,其余公司(含停用公司)逐家
|
||||
-- 复制;子行 parent_id 必须认本公司 admin_group_data 组行,严禁跨公司认父。
|
||||
-- 只插单行会让其余公司永远没有入口(V185 实录:columns.company_id NOT NULL
|
||||
-- 无默认值,漏写直接 1364)。
|
||||
-- - 挂「数据管理」组(admin_group_data,与展示参照件「去重数据库」页同组),
|
||||
-- 排序 67(该组既有页面最大 66)。
|
||||
-- - route_path='patent-center/clean-items' 为前端 History 路由(V109 形状),
|
||||
-- column_key='admin_appearance_patent_clean_items' 为稳定权限标识,两者是
|
||||
-- Phase 3 控制器菜单权限双匹配与前端路由注册的判据锚点。
|
||||
-- - 幂等守卫按 (company_id, column_key) 判存,同时防
|
||||
-- uk_company_menu_type_route_path(company_id, menu_type, route_path) 撞行。
|
||||
--
|
||||
-- 3. 影响表与数据量:columns 新增 N 行(N=公司数),字典小表,毫秒级。
|
||||
--
|
||||
-- 4. 可重跑性:两段 INSERT 都带 NOT EXISTS 守卫,重跑逐条 no-op;自检闸门只读。
|
||||
--
|
||||
-- 5. 回滚(人工补丁,写成注释以免落在 Flyway 扫描路径里被当迁移执行):
|
||||
-- DELETE FROM columns WHERE column_key='admin_appearance_patent_clean_items';
|
||||
-- DELETE FROM flyway_schema_history WHERE version='190';
|
||||
-- (授权过的行随 columns 外键 ON DELETE CASCADE 一并清,无需单独处理。)
|
||||
-- =============================================================
|
||||
|
||||
-- ---------- 1. 公司 1 模板行:外观专利无侵权数据 ----------
|
||||
INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`, `parent_id`, `company_id`)
|
||||
SELECT '外观专利无侵权数据', 'admin_appearance_patent_clean_items', 'admin', 'patent-center/clean-items', 67, grp.`id`, 1
|
||||
FROM `columns` grp
|
||||
WHERE grp.`company_id` = 1 AND grp.`column_key` = 'admin_group_data'
|
||||
AND NOT EXISTS (
|
||||
SELECT 1 FROM `columns`
|
||||
WHERE `company_id` = 1
|
||||
AND (`column_key` = 'admin_appearance_patent_clean_items'
|
||||
OR (`menu_type` = 'admin' AND `route_path` = 'patent-center/clean-items'))
|
||||
);
|
||||
|
||||
-- ---------- 2. 复制到其余公司(含停用公司),各自认本公司数据管理组行 ----------
|
||||
INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`, `parent_id`, `company_id`)
|
||||
SELECT '外观专利无侵权数据', 'admin_appearance_patent_clean_items', 'admin', 'patent-center/clean-items', 67, grp.`id`, c.`id`
|
||||
FROM `company` c
|
||||
JOIN `columns` grp ON grp.`company_id` = c.`id` AND grp.`column_key` = 'admin_group_data'
|
||||
WHERE c.`id` <> 1
|
||||
AND NOT EXISTS (
|
||||
SELECT 1 FROM `columns` col
|
||||
WHERE col.`company_id` = c.`id`
|
||||
AND (col.`column_key` = 'admin_appearance_patent_clean_items'
|
||||
OR (col.`menu_type` = 'admin' AND col.`route_path` = 'patent-center/clean-items'))
|
||||
);
|
||||
|
||||
-- ---------- 3. 自检闸门:不为 0 就抛 1048(列 must_be_zero NOT NULL) ----------
|
||||
CREATE TEMPORARY TABLE IF NOT EXISTS `_v190_gate` (`must_be_zero` INT NOT NULL);
|
||||
|
||||
-- 闸门 1:每家公司恰好一行,且父必须是本公司数据管理组、排序 67
|
||||
INSERT INTO `_v190_gate`
|
||||
SELECT IF(COUNT(*) = 0, 0, NULL)
|
||||
FROM (
|
||||
SELECT c.`id`
|
||||
FROM `company` c
|
||||
LEFT JOIN `columns` col ON col.`company_id` = c.`id`
|
||||
AND col.`column_key` = 'admin_appearance_patent_clean_items'
|
||||
LEFT JOIN `columns` grp ON grp.`id` = col.`parent_id`
|
||||
AND grp.`company_id` = c.`id` AND grp.`column_key` = 'admin_group_data'
|
||||
GROUP BY c.`id`
|
||||
HAVING COUNT(col.`id`) <> 1 OR COUNT(grp.`id`) <> 1 OR MAX(col.`sort_order`) <> 67
|
||||
) bad;
|
||||
|
||||
-- 闸门 2:该路由不允许被别的 column_key 占行(防 uk_company_menu_type_route_path 语义被顶)
|
||||
INSERT INTO `_v190_gate`
|
||||
SELECT IF(COUNT(*) = 0, 0, NULL)
|
||||
FROM `columns` col
|
||||
WHERE col.`menu_type` = 'admin'
|
||||
AND col.`route_path` = 'patent-center/clean-items'
|
||||
AND col.`column_key` <> 'admin_appearance_patent_clean_items';
|
||||
|
||||
DROP TEMPORARY TABLE `_v190_gate`;
|
||||
+52
@@ -0,0 +1,52 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd">
|
||||
<mapper namespace="com.nanri.aiimage.modules.appearancepatent.mapper.AppearancePatentCleanItemMapper">
|
||||
<!-- 外观专利无侵权数据(V189,v1.3):SQL 全部落 XML(铁律 1)。
|
||||
只读页过滤面:公司(物化列 eq)、任务号、ASIN 前缀(同去重页形状,保证 idx_asin 可用)、
|
||||
国家、同步起止日期;全部走 #{} 占位符。offset/limit 必须是服务侧钳制后的值(铁律 15)。 -->
|
||||
|
||||
<sql id="cleanItemConds">
|
||||
<if test="companyId != null">AND company_id = #{companyId}</if>
|
||||
<if test="taskId != null">AND task_id = #{taskId}</if>
|
||||
<if test="asin != null and asin != ''">AND asin LIKE CONCAT(#{asin}, '%')</if>
|
||||
<if test="country != null and country != ''">AND country = #{country}</if>
|
||||
<if test="startDate != null">AND synced_at >= #{startDate}</if>
|
||||
<if test="endDate != null">AND synced_at < DATE_ADD(#{endDate}, INTERVAL 1 DAY)</if>
|
||||
</sql>
|
||||
|
||||
<delete id="deleteByResultId">
|
||||
DELETE FROM biz_appearance_patent_clean_item
|
||||
WHERE result_id = #{resultId}
|
||||
</delete>
|
||||
|
||||
<!-- 刻意不写 synced_at:该列有 DB 默认值 CURRENT_TIMESTAMP,显式传 null 会覆盖掉默认值。 -->
|
||||
<insert id="insertBatch">
|
||||
INSERT INTO biz_appearance_patent_clean_item
|
||||
(result_id, task_id, user_id, company_id, row_no,
|
||||
asin, country, sku, brand, price, title, image_url, item_url, conclusion,
|
||||
title_reason, appearance_reason, patent_reason, source_filename)
|
||||
VALUES
|
||||
<foreach collection="rows" item="row" separator=",">
|
||||
(#{row.resultId}, #{row.taskId}, #{row.userId}, #{row.companyId}, #{row.rowNo},
|
||||
#{row.asin}, #{row.country}, #{row.sku}, #{row.brand}, #{row.price}, #{row.title},
|
||||
#{row.imageUrl}, #{row.itemUrl}, #{row.conclusion},
|
||||
#{row.titleReason}, #{row.appearanceReason}, #{row.patentReason}, #{row.sourceFilename})
|
||||
</foreach>
|
||||
</insert>
|
||||
|
||||
<select id="countCleanItems" resultType="long">
|
||||
SELECT COUNT(*)
|
||||
FROM biz_appearance_patent_clean_item
|
||||
WHERE 1=1 <include refid="cleanItemConds"/>
|
||||
</select>
|
||||
|
||||
<select id="selectCleanItemPage" resultType="com.nanri.aiimage.modules.appearancepatent.model.entity.CleanItemEntity">
|
||||
SELECT id, result_id, task_id, user_id, company_id, row_no,
|
||||
asin, country, sku, brand, price, title, image_url, item_url, conclusion,
|
||||
title_reason, appearance_reason, patent_reason, source_filename, synced_at
|
||||
FROM biz_appearance_patent_clean_item
|
||||
WHERE 1=1 <include refid="cleanItemConds"/>
|
||||
ORDER BY synced_at DESC, id DESC
|
||||
LIMIT #{offset}, #{limit}
|
||||
</select>
|
||||
</mapper>
|
||||
Reference in New Issue
Block a user