收口(去重库): 五处比对与写入口按 company_id 认公司,不再跨公司去重

读侧(列表/导出)早已按公司收窄,但"去重"这个动作本身一直查全平台:
selectExistingDataValues 是 `WHERE data_value IN (...)`,一个租户条件都没有。
库里唯一键自 V145 起就是 uk_company_data_value(company_id, data_value)——
同值本来就允许归两家,是代码没跟上库的口径。

五处一起收口(第 5 处由编译器抓出,正是 V145 头注释 §1.2 点名的采集侧):
去重执行 ASIN 过滤 / 导入预检"已存在就跳过" / 手工新增与编辑的重名校验
(文案改「本公司已存在该数据」)/ 删除导入(超管不选分组时原先一次删掉全平台
同名行)/ 采集结果过滤(CollectDataBatchQuery 直连 mapper,改为经 dedupe 侧推导)。

超管代导入的归属分裂一并修掉:前端两个导入接口把公司 tab 发下去——原先
group_id 落别家的组、company_id 落超管自己那一家。公司身份一律在请求线程上由
DataReadScope.readCompanyIdOrOwn 解析后传入(导入与去重跑在虚拟线程,那时已无
请求上下文),service 侧 requireScopedCompanyId 只判空不兜底。

删两条零调用者的跨公司通道(selectAllDataValues/listComparableValues 全表读、
deleteFromExcel 两个同步重载)。反转一条反向钉:comparableValueLookupRemainsGlobal
原显式断言"比对不参与公司收窄"(多公司一期的半套遗留),现为 IsScopedToOneCompany。

三把尺子随之改动,均带出处:tsv 基准行搬家(三个标量双双不动)、前端发送口分母
17→18 组/21→22 处、CatchSilenceRatchet 重抛下限 387→386(随死代码离开树那处)。

验证:后端全量 4198 例 0 失败/0 错误/7 跳过;前端 1778 例全绿;变异自证
6/6 全部 KILLED,注入文件按 sha256 还原并复跑绿。
现网只读探针:misfiled=0、同值跨家=0 ⇒ 存量比对结果不变,行为改变只在将来
A 家导入 B 家已有 ASIN 那一刻;两口径差额 1,452 行(0.26%)全属公司 1、
全源于 10-05 账号硬删。
This commit is contained in:
2026-10-09 17:57:37 +08:00
parent 974d0c77d0
commit 5ccf3c896f
22 changed files with 393 additions and 187 deletions
@@ -122,7 +122,8 @@ public class CollectDataBrandRecheckInjector {
continue;
}
// 复查去重/无效品牌:补测窗口内该 ASIN 可能已被其他任务采走(first-writer-wins)
CollectDataBatchQuery.FilterResult filtered = collectDataBatchQuery.filter(chunkClean);
CollectDataBatchQuery.FilterResult filtered =
collectDataBatchQuery.filter(chunkClean, task.getUserId());
if (filtered.kept().isEmpty()) {
log.info("[brand-recheck] 补测行全部被去重/无效过滤,不注入 taskId={} rows={}",
task.getId(), chunkClean.size());
@@ -830,7 +830,7 @@ public class CollectDataService {
public CollectDataSubmitResultVo submitResult(Long taskId, CollectDataSubmitResultRequest request) {
if (request == null) {
throw new BusinessException("request is empty");
throw new BusinessException("请求内容为空");
}
ensureRustfsPayloadStorageEnabled();
@@ -861,7 +861,9 @@ public class CollectDataService {
}
}
long prepareStartAt = System.currentTimeMillis();
CollectDataBatchQuery.FilterResult filtered = collectDataBatchQuery.filter(rowsForFiltering);
// 比对集认任务归属账号那一家:chunk 回传的过滤结果不该受别家导入过什么影响
CollectDataBatchQuery.FilterResult filtered =
collectDataBatchQuery.filter(rowsForFiltering, probe.getUserId());
CollectDataBrandBatchFilter.BrandBatchOutcome brandOutcome = brandBatchFilter.filter(filtered.kept());
log.info("[collect-data] 锁外预处理完成 taskId={} rows={} 去重后={} 品牌检测耗时={}ms",
taskId, rows.size(), filtered.kept().size(), System.currentTimeMillis() - prepareStartAt);
@@ -2,7 +2,7 @@ package com.nanri.aiimage.modules.collectdata.util;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.nanri.aiimage.modules.collectdata.model.vo.CollectDataResultRowVo;
import com.nanri.aiimage.modules.dedupe.mapper.DedupeTotalDataMapper;
import com.nanri.aiimage.modules.dedupe.service.DedupeTotalDataService;
import com.nanri.aiimage.modules.invalidasin.mapper.InvalidAsinDataMapper;
import com.nanri.aiimage.modules.invalidasin.model.entity.InvalidAsinDataEntity;
import lombok.RequiredArgsConstructor;
@@ -22,7 +22,7 @@ import java.util.regex.Pattern;
* 多次降为一次,并保证空输入、单元素与超限集合的确定行为。
*
* 过滤语义(与 CollectDataService 原 filterByExistingAsin 一致):
* - ASIN 存在于去重表 → dedupeFiltered(增加计数)
* - ASIN 存在于「本任务归属公司」的去重表 → dedupeFiltered(增加计数)
* - 品牌存在于无效品牌表 → invalidFiltered(增加计数)
* - 其余行保留
*/
@@ -32,21 +32,22 @@ public class CollectDataBatchQuery {
private static final Pattern WHITESPACE_PATTERN = Pattern.compile("\\s+");
private final DedupeTotalDataMapper dedupeTotalDataMapper;
private final DedupeTotalDataService dedupeTotalDataService;
private final InvalidAsinDataMapper invalidAsinDataMapper;
/**
* 批量集合查询过滤(兼容入口)。返回过滤后的行列表;入参为 null/空时返回空列表。
*/
public List<CollectDataResultRowVo> filterByExistingAsin(List<CollectDataResultRowVo> rows) {
return filter(rows).kept();
}
/**
* 批量集合查询过滤并统计两类命中:去重表命中的 ASIN 行数与无效品牌表
* 命中的品牌行数(null/空行不计数)。入参为 null/空时返回空结果。
*
* <p>去重表那一支的比对集只认 {@code ownerUserId} 那一家:「这个 ASIN 已经有人采过了」不能拿
* 别家导入的值来判。此前它查的是全平台,于是 B 公司导入的 ASIN 会让 A 公司的采集结果少行,而
* A 公司在自己后台根本看不到那行是谁的——V145 头注释 §1.2 点名的就是这一条。推导发生在
* {@code DedupeTotalDataService#findExistingComparableValuesForOwner},不在本文件:</p>
*
* <p>无效品牌那一支<b>不带</b>公司条件,是定案不是漏改:品牌库 biz_invalid_asin_data 已于
* 2026-10-06 退回全平台共享(V151 退唯一键),反向钉在 CompanyIdParamGoesThroughReadScopeTest。</p>
*/
public FilterResult filter(List<CollectDataResultRowVo> rows) {
public FilterResult filter(List<CollectDataResultRowVo> rows, Long ownerUserId) {
if (rows == null || rows.isEmpty()) {
return new FilterResult(List.of(), 0, 0);
}
@@ -55,7 +56,8 @@ public class CollectDataBatchQuery {
.map(CollectDataResultRowVo::getAsin).toList());
Set<String> dedupeValues = new HashSet<>();
if (!asins.isEmpty()) {
List<String> existing = dedupeTotalDataMapper.selectExistingDataValues(asins);
Set<String> existing = dedupeTotalDataService
.findExistingComparableValuesForOwner(asins, ownerUserId);
if (existing != null) {
for (String value : existing) {
String normalized = normalizeAsin(value);