feat(jd): 京东店铺重爬覆盖旧数据——isEnd 落 SUCCESS 后清理本次没采到的旧行(SKU/图片级联,0 行不清 B94-01,在飞任务行不动)

This commit is contained in:
2026-11-15 11:15:44 +08:00
parent 9c8926068d
commit ab6e49b5e2
4 changed files with 167 additions and 3 deletions
@@ -45,6 +45,24 @@ public interface JdProductMapper extends BaseMapper<JdProductEntity> {
@Param("syncedFrom") LocalDateTime syncedFrom,
@Param("syncedTo") LocalDateTime syncedTo);
/**
* 后管只读页分页查询(synced_at 倒序)。
*
* <p>{@code offset}/{@code limit} 必须是服务侧钳制后的值——page 钳制防
* {@code (page-1)*page_size} 溢出(铁律 15),mapper 不做第二次换算,避免两处各算各的。</p>
*/
/**
* 覆盖清理候选行(重爬覆盖语义,2026-11-15):本任务成功收尾时,同一公司、同一批店铺
* (shop_id 取本任务落过的行)、<b>不是本任务写的</b>、且所属任务已不在在飞
* (非 PENDING/RUNNING)的商品行 id。删除走 {@code JdProductRowDeleteService#deleteRows}
* (SKU/图片行随行级联),本查询只出 id 不删。
*
* <p>排除在飞任务行:同店铺并发两单时,先收尾的单不得把仍在跑的单已落的行抹掉
* (后收尾的单会在自己的收尾时清);空结果(本次全采到)返回空表不删。</p>
*/
List<Long> selectSupersededProductIds(@Param("companyId") Long companyId,
@Param("taskId") Long taskId);
/**
* 后管只读页分页查询(synced_at 倒序)。
*
@@ -36,12 +36,16 @@ import java.util.Map;
* 京东采集分片回传落库(v1.4 Phase 2,蓝图 §3.2 回传契约)。
*
* <p>链路:客户端回传 chunk → 归属解析({@code task.user_id -> users.company_id},读不出跳过
* 不回填默认 1,铁律 30)→ 行 upsert(唯一出口 {@link JdProductMapper#upsertBatch},
* upsert-only 不 delete,B94-01)→ 图片清单登记(Phase 4:直传完成的 objectKey 逐图
* 不回填默认 1,铁律 30)→ 行 upsert(唯一出口 {@link JdProductMapper#upsertBatch})→
* 图片清单登记(Phase 4:直传完成的 objectKey 逐图
* statObject 对撞落 {@code biz_jd_product_image},唯一出口
* {@link JdProductImageIngestService#registerTaskImages})→
* scope 台账合并写(断点游标 + 批次号 + 累计行数)→
* {@code isEnd=true} 时任务落 SUCCESS。
* {@code isEnd=true} 时任务落 SUCCESS 并执行<b>覆盖清理</b>:同一店铺里本次没采到、
* 所属任务已不在在飞的旧行整行删掉(用户拍板 2026-11-15:重爬同一店铺直接覆盖旧数据)。
* 清理只在收尾时做且本次 {@code itemsReceived=0} 不清(B94-01 教训:载荷读不准的空回传
* 不得抹掉存量),在飞任务(PENDING/RUNNING)的行不动,删除本体走
* {@link JdProductRowDeleteService#deleteRows}(SKU/图片行级联)。</p>
*
* <p>回传 payload 键集契约({@code JdIngestPayloadContractTest} 绊线钉住):顶层
* {@code batchId / cursor / items / isEnd}(+ {@code error} 失败上报),行内
@@ -71,6 +75,7 @@ public class JdResultIngestService {
private final TaskProgressSnapshotService taskProgressSnapshotService;
private final JdProductImageIngestService jdProductImageIngestService;
private final JdProductSkuIngestService jdProductSkuIngestService;
private final JdProductRowDeleteService jdProductRowDeleteService;
private final ObjectMapper objectMapper;
public JdIngestChunkVo submitChunk(Long taskId, JdIngestChunkRequest request, boolean trustedErrorReporter) {
@@ -147,6 +152,7 @@ public class JdResultIngestService {
int itemsReceived = mergeScopeState(scope, request, request.getItems() == null ? 0 : request.getItems().size());
if (Boolean.TRUE.equals(request.getIsEnd())) {
finalizeSuccess(task, itemsReceived);
purgeSupersededRows(task, companyId, itemsReceived);
}
JdIngestChunkVo vo = new JdIngestChunkVo();
vo.setAccept(true);
@@ -213,6 +219,39 @@ public class JdResultIngestService {
}
}
/**
* 覆盖清理(用户拍板 2026-11-15:重爬同一店铺直接覆盖旧数据,采集完成时清)。
*
* <p>只清「本次没采到」的旧行:同公司、同店铺(shop_id 取本任务落过的行)、
* task_id 不是本任务、且所属任务已不在在飞的行(在飞任务如 PENDING/RUNNING 的行不动,
* 同店铺并发两单时先收尾的单不得抹掉仍在跑的单的行,后收尾的单会在自己的收尾时清)。
* 删除本体走 {@link JdProductRowDeleteService#deleteRows}(SKU/图片行级联,同一事务)。</p>
*
* <p>两条护栏:① 本次 {@code itemsReceived=0} 不清(B94-01 教训——载荷读不准的空回传
* 一旦清库=存量整库抹掉);② 清理失败不推翻采集结果(新数据已完整落库且任务已落
* SUCCESS),但必须留痕不静默:error 日志+scope 台账记 lastError。</p>
*/
private void purgeSupersededRows(FileTaskEntity task, Long companyId, int itemsReceived) {
if (itemsReceived <= 0) {
log.warn("[{}] 收尾回传 0 行,跳过覆盖清理(B94-01:不清旧) taskId={}", LOG_TAG, task.getId());
return;
}
try {
List<Long> staleIds = jdProductMapper.selectSupersededProductIds(companyId, task.getId());
if (staleIds.isEmpty()) {
log.info("[{}] 覆盖清理无候选行(本次已覆盖全部旧行) taskId={}", LOG_TAG, task.getId());
return;
}
int deleted = jdProductRowDeleteService.deleteRows(staleIds);
log.info("[{}] 覆盖清理完成:本次没采到的旧行已删 taskId={} candidates={} deleted={}",
LOG_TAG, task.getId(), staleIds.size(), deleted);
} catch (Exception ex) {
log.error("[{}] 覆盖清理失败(本次采集数据已完整落库,仅旧数据未清,可重爬一次补清) taskId={}",
LOG_TAG, task.getId(), ex);
recordLastError(task.getId(), "覆盖清理失败(本次采集数据已完整落库,仅旧数据未清,可重爬一次补清)");
}
}
// ---------- scope 台账:断点游标合并写(铁律 30 / B84-01) ----------
/**
@@ -60,6 +60,26 @@
synced_at = CURRENT_TIMESTAMP
</insert>
<!-- 覆盖清理候选行(重爬覆盖语义,2026-11-15):本任务成功收尾后,同一公司同一批店铺里
不是本任务写、且所属任务已不在在飞(PENDING/RUNNING 不删——同店铺并发两单先收尾的
单不得抹掉仍在跑的单的行,后收尾的单会在自己的收尾时清)的商品行。
shop_id 取本任务落过的行的 DISTINCT 值(shop_id 缺省回落 shop_name,与 buildRow 同源),
删除本体走 JdProductRowDeleteService#deleteRows(SKU/图片行级联),本查询只出 id。 -->
<select id="selectSupersededProductIds" resultType="long">
SELECT p.id
FROM biz_jd_product p
WHERE p.company_id = #{companyId}
AND p.shop_id IN (
SELECT DISTINCT shop_id FROM biz_jd_product
WHERE company_id = #{companyId} AND task_id = #{taskId}
)
AND p.task_id != #{taskId}
AND NOT EXISTS (
SELECT 1 FROM biz_file_task t
WHERE t.id = p.task_id AND t.status IN ('PENDING', 'RUNNING')
)
</select>
<!-- 后管只读页(Phase 5,v1.4)过滤面:公司(物化列 eq)、店铺名/商品编码/标题关键词
(contains LIKE)、商品状态 eq、分组 eq、同步起止(datetime 闭区间)。
全部走 #{} 占位符;offset/limit 必须是服务侧钳制后的值(铁律 15),mapper 不做第二次换算。 -->