docs(运维): 货源两处分片双读已消除记录,剩余倍数在 flush 按组重读
This commit is contained in:
@@ -45,7 +45,15 @@ B 组是 DB / 对象存储的往返浪费(心跳整行读、删除路径的全
|
||||
每批的 `loadSubmittedChunks`(DB SELECT 全部分片)保留——它就是锚,不能省。
|
||||
读的次数从 `(批数+1)×分片数` 降到 `分片数 + 本批写过的片数`。
|
||||
改法 2(`rowKey→chunkKey` 索引去掉逐片线性试探)**未做**:那是内存里的 O(C) 扫描,不是这次的瓶颈。
|
||||
测试 `AppearancePatentChunkRowIndexTest` 3 例,逐条做过变异检验;**货源侧 `SimilarAsinPipelineSupport.java:183-187` 是同一形态、还没改**。
|
||||
测试 `AppearancePatentChunkRowIndexTest` 3 例,逐条做过变异检验。
|
||||
|
||||
**货源侧同形态已消除(10-02 13:0x,未发版)** —— `SimilarAsinPipelineSupport`:判空探测与建行图
|
||||
合成 `readSubmittedChunks` 的一次读取(新增 `SubmittedChunk` record,只在当次调用内传递,不做字段级
|
||||
缓存),`collectPendingLlmCandidates` 改用已读到的行、不再逐片 GET。每轮 merge 的 GET 从
|
||||
`2×分片数 + 写回数` 降到 `分片数 + 写回数`(3 片实测 7→4),`submitLlmForSubmittedChunk` 从 `2C` 降到 `C`;
|
||||
写回次数与判定结果一行未动。测试 `SimilarAsinTaskServiceChunkReadReuseTest` 3 例(其中一例专防"做成跨调用缓存"),逐条变异检验。
|
||||
**货源侧没跟着做外观那套跨批复用索引**:余下的倍数在 `flushLlmBufferedResults`——它按 chunkScopeHash 分组、
|
||||
每组调一次 `mergeLlmRowsIntoChunk`,每次仍读全部分片(G 组 = G×C 次),要省得先把索引提到 flush 这一层,另计。
|
||||
|
||||
### A2 外观专利:品牌校验合批 + 复用已有缓存 `[P0]`
|
||||
|
||||
|
||||
Reference in New Issue
Block a user