perf(临时载荷): extractTaskId 剥掉 local:i 实例段,删检不再全表扫

oversize 回落本地产生的 local:i/<instanceId>/<objectKey> 指针,第三段是
类目词而非数字,extractTaskId 必然解析失败 → 删除引用检查退化为
biz_task_chunk.payload_json(12 万行 JSON 列,无索引)全局全表扫描,
2026-10-21 现网实测把 MySQL 顶到单核 105%。剥掉 i/<instanceId> 两段后
按标准 objectKey 解析,引用检查带上 task_id 走 uk_task_scope_chunk
最左前缀;异形指针仍回退全局查询,保守口径不变。
This commit is contained in:
2026-10-21 20:22:15 +08:00
parent 9a9d90a7a1
commit 2adf3071a9
2 changed files with 47 additions and 2 deletions
@@ -361,6 +361,12 @@ public class TransientPayloadStorageService {
* {@code <category>/<moduleType>/<taskId>/<scopeHash>/<entryKey>.json},
* taskId 是第三段且必为数字;解析失败返回 null(调用方退回全局查询)。
*
* <p>local 指针的新格式是 {@code local:i/<instanceId>/<objectKey>},objectKey 前多了
* 两段实例归属——必须剥掉这两段再按标准 objectKey 解析,否则这种指针(oversize 回落
* 本地的常态产物,见 {@code fallback-to-local-on-oversize=true})每次删除引用检查都会
* 解析失败、退化成 {@code payload_json}(12 万行 JSON 列,无索引)上的全局全表扫描,
* 现网实测把 MySQL 顶到单核 100%。
*
* <p>公开给批量引用反查(TransientPayloadDeleteOrchestrator)按 task 分组使用。
*/
public Long extractTaskId(String pointer) {
@@ -372,11 +378,15 @@ public class TransientPayloadStorageService {
return null;
}
String[] segments = pointer.substring(colon + 1).split("/");
if (segments.length < 3) {
int start = 0;
if (segments.length >= 2 && LOCAL_INSTANCE_TAG.equals(segments[0] + "/")) {
start = 2;
}
if (segments.length - start < 3) {
return null;
}
try {
return Long.parseLong(segments[2].trim());
return Long.parseLong(segments[start + 2].trim());
} catch (NumberFormatException ex) {
return null;
}
@@ -95,6 +95,41 @@ class TransientPayloadStorageServiceTest {
verify(rustfs).uploadBytes(anyString(), any(byte[].class), anyBoolean());
}
/**
* extractTaskId 必须覆盖全部运行时指针形状(2026-10-21 现网 CPU 事故回归):
* 解析不出 taskId 的指针会让删除引用检查退化成 biz_task_chunk.payload_json
* (12 万行 JSON 列,无索引)上的全局全表扫描,MySQL 被顶到单核 100%。
*/
@Test
void extractTaskIdParsesEveryRuntimePointerShape() {
TransientPayloadStorageService service =
newService(mock(RustfsObjectStorageService.class), new TransientStorageProperties());
// rustfs 标准五段:<category>/<moduleType>/<taskId>/<scopeHash>/<entryKey>.json
assertEquals(31573L, service.extractTaskId(
"rustfs:task-chunk/similar_asin/31573/2248d397/chunk-0.json"));
// local 旧格式(无实例段)
assertEquals(5660L, service.extractTaskId(
"local:task-chunk/delete_brand/5660/3f6a4b82/chunk-0.json"));
// local 新格式带实例段:必须剥掉 i/<instanceId> 再按 objectKey 解析——
// 修复前这种指针(oversize 回落本地的常态产物)解析失败、每次删检全表扫描
assertEquals(1L, service.extractTaskId(
"local:i/test-instance/task-parsed/test/1/scope/latest.json"));
assertEquals(28459L, service.extractTaskId(
"local:i/server-110/task-chunk/appearance_patent/28459/hash/chunk-462.json"));
// 解析不出 taskId 的形状仍返回 null(调用方退回全局查询,行为不变)
assertNullPointer(service);
}
/** 非 task 段数字 / 段数不足 / 空值 → null。 */
private void assertNullPointer(TransientPayloadStorageService service) {
org.junit.jupiter.api.Assertions.assertNull(service.extractTaskId(
"rustfs:task-chunk/similar_asin/not-a-number/hash/chunk-0.json"));
org.junit.jupiter.api.Assertions.assertNull(service.extractTaskId("rustfs:only/two"));
org.junit.jupiter.api.Assertions.assertNull(service.extractTaskId("rustfs:"));
org.junit.jupiter.api.Assertions.assertNull(service.extractTaskId(null));
}
private TransientPayloadStorageService newService(RustfsObjectStorageService rustfs,
TransientStorageProperties transientProperties) {
StorageProperties storageProperties = new StorageProperties();