fix(解析器): 表头行整行格式污染时列范围按「非空表头」收缩

用户 Excel 表头行被整行格式化(整行实例化成 16384 个空单元格)时,货源/外观专利/集采
三处解析器按最大单元格列号展开列范围,每行数据被填充 1.6 万个占位空值,142KB 的 xlsx
生成 2.3GB 载荷,建任务 500(2026-09-26 生产事故:货源没跑出来.xlsx)。

- SimilarAsinExcelParser / AppearancePatentExcelParser / CollectDataService:列范围改为
  只统计非空表头的最大列号,尾部空列不再生成占位列(中间空列占位行为保持不变)
- 新增三处回归测试 + 事故样本(原样 + 集采关键词变体)
This commit is contained in:
2026-09-26 20:43:52 +08:00
parent 17ee7d293d
commit b9ed336510
8 changed files with 132 additions and 5 deletions
@@ -11,7 +11,9 @@ import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.URL;
import java.nio.file.Files;
import java.util.Objects;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertNotNull;
@@ -196,4 +198,23 @@ class SimilarAsinExcelParserTest {
assertEquals(1, first.rows().size());
assertEquals("B01ABC", first.rows().get(0).asin());
}
@Test
void test_parse_ignores_trailing_blank_header_columns_from_row_formatting() throws Exception {
// 2026-09-26 生产事故样本:表头行被整行格式污染成 16384 个单元格(只有前 4 列有值),
// 列范围必须收缩到最后一个非空表头,否则每行 values 被填充 1.6 万个占位空值、载荷膨胀上千倍
URL url = getClass().getResource("/excel/header-row-format-pollution.xlsx");
assertNotNull(url, "测试样本缺失");
File file = new File(Objects.requireNonNull(url).toURI());
SimilarAsinExcelParser.ParsedSheet parsed = parser.parse(file);
assertEquals(4, parsed.headers().size(), "尾部空列不应扩展表头范围");
assertEquals(2075, parsed.rows().size(), "数据行数应与样本一致");
SimilarAsinExcelParser.SimilarAsinExcelRow first = parsed.rows().get(0);
assertEquals(4, first.values().size(), "行内值不应包含表头范围外的占位空列");
assertEquals("B0G2XX6GD5", first.asin());
assertEquals("英国", first.country());
assertEquals("89.34", first.price());
}
}