Files
crawler-plugin/backend-java/src/test/java/com/nanri/aiimage/ArchitectureBoundaryTest.java
T
huangzd1997 f4ee7e16f0 refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
  业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
  CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)

性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
  BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
  行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
  TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引

安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)

容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
  (该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
2026-09-14 06:46:27 +08:00

125 lines
5.9 KiB
Java
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package com.nanri.aiimage;
import com.tngtech.archunit.core.domain.JavaClasses;
import com.tngtech.archunit.core.importer.ClassFileImporter;
import com.tngtech.archunit.core.importer.ImportOption;
import org.junit.jupiter.api.Test;
import static com.tngtech.archunit.lang.syntax.ArchRuleDefinition.noClasses;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* task-210/211/212:模块边界 ArchUnit 规则(plan 13)。
*
* 已通过(零违规):任何 Controller 不得直接访问 Mapper 或外部 Client(211)。
* 债务防恶化(210/212,探针 2026-09-05):task 模块经 *ResultFileJobHandler 等依赖具体业务
* Service/Mapper 曾达 128 处、modules 切片存在 collectdata→dedupe→task 等环;Handler 已迁回
* 业务模块(212 大幅收敛)。整体模块切片无环依赖进一步 SPI 化(deletebrand 跨模块扫描/心跳等),
* 尚未达成,故本文件冻结"存量不新增"上限。
*/
class ArchitectureBoundaryTest {
/**
* task → 业务模块的依赖存量棘轮(只允许不增)。
* <p>
* 84 是 task-212(Handler 迁回业务模块)后的存量;此后 TaskHeartbeatService 的跨模块心跳、
* StaleTaskRepairService 的陈旧扫描、ModuleHistoryCleanupService 的历史清理持续增加模块接入
* (imagevideo 等),存量涨到 110 而未同步更新,导致棘轮长期失效(一直红灯=无人看)。
* 这里对齐到当前实测值以恢复告警能力。
* <p>
* <b>若你在 task 模块新增了对业务模块的依赖,本测试会失败——这是预期行为,请走 Handler SPI,
* 不要直接上调此常量。</b>若确需上调,请同时写明是哪些类、为什么无法 SPI 化。
* <p>
* 2026-09-14:上一轮把常量写成 110 但未跑测试核对,实际存量是 119(棘轮仍是红灯)。
* 本次以实测值 119 为准恢复告警能力;经 git diff 核验,当日的 task 模块改动
* (引用计数按 task 收敛、快照 upsert 缓存、心跳条件更新、锁续期重试等)未新增任何业务依赖。
*/
// 2026-09-14 心跳/陈旧修复/历史清理 SPI 化后实测 6(G5:task 只依赖 task.spi 下接口,
// 业务模块各自实现);继续按棘轮收敛,不允许回升
private static final int TASK_TO_BUSINESS_BASELINE = 6;
private static volatile JavaClasses cached;
private static JavaClasses app() {
if (cached == null) {
cached = new ClassFileImporter()
.withImportOption(ImportOption.Predefined.DO_NOT_INCLUDE_TESTS)
.importPackages("com.nanri.aiimage.modules");
}
return cached;
}
@Test
void controllersDoNotAccessMapper() {
noClasses().that().resideInAPackage("..controller..")
.should().dependOnClassesThat().resideInAPackage("..mapper..")
.because("Controller 只经 Service 访问 Mapper(单向分层)")
.check(app());
}
@Test
void controllersDoNotDependOnExternalClient() {
noClasses().that().resideInAPackage("..controller..")
.should().dependOnClassesThat().resideInAPackage("..client..")
.because("外部 Client 细节由 Service 层收敛,Controller 不应感知")
.check(app());
}
@Test
void boundaryRulesCoverAllControllers() {
long controllers = app().stream()
.filter(c -> c.getPackageName().endsWith(".controller")).count();
assertTrue(controllers >= 10, "应覆盖全部 Controller,实际 " + controllers);
}
@Test
void taskToBusinessDependencyDoesNotGrow() {
// 冻结存量:Handler 迁移后 task→业务 依赖已大幅收敛;不允许继续增长
int violations = countViolations(taskRule());
assertTrue(violations >= 1, "task→业务 依赖仍有存量(心跳/清理等待 SPI 化)");
assertTrue(violations <= TASK_TO_BUSINESS_BASELINE,
"task→业务 依赖不得超过基线 " + TASK_TO_BUSINESS_BASELINE + ",当前 " + violations
+ ";新增依赖走 Handler SPI 或先消除存量");
}
@Test
void ruleFailuresCarryClearReason() {
// 规则附 because 说明,失败信息可定位
assertTrue(taskRule().getDescription().contains("no classes that reside in a package"),
"规则描述应可读");
}
@Test
void spiHandlersAreTheSanctionedBridge() {
JavaClasses classes = app();
long handlers = classes.stream()
.filter(c -> c.getSimpleName().endsWith("ResultFileJobHandler"))
.count();
assertTrue(handlers >= 13, "Handler SPI 实现应在各业务模块注册,实际 " + handlers);
}
private static com.tngtech.archunit.lang.ArchRule taskRule() {
return noClasses().that().resideInAPackage("..modules.task..")
.should().dependOnClassesThat().resideInAPackage(
"..modules.(similarasin|appearancepatent|deletebrand|publish|brand|collectdata|"
+ "shopdatacrawl|imagevideo|shopmatch|productrisk|queryasin|withdraw|patroldelete)..")
.because("公共 task 模块不应依赖具体业务模块");
}
private static int countViolations(com.tngtech.archunit.lang.ArchRule rule) {
try {
rule.check(app());
return 0;
} catch (AssertionError e) {
String msg = e.getMessage();
long count = msg.lines()
.filter(l -> l.trim().startsWith("Constructor <")
|| l.trim().startsWith("Field <")
|| l.trim().startsWith("Method <")
|| l.trim().startsWith("Class <"))
.count();
return (int) count;
}
}
}