f4ee7e16f0
模块边界(G5 / G7) - 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何 业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册 - 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、 CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块 - G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo - 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测) - 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写) 性能与容量(C5/C6/C7/D13) - C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、 BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader; 行数上限改为迭代中生效 - C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country - C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存 - D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与 TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志 - V123 删除 biz_file_result 两个被复合索引覆盖的单列索引 安全(A3/A4/A7 + 守卫名单) - A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外) - A3 上传接口加危险扩展名黑名单(可配置) - AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层) 容量(明细表保留期) - 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理 (该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
125 lines
5.9 KiB
Java
125 lines
5.9 KiB
Java
package com.nanri.aiimage;
|
||
|
||
import com.tngtech.archunit.core.domain.JavaClasses;
|
||
import com.tngtech.archunit.core.importer.ClassFileImporter;
|
||
import com.tngtech.archunit.core.importer.ImportOption;
|
||
import org.junit.jupiter.api.Test;
|
||
|
||
import static com.tngtech.archunit.lang.syntax.ArchRuleDefinition.noClasses;
|
||
import static org.junit.jupiter.api.Assertions.assertTrue;
|
||
|
||
/**
|
||
* task-210/211/212:模块边界 ArchUnit 规则(plan 13)。
|
||
*
|
||
* 已通过(零违规):任何 Controller 不得直接访问 Mapper 或外部 Client(211)。
|
||
* 债务防恶化(210/212,探针 2026-09-05):task 模块经 *ResultFileJobHandler 等依赖具体业务
|
||
* Service/Mapper 曾达 128 处、modules 切片存在 collectdata→dedupe→task 等环;Handler 已迁回
|
||
* 业务模块(212 大幅收敛)。整体模块切片无环依赖进一步 SPI 化(deletebrand 跨模块扫描/心跳等),
|
||
* 尚未达成,故本文件冻结"存量不新增"上限。
|
||
*/
|
||
class ArchitectureBoundaryTest {
|
||
|
||
/**
|
||
* task → 业务模块的依赖存量棘轮(只允许不增)。
|
||
* <p>
|
||
* 84 是 task-212(Handler 迁回业务模块)后的存量;此后 TaskHeartbeatService 的跨模块心跳、
|
||
* StaleTaskRepairService 的陈旧扫描、ModuleHistoryCleanupService 的历史清理持续增加模块接入
|
||
* (imagevideo 等),存量涨到 110 而未同步更新,导致棘轮长期失效(一直红灯=无人看)。
|
||
* 这里对齐到当前实测值以恢复告警能力。
|
||
* <p>
|
||
* <b>若你在 task 模块新增了对业务模块的依赖,本测试会失败——这是预期行为,请走 Handler SPI,
|
||
* 不要直接上调此常量。</b>若确需上调,请同时写明是哪些类、为什么无法 SPI 化。
|
||
* <p>
|
||
* 2026-09-14:上一轮把常量写成 110 但未跑测试核对,实际存量是 119(棘轮仍是红灯)。
|
||
* 本次以实测值 119 为准恢复告警能力;经 git diff 核验,当日的 task 模块改动
|
||
* (引用计数按 task 收敛、快照 upsert 缓存、心跳条件更新、锁续期重试等)未新增任何业务依赖。
|
||
*/
|
||
// 2026-09-14 心跳/陈旧修复/历史清理 SPI 化后实测 6(G5:task 只依赖 task.spi 下接口,
|
||
// 业务模块各自实现);继续按棘轮收敛,不允许回升
|
||
private static final int TASK_TO_BUSINESS_BASELINE = 6;
|
||
|
||
private static volatile JavaClasses cached;
|
||
|
||
private static JavaClasses app() {
|
||
if (cached == null) {
|
||
cached = new ClassFileImporter()
|
||
.withImportOption(ImportOption.Predefined.DO_NOT_INCLUDE_TESTS)
|
||
.importPackages("com.nanri.aiimage.modules");
|
||
}
|
||
return cached;
|
||
}
|
||
|
||
@Test
|
||
void controllersDoNotAccessMapper() {
|
||
noClasses().that().resideInAPackage("..controller..")
|
||
.should().dependOnClassesThat().resideInAPackage("..mapper..")
|
||
.because("Controller 只经 Service 访问 Mapper(单向分层)")
|
||
.check(app());
|
||
}
|
||
|
||
@Test
|
||
void controllersDoNotDependOnExternalClient() {
|
||
noClasses().that().resideInAPackage("..controller..")
|
||
.should().dependOnClassesThat().resideInAPackage("..client..")
|
||
.because("外部 Client 细节由 Service 层收敛,Controller 不应感知")
|
||
.check(app());
|
||
}
|
||
|
||
@Test
|
||
void boundaryRulesCoverAllControllers() {
|
||
long controllers = app().stream()
|
||
.filter(c -> c.getPackageName().endsWith(".controller")).count();
|
||
assertTrue(controllers >= 10, "应覆盖全部 Controller,实际 " + controllers);
|
||
}
|
||
|
||
@Test
|
||
void taskToBusinessDependencyDoesNotGrow() {
|
||
// 冻结存量:Handler 迁移后 task→业务 依赖已大幅收敛;不允许继续增长
|
||
int violations = countViolations(taskRule());
|
||
assertTrue(violations >= 1, "task→业务 依赖仍有存量(心跳/清理等待 SPI 化)");
|
||
assertTrue(violations <= TASK_TO_BUSINESS_BASELINE,
|
||
"task→业务 依赖不得超过基线 " + TASK_TO_BUSINESS_BASELINE + ",当前 " + violations
|
||
+ ";新增依赖走 Handler SPI 或先消除存量");
|
||
}
|
||
|
||
@Test
|
||
void ruleFailuresCarryClearReason() {
|
||
// 规则附 because 说明,失败信息可定位
|
||
assertTrue(taskRule().getDescription().contains("no classes that reside in a package"),
|
||
"规则描述应可读");
|
||
}
|
||
|
||
@Test
|
||
void spiHandlersAreTheSanctionedBridge() {
|
||
JavaClasses classes = app();
|
||
long handlers = classes.stream()
|
||
.filter(c -> c.getSimpleName().endsWith("ResultFileJobHandler"))
|
||
.count();
|
||
assertTrue(handlers >= 13, "Handler SPI 实现应在各业务模块注册,实际 " + handlers);
|
||
}
|
||
|
||
private static com.tngtech.archunit.lang.ArchRule taskRule() {
|
||
return noClasses().that().resideInAPackage("..modules.task..")
|
||
.should().dependOnClassesThat().resideInAPackage(
|
||
"..modules.(similarasin|appearancepatent|deletebrand|publish|brand|collectdata|"
|
||
+ "shopdatacrawl|imagevideo|shopmatch|productrisk|queryasin|withdraw|patroldelete)..")
|
||
.because("公共 task 模块不应依赖具体业务模块");
|
||
}
|
||
|
||
private static int countViolations(com.tngtech.archunit.lang.ArchRule rule) {
|
||
try {
|
||
rule.check(app());
|
||
return 0;
|
||
} catch (AssertionError e) {
|
||
String msg = e.getMessage();
|
||
long count = msg.lines()
|
||
.filter(l -> l.trim().startsWith("Constructor <")
|
||
|| l.trim().startsWith("Field <")
|
||
|| l.trim().startsWith("Method <")
|
||
|| l.trim().startsWith("Class <"))
|
||
.count();
|
||
return (int) count;
|
||
}
|
||
}
|
||
}
|