fix: 全维度审查修复(安全/正确性/性能/稳定性/客户端/前端)
安全 - /api/ziniao/** 五个匿名接口加管理员鉴权(此前可匿名换取任意员工店铺登录令牌) - 删除 Flask 遗留后门:默认密码建超管 + 每次启动写生产 users 表(服务端与客户端各一份) - 进度/详情接口归属过滤:新增 TaskProgressOwnershipSupport,11 模块 progress/light 与 /tasks/batch 接入,DTO 补 userId,前端 13 个查询封装补传(未传时后端不过滤,兼容旧端) - 代理提取链接(含账密)不再明文入日志(新增 common/util/SecretMasking) - 全局异常兜底不再回传原始异常信息;内部令牌比较改常量时间 - 登录加失败计数与锁定(10 次锁 15 分钟);品牌源文件下载加 SSRF 防护 - AdminApiGuardFilter 覆盖前缀从 2 扩到 15(开关默认 false,行为不变,为收紧做准备) - 生产关闭 springdoc/knife4j(/doc.html 匿名可读全部接口定义) 正确性 - 40901/40902 拆分:锁竞争不再被伪装成 success=true(此前客户端停止重试、分片静默丢失) - 假成功收敛:集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判 success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报 - 客户端心跳 discard 移入 finally(7 模块,失败路径不再留僵尸 RUNNING 任务) - 状态机条件更新:跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交 性能 - 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB(Element Plus 改按需 + el-config-provider) - 载荷引用计数按指针里的 taskId 收敛(原 JSON 列 IN 全表扫且逐行调用) - 店铺明细多值批量 INSERT;快照 upsert 预载缓存;结果文件列改单条 UPDATE - 新增迁移 V120(补 3 个缺失索引)/V121(删 4 个被覆盖的冗余索引)/V122(URL 前缀索引) 稳定性 - 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列(防堆积 OOM) - Redis 锁释放改 Lua 原子校验(原裸 delete 会误删他人已过期的锁) - imagevideo 加死节点接管;锁续期失败重试;调度池 4→16;openStream 全部加超时 - 事务内远程对象删除移到提交后;启动恢复锁按实例命名 客户端 - 不再 taskkill /f /im chrome.exe(改为按调试端口精准回收,不杀用户自己的浏览器) - 密码检测不再无条件杀紫鸟进程;品牌检测加全局互斥(代理池不再互相覆盖) - base_dir 统一到 exe 目录(原被 os.getcwd() 覆盖,日志/缓存会分裂两个目录) - 缓存加定时清理;图片下载加超时;mkstemp 句柄托管 测试 - 同步更新受影响的契约测试(构造器签名/条件更新/方法改名/新增接口方法等) - 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM - mvn test 2795 个测试全绿
This commit is contained in:
+18
-7
@@ -75,12 +75,9 @@ public class DedupeRunService {
|
||||
private final Map<Long, AtomicInteger> runningTaskCountMap = new ConcurrentHashMap<>();
|
||||
private final Semaphore fileParallelSemaphore = new Semaphore(MAX_PARALLEL_FILES);
|
||||
/** 共享有界文件执行器;不再为请求中的每个文件创建虚拟线程。 */
|
||||
private final ExecutorService fileExecutor = Executors.newFixedThreadPool(
|
||||
MAX_PARALLEL_FILES, runnable -> {
|
||||
Thread thread = new Thread(runnable, "dedupe-file-worker");
|
||||
thread.setDaemon(true);
|
||||
return thread;
|
||||
});
|
||||
// 队列改为有界:newFixedThreadPool 的无界队列在文件堆积时不会拒绝、会把内存吃满
|
||||
private final ExecutorService fileExecutor = com.nanri.aiimage.common.util.ThreadPools
|
||||
.boundedFixed("dedupe-file-worker", MAX_PARALLEL_FILES);
|
||||
|
||||
/**
|
||||
* 提交去重任务:立即返回进度快照(runId),异步执行 流式读取 + 多文件并行 + 结果上传。
|
||||
@@ -171,6 +168,8 @@ public class DedupeRunService {
|
||||
boolean folderMode = request.getArchiveName() != null && !request.getArchiveName().isBlank();
|
||||
Map<String, DedupeArchiveEntry> archiveEntries = new ConcurrentHashMap<>();
|
||||
List<DedupeResultItemVo> outcomeItems = new ArrayList<>();
|
||||
// 是否有 worker 异常结束:为 true 时收尾必须标失败,绝不能标 SUCCESS(用户会看到成功但结果缺文件)
|
||||
boolean aborted = false;
|
||||
|
||||
try {
|
||||
AtomicInteger processedCount = new AtomicInteger(0);
|
||||
@@ -192,14 +191,26 @@ public class DedupeRunService {
|
||||
}
|
||||
}));
|
||||
}
|
||||
// 逐个等待:processFile 内部已把单文件失败记入 outcomeItems,不会往外抛;
|
||||
// 这里能捕到的是线程级异常(Error/线程池拒绝),必须记下来而不能当成功。
|
||||
for (Future<?> worker : workers) {
|
||||
worker.get();
|
||||
try {
|
||||
worker.get();
|
||||
} catch (Exception workerEx) {
|
||||
aborted = true;
|
||||
log.error("dedupe run worker aborted runId={} error", runId, workerEx);
|
||||
}
|
||||
}
|
||||
} catch (Exception ex) {
|
||||
aborted = true;
|
||||
log.error("dedupe run async aborted runId={} error", runId, ex);
|
||||
}
|
||||
|
||||
try {
|
||||
if (aborted) {
|
||||
// 有文件没能正常处理完就序列化/标成功,会出现「任务成功但结果缺文件」
|
||||
throw new IllegalStateException("部分文件处理线程异常结束,结果不完整");
|
||||
}
|
||||
if (folderMode && !archiveEntries.isEmpty()) {
|
||||
DedupeResultItemVo zipItem = buildFolderZipResult(request, archiveEntries, task);
|
||||
synchronized (progress) {
|
||||
|
||||
+10
-2
@@ -17,6 +17,7 @@ import com.nanri.aiimage.modules.permission.model.entity.AdminUserEntity;
|
||||
import com.nanri.aiimage.modules.shopkey.mapper.ShopManageGroupMapper;
|
||||
import com.nanri.aiimage.modules.shopkey.model.entity.ShopManageGroupEntity;
|
||||
import lombok.RequiredArgsConstructor;
|
||||
import lombok.extern.slf4j.Slf4j;
|
||||
import org.apache.poi.ss.usermodel.Cell;
|
||||
import org.apache.poi.ss.usermodel.DataFormatter;
|
||||
import org.apache.poi.ss.usermodel.Row;
|
||||
@@ -62,6 +63,7 @@ import java.util.zip.ZipOutputStream;
|
||||
|
||||
@Service
|
||||
@RequiredArgsConstructor
|
||||
@Slf4j
|
||||
public class DedupeTotalDataService {
|
||||
|
||||
private static final int COMPARE_BATCH_SIZE = 5000;
|
||||
@@ -579,6 +581,8 @@ public class DedupeTotalDataService {
|
||||
} catch (Exception e) {
|
||||
progress.setStatus("failed");
|
||||
progress.setErrorMessage(e instanceof BusinessException ? e.getMessage() : "导入 Excel 失败");
|
||||
// 此前该 catch 既不记日志也不带 cause,线上只有一句「导入 Excel 失败」,无栈无定位线索
|
||||
log.error("[dedupe-total-data] 异步导入失败 filename={} userId={}", filename, uploaderUserId, e);
|
||||
} finally {
|
||||
deleteQuietly(tempFile);
|
||||
importCompletedAtMap.put(importId, System.currentTimeMillis());
|
||||
@@ -648,7 +652,9 @@ public class DedupeTotalDataService {
|
||||
} catch (BusinessException e) {
|
||||
throw e;
|
||||
} catch (Exception e) {
|
||||
throw new BusinessException("删除 Excel 匹配数据失败");
|
||||
// 此前丢弃原始异常:排查时只能看到一句「删除 Excel 匹配数据失败」
|
||||
log.error("[dedupe-total-data] 删除 Excel 匹配数据失败", e);
|
||||
throw new BusinessException("删除 Excel 匹配数据失败", e);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -946,7 +952,9 @@ public class DedupeTotalDataService {
|
||||
} catch (BusinessException e) {
|
||||
throw e;
|
||||
} catch (Exception e) {
|
||||
throw new BusinessException("删除 Excel 匹配数据失败");
|
||||
// 此前丢弃原始异常:排查时只能看到一句「删除 Excel 匹配数据失败」
|
||||
log.error("[dedupe-total-data] 删除 Excel 匹配数据失败", e);
|
||||
throw new BusinessException("删除 Excel 匹配数据失败", e);
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
Reference in New Issue
Block a user