fix: 全维度审查修复(安全/正确性/性能/稳定性/客户端/前端)

安全
- /api/ziniao/** 五个匿名接口加管理员鉴权(此前可匿名换取任意员工店铺登录令牌)
- 删除 Flask 遗留后门:默认密码建超管 + 每次启动写生产 users 表(服务端与客户端各一份)
- 进度/详情接口归属过滤:新增 TaskProgressOwnershipSupport,11 模块 progress/light 与
  /tasks/batch 接入,DTO 补 userId,前端 13 个查询封装补传(未传时后端不过滤,兼容旧端)
- 代理提取链接(含账密)不再明文入日志(新增 common/util/SecretMasking)
- 全局异常兜底不再回传原始异常信息;内部令牌比较改常量时间
- 登录加失败计数与锁定(10 次锁 15 分钟);品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15(开关默认 false,行为不变,为收紧做准备)
- 生产关闭 springdoc/knife4j(/doc.html 匿名可读全部接口定义)

正确性
- 40901/40902 拆分:锁竞争不再被伪装成 success=true(此前客户端停止重试、分片静默丢失)
- 假成功收敛:集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally(7 模块,失败路径不再留僵尸 RUNNING 任务)
- 状态机条件更新:跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB(Element Plus 改按需 + el-config-provider)
- 载荷引用计数按指针里的 taskId 收敛(原 JSON 列 IN 全表扫且逐行调用)
- 店铺明细多值批量 INSERT;快照 upsert 预载缓存;结果文件列改单条 UPDATE
- 新增迁移 V120(补 3 个缺失索引)/V121(删 4 个被覆盖的冗余索引)/V122(URL 前缀索引)

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列(防堆积 OOM)
- Redis 锁释放改 Lua 原子校验(原裸 delete 会误删他人已过期的锁)
- imagevideo 加死节点接管;锁续期失败重试;调度池 4→16;openStream 全部加超时
- 事务内远程对象删除移到提交后;启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe(改为按调试端口精准回收,不杀用户自己的浏览器)
- 密码检测不再无条件杀紫鸟进程;品牌检测加全局互斥(代理池不再互相覆盖)
- base_dir 统一到 exe 目录(原被 os.getcwd() 覆盖,日志/缓存会分裂两个目录)
- 缓存加定时清理;图片下载加超时;mkstemp 句柄托管

测试
- 同步更新受影响的契约测试(构造器签名/条件更新/方法改名/新增接口方法等)
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
This commit is contained in:
2026-09-14 04:15:36 +08:00
parent 4bc0164fb1
commit 7368322791
135 changed files with 3222 additions and 829 deletions
@@ -153,7 +153,12 @@ public class ImageVideoArchiveService {
Object result = readJsonValue(task.getResultJson());
enrichCompletedTask(task, result);
task.setUpdatedAt(LocalDateTime.now());
taskMapper.updateById(task);
// 条件更新(仅 archive_status 仍为 NULL 时):整行 updateById 会用读取快照覆盖并发节点
// 刚写入的 ARCHIVING —— 双节点 10s 周期归档时,B 节点会把 A 的认领覆盖回可认领状态,
// 随后 B 的 CAS 也能成功,导致同一视频被下载/上传两遍(先上传的对象成孤儿)
taskMapper.update(task, new LambdaUpdateWrapper<ImageVideoAsyncTaskEntity>()
.eq(ImageVideoAsyncTaskEntity::getId, task.getId())
.isNull(ImageVideoAsyncTaskEntity::getArchiveStatus));
}
private void archiveTask(Long taskId) {
@@ -1,6 +1,7 @@
package com.nanri.aiimage.modules.imagevideo.service;
import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper;
import com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper;
import com.fasterxml.jackson.core.type.TypeReference;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.nanri.aiimage.common.exception.BusinessException;
@@ -180,6 +181,54 @@ public class ImageVideoAsyncTaskService {
}
}
/** owner 节点失联判定阈值(分钟):任务超过此时长未更新即认为原 owner 已下线。 */
private static final long OWNER_TAKEOVER_TIMEOUT_MINUTES = 15;
/**
* 死节点接管(2026-09 全维度审查补):owner 绑定的任务此前只有「owner 重启时恢复自己的」
* 一条路径,owner 节点崩溃/被摘除后其任务永久停在「生成中」
* ({@code StaleTaskRepairService} 只覆盖 biz_file_task / brand_crawl_tasks,不含本表)。
*
* <p>分两类处理:
* <ul>
* <li>WAITING/POLLING —— 只是等上游结果,重放安全 → 清空 owner 交回可领取队列;</li>
* <li>RUNNING —— 重放会重复调用上游生成(有费用),故超时后明确标 FAILED 让用户重试,
* 而不是悄悄重新执行。</li>
* </ul>
*/
@Scheduled(fixedDelayString = "${aiimage.image-video.owner-takeover-delay-ms:60000}")
public void takeoverAbandonedTasks() {
DistributedJobLockService.LockHandle jobLock =
distributedJobLockService.tryLock("image-video:owner-takeover", java.time.Duration.ofSeconds(30));
if (jobLock == null) {
return;
}
try (jobLock) {
LocalDateTime cutoff = LocalDateTime.now().minusMinutes(OWNER_TAKEOVER_TIMEOUT_MINUTES);
int requeued = taskMapper.update(null, new LambdaUpdateWrapper<ImageVideoAsyncTaskEntity>()
.in(ImageVideoAsyncTaskEntity::getStatus,
TaskStatus.WAITING.name(), TaskStatus.POLLING.name())
.isNotNull(ImageVideoAsyncTaskEntity::getOwnerInstanceId)
.ne(ImageVideoAsyncTaskEntity::getOwnerInstanceId, currentInstanceId())
.lt(ImageVideoAsyncTaskEntity::getUpdatedAt, cutoff)
.set(ImageVideoAsyncTaskEntity::getOwnerInstanceId, null)
.set(ImageVideoAsyncTaskEntity::getUpdatedAt, LocalDateTime.now()));
int failed = taskMapper.update(null, new LambdaUpdateWrapper<ImageVideoAsyncTaskEntity>()
.eq(ImageVideoAsyncTaskEntity::getStatus, TaskStatus.RUNNING.name())
.isNotNull(ImageVideoAsyncTaskEntity::getOwnerInstanceId)
.ne(ImageVideoAsyncTaskEntity::getOwnerInstanceId, currentInstanceId())
.lt(ImageVideoAsyncTaskEntity::getUpdatedAt, cutoff)
.set(ImageVideoAsyncTaskEntity::getStatus, TaskStatus.FAILED.name())
.set(ImageVideoAsyncTaskEntity::getErrorMessage,
"处理节点失联超过 " + OWNER_TAKEOVER_TIMEOUT_MINUTES + " 分钟,任务已自动失败,请重试")
.set(ImageVideoAsyncTaskEntity::getUpdatedAt, LocalDateTime.now()));
if (requeued > 0 || failed > 0) {
log.warn("[image-video] 接管失联节点任务 requeued={} failed={} cutoffMinutes={}",
requeued, failed, OWNER_TAKEOVER_TIMEOUT_MINUTES);
}
}
}
@Scheduled(fixedDelayString = "${aiimage.image-video.failed-task-cleanup-delay-ms:60000}")
public void cleanupFailedTasks() {
LocalDateTime cutoff = LocalDateTime.now().minusMinutes(FAILED_TASK_RETENTION_MINUTES);