fix(稳定性): 修任务锁超时/实例转发/扫描降噪,补 rustfs 结论日志

线上日志扫描发现的缺陷批量修复:
- TaskFileJobService.resetStuckRunningJobsDetailed 去掉跨行长事务:两节点
  @Scheduled 各取 200 行在同一事务里逐行 UPDATE,互等行锁导致 biz_task_file_job
  每天上百次 Lock wait timeout。改逐行独立提交(本就有 CAS 条件,幂等)
- TaskOwnerForwardService 连接类失败重试 3 次:两节点滚动重启窗口内的
  Connection refused 会直接丢掉用户提交的结果(读超时不重放,避免重复提交)
- AdminApiGuardFilter 把 401/被顶下线降为 debug(线上单节点一天近 3000 条噪声)
- NoResourceFoundException 单独处理:如实返回 404,不再刷 ERROR 堆栈、不再伪装
  200(每天 580 条,绝大多数是外部扫描 /.env、/credentials、aliyun.json 等)
- RustfsObjectStorageService 补「重试后成功 / 重试耗尽」结论日志:一天上千条
  retrying 却无结论,无法判断数据是否落盘
- 连接池 keep-alive 300s→30s,减少复用已被对端关闭的空闲连接
- SimilarAsin 提交结果遇到已删除任务时带 TASK_NOT_FOUND(40401),客户端据此
  停止每 30 秒一轮的无谓重试
- 修 SimilarAsinResultRowDto 的 GBK 乱码 JsonAlias("浠锋牸" → "价格")
This commit is contained in:
2026-09-17 00:32:48 +08:00
parent bc8dce0fa3
commit 5a18c5350b
9 changed files with 126 additions and 16 deletions
@@ -238,6 +238,12 @@ public class RustfsObjectStorageService {
resetFailureWindow(operation);
}
recordOperation(operation, "success", elapsedNanos(startedAt));
if (attempt > 1) {
// 重试后成功必须留 INFO 结论:线上一天上千条 "operation failed, retrying"
// 却没有任何结论日志,无法判断这些上传最后到底落盘了没有。
log.info("[rustfs] 重试后成功 operation={} objectKey={} attempt={}/{} durationMs={} bytes={}",
operation, objectKey, attempt, maxRetries, elapsedMillis(startedAt), bytes);
}
log.debug("[rustfs] operation success operation={} objectKey={} attempt={}/{} durationMs={} bytes={}",
operation, objectKey, attempt, maxRetries, elapsedMillis(startedAt), bytes);
return result;
@@ -262,6 +268,9 @@ public class RustfsObjectStorageService {
operation, objectKey, deadlineNanos);
}
}
// 重试耗尽:留 ERROR 结论 + 最后一次错误,否则只看到一串 retrying,无从判断是否真丢数据
log.error("[rustfs] 重试耗尽,最终失败 operation={} objectKey={} maxRetries={} 最后一次错误={}",
operation, objectKey, maxRetries, last == null ? "无" : last.getMessage(), last);
throw new IllegalStateException("failed to " + operation + " payload in transient storage", last);
} finally {
if (totalAcquired) {
@@ -277,7 +277,8 @@ public class SimilarAsinResultRowDto {
@Schema(description = "阿里巴巴商品图片或商品 URL")
private String url;
@JsonAlias({"price", "浠锋牸"})
// "浠锋牸" 是 "价格" 被按 GBK 解读后的乱码,历史载荷里出现过,保留兼容
@JsonAlias({"price", "价格", "浠锋牸"})
@Schema(description = "阿里巴巴候选商品价格")
private Object price;
@@ -15,6 +15,7 @@ import com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.nanri.aiimage.common.exception.BusinessException;
import com.nanri.aiimage.common.exception.BusinessCodes;
import com.nanri.aiimage.common.service.DistributedJobLockService;
import com.nanri.aiimage.config.SimilarAsinProperties;
import com.nanri.aiimage.modules.similarasin.model.dto.SimilarAsinResultRowDto;
@@ -468,7 +469,7 @@ public class SimilarAsinPipelineSupport {
public PreparedSubmittedChunk prepareSubmittedChunk(Long taskId, SimilarAsinSubmitResultRequest request) {
FileTaskEntity task = fileTaskMapper.selectById(taskId);
if (task == null || !MODULE_TYPE.equals(task.getModuleType())) {
throw new BusinessException("任务不存在");
throw new BusinessException(BusinessCodes.TASK_NOT_FOUND, "任务不存在");
}
if (!STATUS_RUNNING.equals(task.getStatus())) {
throw new BusinessException("任务不是运行中状态");
@@ -509,7 +510,7 @@ public class SimilarAsinPipelineSupport {
Long taskId = prepared.taskId();
FileTaskEntity task = fileTaskMapper.selectById(taskId);
if (task == null || !MODULE_TYPE.equals(task.getModuleType())) {
throw new BusinessException("任务不存在");
throw new BusinessException(BusinessCodes.TASK_NOT_FOUND, "任务不存在");
}
if (!STATUS_RUNNING.equals(task.getStatus())) {
throw new BusinessException("任务不是运行中状态");
@@ -561,7 +562,7 @@ public class SimilarAsinPipelineSupport {
public FinalizeTaskResult completeSubmittedChunk(SubmitContext context) {
FileTaskEntity task = fileTaskMapper.selectById(context.task().getId());
if (task == null || !MODULE_TYPE.equals(task.getModuleType())) {
throw new BusinessException("任务不存在");
throw new BusinessException(BusinessCodes.TASK_NOT_FOUND, "任务不存在");
}
if (!STATUS_RUNNING.equals(task.getStatus())) {
log.info("[similar-asin] skip completion because task already finalized taskId={} status={}",
@@ -298,12 +298,19 @@ public class TaskFileJobService {
return false;
}
@Transactional
public int resetStuckRunningJobs(int stuckMinutes, int limit) {
return resetStuckRunningJobsDetailed(stuckMinutes, limit).resetCount();
}
@Transactional
/**
* 卡住任务自愈扫描。
*
* <p>刻意**不加 @Transactional**:原实现在一个事务里 SELECT 最多 200 行再逐行 UPDATE,
* 而两台实例各跑一份 @Scheduled,双方拿到同一批 RUNNING 行后互相等行锁,直接造成线上
* 每天上百次 "Lock wait timeout exceeded"(biz_task_file_job)。
* 这里的每行更新本就带 status + updatedAt 的 CAS 条件(幂等),逐行独立提交更安全:
* 锁即时释放,CAS 不匹配的一方返回 0 行即可,也不会因中途异常回滚掉已修好的行。
*/
public StuckJobResetResult resetStuckRunningJobsDetailed(int stuckMinutes, int limit) {
LocalDateTime threshold = LocalDateTime.now().minusMinutes(Math.max(5, stuckMinutes));
List<TaskFileJobEntity> jobs = taskFileJobMapper.selectList(new LambdaQueryWrapper<TaskFileJobEntity>()