perf(全链路): 连接池/事务边界/轮询与 IO 效率收口
Java: - LLM 180s 读超时不再被全局 call-timeout 静默截断成 90s(长思考请求被掐断→重试→付费网关二次计费) - 代理 HttpClient 缓存改有界 LRU(jikip 每次提取新 IP,无界缓存持续泄漏 selector 线程与连接池) - 12 个 service 的 Redis 任务锁移出 @Transactional(自旋最坏 10s 白占 DB 连接,池仅 30),远端对象删/传改 afterCommit - 结果文件 Job 闸门拒绝时不再回退内联执行(改重新入队,避免把背压转嫁给 MQ 消费线程) - imagevideo 每秒扫描加列投影、过期清理加 LIMIT;权限页整表查询改列投影(不再拉回密码哈希) - 哈希改 HexFormat;补 5 处"不能改"的技术依据注释(批量插入会丢回填主键、流式丢模板与图片等) 前端:4 个工具页轮询改轻量端点(带 fallback);PriceTrack 快照节流写盘;候选店铺表分页;页面隐藏时停表 客户端:HTTP 连接池按出口复用(Session 仍每请求新建,保持无跨请求状态);品牌检测 WIPO 逐请求握手; 代理配置按 mtime 缓存;串行任务改专属池;异常降级为标签页重连;紫鸟启动改端口轮询;模板编译缓存; 日志上报连接与落盘收口;Flask 版本 API 改按请求复用连接
This commit is contained in:
+11
-1
@@ -139,10 +139,20 @@ public class TaskResultFileJobWorker {
|
||||
taskQueueExecutor.execute(() -> processClaimedWithHeartbeat(job, claim));
|
||||
return;
|
||||
} catch (RuntimeException ex) {
|
||||
log.warn("[task-file-job] llm module offload failed, fallback inline jobId={} taskId={} moduleType={} msg={}",
|
||||
// 闸门拒绝(等待队列已满)说明系统已满载:此时**不能**回退成内联执行——
|
||||
// 那等于把背压转嫁给 MQ 消费线程,让消费线程按分钟级阻塞在 Excel 组装上,
|
||||
// 队列越满越糟。改为重新入队,由归属实例 15s 一轮的扫描补发。
|
||||
log.warn("[task-file-job] 结果文件任务队列已满,改为重新入队 jobId={} taskId={} moduleType={} msg={} stage=REQUEUE",
|
||||
job.getId(), job.getTaskId(), job.getModuleType(), ex.getMessage(), ex);
|
||||
taskFileJobService.requeue(job.getId(), "结果文件任务队列已满,稍后重投");
|
||||
return;
|
||||
}
|
||||
}
|
||||
// 注意:supportsAsyncOffload()=false 的模块(11 个)仍在本方法调用方的线程上
|
||||
// 内联执行,MQ 侧实际并发度 = consumeThreadNumber 默认值 20。该并发度直接决定
|
||||
// 同时在跑的 Excel 组装数量,而每一路都持有 DB 连接(Hikari 池仅 30,还要供
|
||||
// Tomcat 200 线程与调度线程使用)。若要收敛,应显式设置
|
||||
// RocketMQMessageListener.consumeThreadNumber 并先测吞吐,不要在这里临时改。
|
||||
processClaimedWithHeartbeat(job, claim);
|
||||
}
|
||||
|
||||
|
||||
+8
@@ -89,6 +89,14 @@ public class TaskResultItemService {
|
||||
return moduleType + "|" + scopeHash + "|" + itemKey;
|
||||
}
|
||||
|
||||
/**
|
||||
* 载入本任务的**全部**结果快照(无 limit)。
|
||||
*
|
||||
* <p>刻意不加 limit:调用方要用它组装完整的结果文件,截断即漏行(正确性错误,
|
||||
* 不是性能取舍)。调用方多为「逐任务循环调用」,因此峰值内存 = 单个任务的结果集,
|
||||
* 这是本操作固有的代价。若要再降,需要改成「边读边写文件」的流式组装契约,
|
||||
* 涉及 4 个模块的组装实现,属独立工程。
|
||||
*/
|
||||
public <T> List<T> listResultSnapshots(Long taskId, String moduleType, Class<T> clazz) {
|
||||
if (taskId == null || taskId <= 0 || isBlank(moduleType)) {
|
||||
return List.of();
|
||||
|
||||
+2
-5
@@ -517,11 +517,8 @@ public class TaskScopePayloadStorageService {
|
||||
try {
|
||||
MessageDigest digest = MessageDigest.getInstance("SHA-256");
|
||||
byte[] bytes = digest.digest(normalize(value).getBytes(StandardCharsets.UTF_8));
|
||||
StringBuilder sb = new StringBuilder(bytes.length * 2);
|
||||
for (byte b : bytes) {
|
||||
sb.append(String.format("%02x", b));
|
||||
}
|
||||
return sb.toString();
|
||||
// HexFormat 替代逐字节 String.format("%02x"):后者每次走 32 次 Formatter(热路径按行)
|
||||
return java.util.HexFormat.of().formatHex(bytes);
|
||||
} catch (Exception ex) {
|
||||
throw new IllegalStateException("failed to hash scope key", ex);
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user