perf(全链路): 连接池/事务边界/轮询与 IO 效率收口
Java: - LLM 180s 读超时不再被全局 call-timeout 静默截断成 90s(长思考请求被掐断→重试→付费网关二次计费) - 代理 HttpClient 缓存改有界 LRU(jikip 每次提取新 IP,无界缓存持续泄漏 selector 线程与连接池) - 12 个 service 的 Redis 任务锁移出 @Transactional(自旋最坏 10s 白占 DB 连接,池仅 30),远端对象删/传改 afterCommit - 结果文件 Job 闸门拒绝时不再回退内联执行(改重新入队,避免把背压转嫁给 MQ 消费线程) - imagevideo 每秒扫描加列投影、过期清理加 LIMIT;权限页整表查询改列投影(不再拉回密码哈希) - 哈希改 HexFormat;补 5 处"不能改"的技术依据注释(批量插入会丢回填主键、流式丢模板与图片等) 前端:4 个工具页轮询改轻量端点(带 fallback);PriceTrack 快照节流写盘;候选店铺表分页;页面隐藏时停表 客户端:HTTP 连接池按出口复用(Session 仍每请求新建,保持无跨请求状态);品牌检测 WIPO 逐请求握手; 代理配置按 mtime 缓存;串行任务改专属池;异常降级为标签页重连;紫鸟启动改端口轮询;模板编译缓存; 日志上报连接与落盘收口;Flask 版本 API 改按请求复用连接
This commit is contained in:
+11
-3
@@ -167,8 +167,15 @@ class TaskResultFileJobWorkerOffloadTest {
|
||||
verify(similar).cleanupResultFileJob(job);
|
||||
}
|
||||
|
||||
/**
|
||||
* 闸门拒绝时的契约(2026-09 背压修复):**不再回退成内联执行**。
|
||||
*
|
||||
* 内联兜底会把背压转嫁给 MQ 消费线程——消费线程按分钟级阻塞在 Excel 组装 + OSS 上传上,
|
||||
* 队列越满越糟。改为重新入队(置回 PENDING),由归属实例 15s 一轮的扫描补发;
|
||||
* 任务不会丢,只是不在消费线程上抢跑。原用例名 offloadFailureFallback 断言的正是旧行为。
|
||||
*/
|
||||
@Test
|
||||
void offloadFailureFallback() throws Exception {
|
||||
void offloadRejectedRequeuesInsteadOfInlineFallback() throws Exception {
|
||||
TaskResultFileJobWorker worker = buildWorker();
|
||||
TaskFileJobEntity job = job("SIMILAR_ASIN", 4L, 14L);
|
||||
allowClaim(job.getId(), job.getTaskId(), job.getModuleType());
|
||||
@@ -178,8 +185,9 @@ class TaskResultFileJobWorkerOffloadTest {
|
||||
|
||||
worker.process(job);
|
||||
|
||||
verify(taskFileJobService).markSuccess(job, null);
|
||||
verify(similar).cleanupResultFileJob(job);
|
||||
verify(taskFileJobService).requeue(job.getId(), "结果文件任务队列已满,稍后重投");
|
||||
verify(taskFileJobService, never()).markSuccess(any(), any());
|
||||
verify(similar, never()).processResultFileJob(any());
|
||||
}
|
||||
|
||||
@Test
|
||||
|
||||
+9
-1
@@ -90,13 +90,21 @@ class TaskResultFileJobWorkerOrphanTest {
|
||||
new BrandResultFileJobHandler(brand, payload),
|
||||
new CollectDataResultFileJobHandler(collectData));
|
||||
ResultFileJobHandlerRegistry registry = new ResultFileJobHandlerRegistry(handlers);
|
||||
return new TaskResultFileJobWorker(
|
||||
TaskResultFileJobWorker worker = new TaskResultFileJobWorker(
|
||||
taskFileJobService,
|
||||
taskDistributedLockService,
|
||||
mock(FileResultMapper.class),
|
||||
mock(TaskFileJobLocalDispatcher.class),
|
||||
instanceMetadata,
|
||||
registry);
|
||||
// taskQueueExecutor 是字段注入。此前不注入时字段为 null,offload 分支会抛 NPE 并被
|
||||
// 兜底成内联执行——本测试一直依赖这个偶然行为。2026-09 起闸门拒绝改为「重新入队」
|
||||
// 而不再回退内联,故这里显式注入同步执行器,让 offload 模块仍按内联语义跑完整链路。
|
||||
java.lang.reflect.Field executorField =
|
||||
TaskResultFileJobWorker.class.getDeclaredField("taskQueueExecutor");
|
||||
executorField.setAccessible(true);
|
||||
executorField.set(worker, (org.springframework.core.task.TaskExecutor) Runnable::run);
|
||||
return worker;
|
||||
}
|
||||
|
||||
private static TaskFileJobEntity job(String moduleType, long jobId, long taskId) {
|
||||
|
||||
Reference in New Issue
Block a user