huangzd1997
|
f98a0c45e5
|
progress 78
|
2026-08-30 22:01:15 +08:00 |
|
huangzd1997
|
2fa89ada60
|
task-78: 为所有外部调用增加耗时、重试、失败率和 payload 字节指标
新增 ExternalCallMetricsRecorder:通过 RestClient 拦截器统一记录
aiimage.external-call.duration(耗时)、aiimage.external-call.total
(失败率)、aiimage.external-call.payload.bytes(请求字节)与
aiimage.external-call.retry.total(重试次数);Coze/品牌检查/紫鸟
三个外部客户端全部接入,指标注册表缺失时静默降级,不改变调用语义。
|
2026-08-30 22:01:02 +08:00 |
|
huangzd1997
|
917e2cc461
|
progress 77
|
2026-08-30 21:08:32 +08:00 |
|
huangzd1997
|
295cdc815c
|
task-77: 统一 Coze、品牌检查和紫鸟 HTTP 客户端的连接复用策略
|
2026-08-30 21:08:28 +08:00 |
|
huangzd1997
|
d8682bb4a1
|
progress 76
|
2026-08-30 20:51:14 +08:00 |
|
huangzd1997
|
b2ed4cc93f
|
task-76: JSON owner 查询迁移到显式列并补充任务/状态复合索引
|
2026-08-30 20:51:07 +08:00 |
|
huangzd1997
|
b8ea6a6fb5
|
progress 75
|
2026-08-30 20:39:35 +08:00 |
|
huangzd1997
|
efd8109cd6
|
task-75: 虚拟线程任务等待队列上限与拒绝/延迟指标
|
2026-08-30 20:39:31 +08:00 |
|
huangzd1997
|
83d40495bc
|
progress 74
|
2026-08-30 20:31:43 +08:00 |
|
huangzd1997
|
a5e888ee5d
|
task-74: 隔离调度线程池、文件作业线程池和外部 Coze/图片执行池
|
2026-08-30 20:31:39 +08:00 |
|
huangzd1997
|
787aadedc6
|
progress 73
|
2026-08-30 20:23:09 +08:00 |
|
huangzd1997
|
2191801707
|
task-73: 本地文件作业队列 in-flight 去重和队列背压
|
2026-08-30 20:22:58 +08:00 |
|
huangzd1997
|
0b72ad3d56
|
progress 72
|
2026-08-30 20:01:22 +08:00 |
|
huangzd1997
|
8d4a0fd32a
|
task-72: 文件作业数据库原子 claim,避免重复派发同一 job
|
2026-08-30 20:01:18 +08:00 |
|
huangzd1997
|
fa81ae74c3
|
progress 71
|
2026-08-30 19:53:50 +08:00 |
|
huangzd1997
|
8dd29d35fa
|
task-71: 清理日志改为数量与 sample ID,禁止输出超长任务 ID 列表
|
2026-08-30 19:53:49 +08:00 |
|
huangzd1997
|
4f5912e3d6
|
progress 70
|
2026-08-30 19:49:03 +08:00 |
|
huangzd1997
|
28800498c9
|
task-70: 历史清理改为 keyset 分页、小批量和短事务
|
2026-08-30 19:48:59 +08:00 |
|
huangzd1997
|
63f9085793
|
progress 69
|
2026-08-30 19:30:01 +08:00 |
|
huangzd1997
|
f4e3d27fe3
|
task-69: 历史清理任务收集 transient payload 指针并提交删除队列
|
2026-08-30 19:29:32 +08:00 |
|
huangzd1997
|
4475a64927
|
progress 68
|
2026-08-30 19:13:47 +08:00 |
|
huangzd1997
|
75a0d1bcae
|
task-68: payload 引用删除改为批量引用检查与异步物理删除
- 新增 TransientPayloadDeleteOrchestrator:提交去重入队(maxPendingDeletes 上限),
flush 时一次性 IN 批量反查 biz_task_chunk / biz_task_scope_state,
未引用对象交由后台线程池异步物理删除(剥 rustfs: 前缀)
- 幂等:重复提交只入队一次;保守:查询失败整批保留可重试,不误删
- 空值/非指针忽略,本地/OSS 指针不在批量删除范围(各有归属与清理路径)
|
2026-08-30 19:13:43 +08:00 |
|
huangzd1997
|
219f9be116
|
progress 67
|
2026-08-30 19:04:37 +08:00 |
|
huangzd1997
|
1350f8a9ad
|
task-67: 复用 RustFS/MinIO 客户端与 HTTP 连接池
- buildClient 改为 double-check 懒加载缓存共享 MinioClient(volatile 单例),
同一实例持有同一 OkHttpClient,连接池随实例共享,不再每次操作新建客户端
- supplier 注入路径优先且不写共享缓存,测试隔离不受污染
- 未配置/空白 endpoint 时不创建实例,拒绝操作并保持缓存为空
|
2026-08-30 19:04:32 +08:00 |
|
huangzd1997
|
e515cf4a68
|
progress 66
|
2026-08-30 18:57:31 +08:00 |
|
huangzd1997
|
822fc22457
|
task-66: 限制 RustFS 并发读写与重试的总资源预算
- 新增 aiimage.transient-storage.max-total-concurrent-operations 配置
(默认 0 不启用):跨 upload/read/delete 的总并发预算
- executeWithRetry 入口获取一个总许可,整次操作(含全部重试)全程占用,
重试不额外消耗,超预算立即拒绝并计入 operation=total rejected 指标
- 失败/完成后 finally 释放总许可,无残留锁;负值/0 视为未启用保持原行为
|
2026-08-30 18:57:26 +08:00 |
|
huangzd1997
|
33d42559d7
|
progress 65
|
2026-08-30 18:49:59 +08:00 |
|
huangzd1997
|
ce2da9e53f
|
task-65: transient payload 读取流式解压 + 解压后字节上限
- 新增 aiimage.transient-storage.max-decompressed-payload-bytes 配置
(默认 100MB,即 2x 存储上限),覆盖 gzip 二进制与 gzip64 兼容两条路径
- decodeGzipStream 按 8KB 缓冲流式解压,累计输出超过上限立即中止并报错,
防止压缩炸弹(zip bomb)在读取时无界膨胀内存
- 超限错误保留可识别消息(exceeds configured limit),由 resolvePayload 统一包装
|
2026-08-30 18:49:55 +08:00 |
|
huangzd1997
|
87afddc401
|
progress 64
|
2026-08-30 18:42:25 +08:00 |
|
huangzd1997
|
927c3c931e
|
task-64: transient payload 压缩改为直接 gzip 二进制流上传
- RustfsObjectStorageService 新增 uploadBytes/readObjectBytes 二进制流 API
(application/gzip),uploadText/readObjectAsString 改为其薄包装
- TransientPayloadStorageService 的 encodeStoredPayload 直接输出 gzip 字节,
不再经过 gzip64 + Base64 文本编码(消除 33% 体积膨胀与中间字符串副本)
- 读取端按 gzip magic 识别二进制流解压;兼容旧 gzip64: 文本与历史裸文本
- 本地回落文件同步改为写二进制(Files.write),超限判定基于 gzip 后字节数
|
2026-08-30 18:42:19 +08:00 |
|
huangzd1997
|
dcaf655aaf
|
progress 63
|
2026-08-30 18:28:19 +08:00 |
|
huangzd1997
|
e15db1e6d0
|
task-63: 进度快照写入最小更新间隔节流(终态豁免+删除清理跟踪)
|
2026-08-30 18:28:15 +08:00 |
|
huangzd1997
|
3e4e229590
|
progress 62
|
2026-08-30 18:17:55 +08:00 |
|
huangzd1997
|
3b8c7b4948
|
task-62: 本地任务实体缓存共享组件(容量 LRU/TTL 即时回收/定时清理)接入 8 模块
|
2026-08-30 18:17:52 +08:00 |
|
huangzd1997
|
d2f0f10232
|
progress 61
|
2026-08-30 18:00:38 +08:00 |
|
huangzd1997
|
96d60d732a
|
task-61: Rustfs 对象存储指标基线验收测试(计数/计时/分布/熔断/拒绝)
|
2026-08-30 18:00:33 +08:00 |
|
huangzd1997
|
b3874e31ac
|
progress 60
|
2026-08-30 17:43:20 +08:00 |
|
huangzd1997
|
fc0a5db852
|
task-60: 采集模块 10k 行压测验收(结果完整性、内存与吞吐)
10k 行批量 upsert 压测验收:100 批 × 100 行恰好写入 10k 行不丢失不重复(引用 JSON 唯一);
10 chunk 分批提交总批量 SQL 调用次数恒定 100;hash 相等重复提交全跳过零写入(幂等);
batchSize=1 时 10k 次调用每批 1 行(内存受 batchSize 约束不无界累积);null/空白 ASIN
行安全跳过;前 50 批失败跳过后重试收敛到真实行数。collectdata 模块完成。
|
2026-08-30 17:43:13 +08:00 |
|
huangzd1997
|
fd964d8208
|
progress 59
|
2026-08-30 17:38:26 +08:00 |
|
huangzd1997
|
9039f636cc
|
task-59: 采集模块对象存储与批量 SQL 调用次数验证
deleteHistory 删除历史结果的对象存储调用次数验证:批量 SQL(selectList/delete)调用次数
恒定不随行数增长;RustFS 物理删除按 chunk 引用指针去重后每对象一次(旧格式逐行一次);
空历史零调用、单历史单对象、300 行 100 chunk 恰好 100 次、非法越权拒绝、依赖失败传播后
重试成功无残留。锁定 task-57 引入的去重删除语义在 deleteHistory 路径上的调用次数契约。
|
2026-08-30 17:38:22 +08:00 |
|
huangzd1997
|
d2ffb7eb78
|
progress 58
|
2026-08-30 17:31:27 +08:00 |
|
huangzd1997
|
a592210f26
|
task-58: collectdata 结果明细读取失败降级(RustFS 超时跳过该 chunk,不中断其它 chunk)
chunk 级引用读取失败(RustFS 超时/不可用)时降级为跳过该 chunk 的引用行并记录 warn,
结果文件继续生成,缺失行由任务状态可观测;chunk 明细 JSON 损坏仍抛异常(数据问题不降级),
旧格式单行读取失败保持抛异常。失败 chunk 在单次调用内缓存为空哨兵,避免重复 resolve。
task-052 依赖失败测试同步更新为降级语义。
|
2026-08-30 17:31:21 +08:00 |
|
huangzd1997
|
b7bac17a35
|
progress 57
|
2026-08-30 17:20:05 +08:00 |
|
huangzd1997
|
38319a33a2
|
task-57: 删除任务/历史时先删 DB 行再物理删对象,引用计数反查基于删除后状态,共享对象跳过删除、独占对象真正释放
|
2026-08-30 17:20:00 +08:00 |
|
huangzd1997
|
132586afc1
|
progress 56
|
2026-08-30 17:06:06 +08:00 |
|
huangzd1997
|
ce34ff9556
|
task-56: 采集结果 Excel 改为临时文件+原子落位,流式写入或落位失败时清理临时文件,目标路径不残留半成品
|
2026-08-30 17:05:56 +08:00 |
|
huangzd1997
|
90e9a29ed5
|
progress 55
|
2026-08-30 16:56:20 +08:00 |
|
huangzd1997
|
4700d999dc
|
task-55: 采集进度心跳改为节流/合并写,窗口内心跳只更新内存态不落库,窗口到期或任务结束路径强制持久化,避免高频 task UPDATE
|
2026-08-30 16:55:37 +08:00 |
|
huangzd1997
|
4bee76883f
|
progress 54
|
2026-08-30 16:41:09 +08:00 |
|
huangzd1997
|
8506cf9f7e
|
task-54: finalRowCount 改为任务内增量计数(upsert newlyInserted 累计),移除每 chunk 全表 COUNT(*)
|
2026-08-30 16:41:02 +08:00 |
|