Commit Graph

17 Commits

Author SHA1 Message Date
huangzd1997 8dd29d35fa task-71: 清理日志改为数量与 sample ID,禁止输出超长任务 ID 列表 2026-08-30 19:53:49 +08:00
huangzd1997 28800498c9 task-70: 历史清理改为 keyset 分页、小批量和短事务 2026-08-30 19:48:59 +08:00
huangzd1997 f4e3d27fe3 task-69: 历史清理任务收集 transient payload 指针并提交删除队列 2026-08-30 19:29:32 +08:00
huangzd1997 75a0d1bcae task-68: payload 引用删除改为批量引用检查与异步物理删除
- 新增 TransientPayloadDeleteOrchestrator:提交去重入队(maxPendingDeletes 上限),
  flush 时一次性 IN 批量反查 biz_task_chunk / biz_task_scope_state,
  未引用对象交由后台线程池异步物理删除(剥 rustfs: 前缀)
- 幂等:重复提交只入队一次;保守:查询失败整批保留可重试,不误删
- 空值/非指针忽略,本地/OSS 指针不在批量删除范围(各有归属与清理路径)
2026-08-30 19:13:43 +08:00
huangzd1997 ce2da9e53f task-65: transient payload 读取流式解压 + 解压后字节上限
- 新增 aiimage.transient-storage.max-decompressed-payload-bytes 配置
  (默认 100MB,即 2x 存储上限),覆盖 gzip 二进制与 gzip64 兼容两条路径
- decodeGzipStream 按 8KB 缓冲流式解压,累计输出超过上限立即中止并报错,
  防止压缩炸弹(zip bomb)在读取时无界膨胀内存
- 超限错误保留可识别消息(exceeds configured limit),由 resolvePayload 统一包装
2026-08-30 18:49:55 +08:00
huangzd1997 927c3c931e task-64: transient payload 压缩改为直接 gzip 二进制流上传
- RustfsObjectStorageService 新增 uploadBytes/readObjectBytes 二进制流 API
  (application/gzip),uploadText/readObjectAsString 改为其薄包装
- TransientPayloadStorageService 的 encodeStoredPayload 直接输出 gzip 字节,
  不再经过 gzip64 + Base64 文本编码(消除 33% 体积膨胀与中间字符串副本)
- 读取端按 gzip magic 识别二进制流解压;兼容旧 gzip64: 文本与历史裸文本
- 本地回落文件同步改为写二进制(Files.write),超限判定基于 gzip 后字节数
2026-08-30 18:42:19 +08:00
huangzd1997 e15db1e6d0 task-63: 进度快照写入最小更新间隔节流(终态豁免+删除清理跟踪) 2026-08-30 18:28:15 +08:00
huangzd1997 3b8c7b4948 task-62: 本地任务实体缓存共享组件(容量 LRU/TTL 即时回收/定时清理)接入 8 模块 2026-08-30 18:17:52 +08:00
supernijia cf59e23f15 完善任务存储、权限及货源查询流程 2026-08-14 22:49:15 +08:00
supernijia 91cd02eeb4 后台更新 服务优化 2026-08-11 14:50:21 +08:00
supernijia 40f4fae272 新需求更新 同步更新 2026-08-06 01:11:54 +08:00
supernijia 28423e015b 处理数据量binlog问题 2026-07-28 15:49:41 +08:00
supernijia e453e822c0 菜单修改优化 2026-07-28 13:40:19 +08:00
supernijia 567aeaba5d 完成上架相关优化、oss迁移 2026-07-25 17:57:34 +08:00
supernijia a9bfb8ac6d 上架需求增加 2026-07-25 09:58:29 +08:00
super 48e3c330ee 后端优化,增加新需求 2026-07-21 19:53:47 +08:00
super 687b193645 新增内容,新增拉起软件层 2026-06-08 09:19:15 +08:00