huangzd1997
|
bf870eb027
|
task-180: Worker 日志字段对齐规范(TaskResultFileJobWorker 关键阶段补 stage=/errorType=,保留 [task-file-job] 前缀)+ 8 条测试
- dispatch/success/failure/orphan/heartbeat/requeue/defer/waittxllm/finalize 日志追加规范 stage 字面量
- 失败/孤儿分支追加 errorType={}(exception 类名);保留 jobId/taskId/moduleType 与既有语义,仅消息文本追加、无逻辑改动
- 审计测试锁定字段名一致、阶段字面量白名单、无敏感字段
|
2026-09-04 23:44:39 +08:00 |
|
huangzd1997
|
8f91dae1d5
|
task-161: 巡检任务开关(aiimage.inspection.enabled 默认 disabled、cron 调度、分布式锁双实例去重、单巡检异常隔离、limit 透传)+ 8 条测试
|
2026-09-02 07:19:56 +08:00 |
|
huangzd1997
|
d1a0e38caa
|
task-159: 已完成任务活跃 Job 巡检(终态任务 RUNNING/PENDING Job 检出、运行中任务正常、只读、可重复)+ 8 条测试
|
2026-09-02 07:08:53 +08:00 |
|
huangzd1997
|
16d384e046
|
task-158: 结果存在文件缺失巡检(resultFileUrl 对应 OSS 文件缺失检出、空白 URL 不告警、只读、可重复)+ 8 条测试
|
2026-09-02 07:04:06 +08:00 |
|
huangzd1997
|
6a5bddf9c3
|
task-157: 任务存在结果缺失巡检(终态任务无 file_result 检出、运行中忽略、只读、可重复)+ 8 条测试
|
2026-09-02 06:57:50 +08:00 |
|
huangzd1997
|
2ae9e8b926
|
task-156: 孤立 Job 巡检报表(task/result 缺失孤儿检出、重试耗尽同样报、只读不修改、可重复)+ 8 条测试
|
2026-09-02 06:53:06 +08:00 |
|
huangzd1997
|
cc169e3b75
|
task-122: N+1 批量化修复(claim/stuck-reset/stale-check 逐行 selectById 改 selectBatchIds 批量回读 + Map 装配,行为等价)
|
2026-09-02 03:13:05 +08:00 |
|
huangzd1997
|
d5d84c1dad
|
修复双实例 owner-scoped 结果文件 job 被非归属实例误杀
线上现象:货源查询任务 26402/26400(归属 server-121)在归属机正常推进,
却被 server-110 判为「结果生成失败」,错误为「该任务已绑定到另一台服务实例处理」。
两个缺陷叠加:
1. 两台实例共用一个 RocketMQ consumer group,dispatch 消息被轮询投递;
worker 对"PENDING + owner 不匹配"的 job 选择本地抢跑,模块层
ensureTaskOwnedByCurrentInstance 直接抛 TaskOwnerMismatchException,
异常落进通用 catch 被当成生成失败,5 次抢跑即耗尽 retryCount 并终态失败。
2. runPendingJobs 双重 claim:claimRunnableJobsForOwner 已把 job 翻成 RUNNING,
随后又走 claimRunning(条件 PENDING/FAILED)必然失败 → job 被静默丢弃,
归属机的定时兜底从未真正生效。
修复:
- worker:非归属实例一律跳过 owner-scoped job;抽出 processClaimed 供已持有
claim 的调用方使用;processInternal 单独捕获 TaskOwnerMismatchException,
只 deferRunning 退回 PENDING,不计入重试。
- TaskFileJobLocalDispatcher 新增 dispatchClaimed。
- dispatch 事件带上 owner,coordinator 按归属路由:本机 owner 直接本地派发不发 MQ,
他机 owner 不发不跑交由归属机轮询接手,owner 为空维持原有 MQ 行为。
- 新增 owner 路由回归测试两组,回滚配合"本地抢跑"的旧断言。
同时提交此前工作区内已随 JAR 上线的 backend-java 改动:SimilarAsin 解析载荷
groups 内嵌 items(Python 旧链路兼容)与 chunk 类型不匹配跳过、
PermissionMenuSchemaInitializer 与 V103 两级菜单分组迁移、相关测试。
|
2026-09-01 21:07:25 +08:00 |
|
huangzd1997
|
b148dc57eb
|
task-116: 后台管理新增/导入表单弹窗化 + 分组管理独立菜单与UI优化 + 轻量进度端点
- 后台管理页(admin)所有面板的新增/导入表单改为弹窗操作,原有字段 ID 全部保留、提交逻辑不变;导入删除入口不再触发二次确认拦截
- 分组管理升级为独立菜单(V102 + schema initializer),移除 5 个面板内的管理分组按钮;分组列表改为蓝白主题、增加权限分组横幅
- Python 侧 group-manage 权限守卫(_ensure_backend_menu_access 补充 group-manage)
- 引入 V101(biz_task_file_job 复合索引)+ 新增 TaskProgressLight/TaskFileJob 轻量端点与进度聚合作
- 前端 progress-light / page-separated-loads / dispatch-guard 共享模块及单元测试
|
2026-09-01 12:54:13 +08:00 |
|
huangzd1997
|
da0eaccf3b
|
task-98: 移除 similar-asin/appearance-patent 模块 Coze,状态机与共享组件改名 LLM
- similarasin/appearancepatent 模块全部 Coze 工作流调用改走 direct-LLM(已确认唯一运行路径)
- 共享组件改名:CozeTaskQueueGate→TaskQueueGate、CozeGroupResultPropagator→GroupResultPropagator
- 状态机改名:biz_task_scope_state 的 coze_* 列→llm_*、stateJson coze 键→llm(V100 迁移已应用生产)
- 删除 biz_coze_credential 表、CozeCredential* 类、SimilarAsinCozeClient、AppearancePatentCozeClient→LlmClient
- 前端 brand 页 Coze 文案→LLM;Python 后端删除 cozepy 依赖与死配置
- 修复 TaskResultFileJobWorker 启动失败:TaskFileJobConfig 注册 ResultFileJobHandlerRegistry 与 13 个 handler bean(含 validateCoverage 启动校验)
|
2026-09-01 02:20:50 +08:00 |
|
huangzd1997
|
b2ed4cc93f
|
task-76: JSON owner 查询迁移到显式列并补充任务/状态复合索引
|
2026-08-30 20:51:07 +08:00 |
|
huangzd1997
|
2191801707
|
task-73: 本地文件作业队列 in-flight 去重和队列背压
|
2026-08-30 20:22:58 +08:00 |
|
huangzd1997
|
8d4a0fd32a
|
task-72: 文件作业数据库原子 claim,避免重复派发同一 job
|
2026-08-30 20:01:18 +08:00 |
|
huangzd1997
|
8dd29d35fa
|
task-71: 清理日志改为数量与 sample ID,禁止输出超长任务 ID 列表
|
2026-08-30 19:53:49 +08:00 |
|
huangzd1997
|
28800498c9
|
task-70: 历史清理改为 keyset 分页、小批量和短事务
|
2026-08-30 19:48:59 +08:00 |
|
huangzd1997
|
f4e3d27fe3
|
task-69: 历史清理任务收集 transient payload 指针并提交删除队列
|
2026-08-30 19:29:32 +08:00 |
|
huangzd1997
|
75a0d1bcae
|
task-68: payload 引用删除改为批量引用检查与异步物理删除
- 新增 TransientPayloadDeleteOrchestrator:提交去重入队(maxPendingDeletes 上限),
flush 时一次性 IN 批量反查 biz_task_chunk / biz_task_scope_state,
未引用对象交由后台线程池异步物理删除(剥 rustfs: 前缀)
- 幂等:重复提交只入队一次;保守:查询失败整批保留可重试,不误删
- 空值/非指针忽略,本地/OSS 指针不在批量删除范围(各有归属与清理路径)
|
2026-08-30 19:13:43 +08:00 |
|
huangzd1997
|
ce2da9e53f
|
task-65: transient payload 读取流式解压 + 解压后字节上限
- 新增 aiimage.transient-storage.max-decompressed-payload-bytes 配置
(默认 100MB,即 2x 存储上限),覆盖 gzip 二进制与 gzip64 兼容两条路径
- decodeGzipStream 按 8KB 缓冲流式解压,累计输出超过上限立即中止并报错,
防止压缩炸弹(zip bomb)在读取时无界膨胀内存
- 超限错误保留可识别消息(exceeds configured limit),由 resolvePayload 统一包装
|
2026-08-30 18:49:55 +08:00 |
|
huangzd1997
|
927c3c931e
|
task-64: transient payload 压缩改为直接 gzip 二进制流上传
- RustfsObjectStorageService 新增 uploadBytes/readObjectBytes 二进制流 API
(application/gzip),uploadText/readObjectAsString 改为其薄包装
- TransientPayloadStorageService 的 encodeStoredPayload 直接输出 gzip 字节,
不再经过 gzip64 + Base64 文本编码(消除 33% 体积膨胀与中间字符串副本)
- 读取端按 gzip magic 识别二进制流解压;兼容旧 gzip64: 文本与历史裸文本
- 本地回落文件同步改为写二进制(Files.write),超限判定基于 gzip 后字节数
|
2026-08-30 18:42:19 +08:00 |
|
huangzd1997
|
e15db1e6d0
|
task-63: 进度快照写入最小更新间隔节流(终态豁免+删除清理跟踪)
|
2026-08-30 18:28:15 +08:00 |
|
huangzd1997
|
3b8c7b4948
|
task-62: 本地任务实体缓存共享组件(容量 LRU/TTL 即时回收/定时清理)接入 8 模块
|
2026-08-30 18:17:52 +08:00 |
|
huangzd1997
|
9f23d1d011
|
task-50: 结果明细批量 upsert 写入器与唯一键幂等
CollectDataResultItemBatchWriter 按唯一键 uk_task_scope_item 批量 upsert
biz_task_result_item:一次批量查询现有行(payload_hash 相等即跳过),
分批发 INSERT ... ON DUPLICATE KEY UPDATE,替代逐行 select/insert/update;
旧格式逐行 payload 升级为引用时物理删除(引用计数兜底)。CollectDataService
submitResult 接入批量写入,移除逐行 upsertResultItem。
|
2026-08-30 15:32:55 +08:00 |
|
huangzd1997
|
1c58a182de
|
task-34: 将 ownerInstanceId 从 JSON 查询迁移到显式列并补充索引
|
2026-08-29 20:44:21 +08:00 |
|
huangzd1997
|
10aa938835
|
task-14: batch read image db cache and touch only actual hits
|
2026-08-29 17:16:40 +08:00 |
|
huangzd1997
|
d08280f3e8
|
性能优化:N+1查询改批量、串行远程调用并发化、紫鸟索引巡检批量回写
|
2026-08-25 19:42:43 +08:00 |
|
supernijia
|
cf59e23f15
|
完善任务存储、权限及货源查询流程
|
2026-08-14 22:49:15 +08:00 |
|
supernijia
|
91cd02eeb4
|
后台更新 服务优化
|
2026-08-11 14:50:21 +08:00 |
|
supernijia
|
40f4fae272
|
新需求更新 同步更新
|
2026-08-06 01:11:54 +08:00 |
|
supernijia
|
28423e015b
|
处理数据量binlog问题
|
2026-07-28 15:49:41 +08:00 |
|
supernijia
|
e453e822c0
|
菜单修改优化
|
2026-07-28 13:40:19 +08:00 |
|
supernijia
|
567aeaba5d
|
完成上架相关优化、oss迁移
|
2026-07-25 17:57:34 +08:00 |
|
supernijia
|
a9bfb8ac6d
|
上架需求增加
|
2026-07-25 09:58:29 +08:00 |
|
super
|
48e3c330ee
|
后端优化,增加新需求
|
2026-07-21 19:53:47 +08:00 |
|
super
|
5e12e7ea52
|
视频任务管理更新
|
2026-07-19 22:23:26 +08:00 |
|
super
|
f3a25b5b16
|
后端优化修复问题
|
2026-06-18 18:53:16 +08:00 |
|
super
|
a90730336f
|
处理修复BUG
|
2026-06-14 16:48:20 +08:00 |
|
super
|
1c0c4613ee
|
修复删除asinBUG
|
2026-06-11 20:37:05 +08:00 |
|
super
|
687b193645
|
新增内容,新增拉起软件层
|
2026-06-08 09:19:15 +08:00 |
|
super
|
1dabf8f55f
|
提交更改
|
2026-06-05 21:25:03 +08:00 |
|
super
|
e540d8e765
|
feat: update task routing and coze handling
|
2026-06-03 17:14:50 +08:00 |
|
super
|
7310abd769
|
合并分支
|
2026-05-31 09:28:48 +08:00 |
|
super
|
705ccf70a5
|
提交货源流程优化
|
2026-05-25 22:16:50 +08:00 |
|
super
|
175144f729
|
更新这个货源
|
2026-05-22 09:41:31 +08:00 |
|
super
|
76695a31c6
|
提交一些更改
|
2026-05-20 09:05:28 +08:00 |
|
super
|
a1d658885f
|
修改完善这个专利部分
|
2026-05-15 16:06:12 +08:00 |
|
super
|
13171f99bd
|
后台管理接口修复 后端BUG修复
|
2026-05-12 21:03:42 +08:00 |
|
super
|
114440cb0a
|
提交打包
|
2026-05-07 16:21:35 +08:00 |
|
super
|
5fe1242cb1
|
提交更新
|
2026-05-06 00:01:49 +08:00 |
|
super
|
2fedcaecb8
|
处理一些合并冲突
|
2026-05-05 14:11:35 +08:00 |
|
super
|
b274def6ba
|
异常记录检测修改
|
2026-05-04 19:04:55 +08:00 |
|