fix(可观测): 让"续跑/兜底拉取没开"在日志里可辨识,并纠正与 yml 相反的默认值

V129 客户端中断自动续跑从上线至今一次都没执行过:aiimage.task-resume.enabled
继承 aiimage.client-task-pull.enabled,两台生产两个键都没设 → false →
resumeInterruptedTasks() 第一行 return。7 天 12 个「客户端异常中断」任务、
48 轮巡检 resume(s=0 r=0 k=0 u=0)、pull-pending 1 小时 4443 次空返回,
在日志上与"恰好没有中断任务"完全同形。

不改开关(属产品语义:兜底拉取会把用户只解析没点启动的 PENDING 真跑,
而外观专利占 LLM 花费 95% 且扣用户自付次数),已写进决策文档 §十三 交人工决定。
本版只做三件事:
- ResumeStats.ran:真查过库才算跑过;巡检段位改 resume(ran= s= r= k= u=)
- TaskResumeService / TaskClientPullService 各加 @PostConstruct 生效配置启动行
- @Value 的 enabled 默认由 :true 改为继承 client-task-pull.enabled:false(与 yml 同语义)

测试:TaskResumeServiceTest +4、TaskClientPullServiceTest +1,全量 3271 通过 / 0 失败。
This commit is contained in:
2026-09-28 16:52:33 +08:00
parent 293e1d54fb
commit 5e86c2806c
6 changed files with 247 additions and 4 deletions
+84
View File
@@ -702,6 +702,25 @@ health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SE
进程是 `nohup` 追加写、不能发信号重启 → 只能 `logrotate` 配 `copytruncate`(保留几轮 + 压缩)。
这是客户排障唯一的日志来源,保留策略要人点头,所以先记命令不执行。
### 8.1 16:2x 复测:本节"别砍重试"那句已经不成立,套餐是彻底空了
同一批口径在 16:19–16:23 重量了一遍,两处必须更正:
- **上游零成功**:`nohup.out` 尾部 4MB(≈92 分钟,实测增速 726 B/s)里
`POST /brand_check` **3,443** / `Forbidden` **3,444** / `代理池为空` **3,444** / `套餐不存在` **3,444**
—— 四个数全等,`grep '待解密-->' | grep -v Forbidden` = **0 条**。
上午那个样本里 310 次请求有 25 次没走到"套餐不存在"(约 8%),所以"每档还在救回 7–22%"当时成立,现在不成立。
- **档位落差是预算截断,不是救回率**:主机A 45 分钟窗口 `distinct brand` **291** 个,
`重试耗尽判定查询失败` 覆盖 **290** 个 = **99.7% 最终失败**,同期 `整批耗时预算用尽` **290** 次。
attempt 直方图 342→242→220→192→157→124→116→88→69 的递减,几乎全部由 90 秒预算掐断重试链产生
(每次掐断紧跟一条"重试耗尽"),**不能当恢复率读**。
- **服务与凭据都正常**(避免下次再往这个方向查):`:16890` 在听,loopback / 私网 / 公网 EIP 三条路都
**HTTP 200、0.7–2.2 秒**返回;带 `X-Token` 200、不带 422 → 36 位的 `AIIMAGE_BRAND_CHECK_TOKEN` 是对的。
本节现象**不是**超时、不是 token、不是 §四 的公网带宽。
- 因此上面"别顺手砍 java 的重试"这条**在套餐失效期无反对意见了**:10 次重试 × 递增等待现在只放大时延
(每分片回传最坏拖满 `total-timeout-millis=90000`),换不回任何品牌。是否临时压到 1 次待用户拍,
**套餐恢复后必须重新量 `distinct/exhausted` 两个数再决定重试档位**,别把止血参数留在永久位。
## 九、卡住自愈扫描会被一行的锁等待作废整轮(症状与根因两处都已修,取证在案)
§六 那轮复测顺手查出来的第二个缺陷,性质不同:**它不是网络,是我们自己的定时任务**。
@@ -1116,3 +1135,68 @@ RUNNING 行等满 5 分钟阈值"一致,是兜底在正常工作,没有作
(`Task is busy` + RUNNING),旧包靠 stuck 扫描按时间判死它,新包先由开机回收退回 PENDING、
再由 10 秒一轮的轮询重新捞起。两个修复接的是同一条链的两端。
## 十三、V129 客户端中断自动续跑:功能上线至今从未执行过一次(**开关要不要开,待人决定**)
查"客户端向已判死任务无限重推结果分片"时挖到的:**续跑整条链在线上一直是关的**,而日志上看不出来。
### 13.1 取证(两台,16:3x)
| 项 | 实测值 | 说明 |
| --- | --- | --- |
| 近 7 天「客户端异常中断」的 FAILED 任务 | 12 个 | 候选是有的,不是"恰好没活" |
| `已自动重新排队` 日志 | **0 条** | 该文案只在真的建了续跑子任务时打 |
| 巡检 `resume(s= r= k= u=)` | 48 轮全零 | 开关关了与没候选**同形**,这就是它藏了 10 天的原因 |
| env `AIIMAGE_TASK_RESUME_ENABLED` | 两台都**没有** | 查了 `docker exec java-server env` + 宿主机 `/opt/1panel/runtime/java/java-server/.env` + `run.sh` |
| env `AIIMAGE_CLIENT_TASK_PULL_ENABLED` | 两台都**没有** | 同上;续跑默认继承它 |
| `GET /api/tasks/pull-pending` | 1 小时 **4443 次**、每次返回空列表 | 兜底拉取同样关着;客户端每分钟来领,领不到也不报错 |
| 代码里 `@Value("${aiimage.task-resume.enabled:true}")` | 与 yml 相反 | yml 是 `${A:${B:false}}`,注解默认是死代码,但会把读代码的人带偏成"默认开着" |
生效路径:`task-resume.enabled=false` → `resumeInterruptedTasks()` 第一行 `return`,
所以那 12 个中断任务**一个都没被重新排队过**。
后果实证(同一次排查里读到的):外观专利 29477 / 29478 / 29480 三个任务 0 分片落库、被标 FAILED 后,
客户端在 15:16–15:44 仍每 ~3.7 分钟推 3 次分片、被拒约 18 次/小时 —— 任务已经判死,没人把它救回来。
### 13.2 为什么开关我自己不拧(这不是技术判断,是产品语义)
1. **兜底拉取的语义是"已解析但页面没推进队列的任务,客户端来领了直接跑"**。PENDING 的定义就是
用户在页面点了"解析"、还没点"启动"(或点了但推送失败)—— 服务端**分不出这两者**。
打开后,用户单纯解析出来放在那儿的任务会在 `min-pending-minutes`(默认 5 分钟)后自动真跑。
白名单默认含 `APPEARANCE_PATENT`,而这个模块占平台 LLM 花费的 95%(后台「LLM 使用」口径)、
扣的是**用户自己的次数**。
2. 只开续跑、不开兜底拉取**没用**:续跑子任务落在 PENDING,线上唯一会消费它的就是兜底拉取,
没人领就在 2 小时后被 `StaleTaskRepairService` 标失败 —— yml 那句注释"拉了没人领的话,续跑任务只会积压并被 stale 判死"就是这个意思。
3. 双爬风险没排除:页面 activate 与拉取认领是同一行的 CAS(PENDING→RUNNING),互斥成立;
但"客户端本地队列已在跑、服务端却还看到 PENDING"这种状态有没有过,**我没取证**,
所以不能说开了之后一定不重复。
一条已被否掉的替代修法(写在这是为了别再评估第二遍):**收到结果分片就把 FAILED 任务复活**。
不行 —— 从中断到"复活后首次接受分片"之间被拒的那些分片永久缺失,而 `completeSubmittedChunk`
不校验 `chunkTotal`,结果是一份**静默残缺的"成功**(比现在显式失败更坏,外观专利是判侵权用的)。
### 13.3 这一版改了什么(只到"看得见"为止,不改行为)
- `ResumeStats` 加 `ran`:本轮真的查过库才算跑过。开关关 / 模块未注册 → `ran=false`。
- 巡检 summary 的续跑段位由 `resume(s= r= k= u=)` 改成 `resume(ran= s= r= k= u=)`。
- `TaskResumeService` 与 `TaskClientPullService` 各加一行启动日志打生效配置
(`[task-resume] 生效配置 enabled=… maxAttempt=… windowMinutes=… limit=… modules=…` /
`[client-task-pull] 生效配置 enabled=… moduleTypes=… minPendingMinutes=… limit=… handlers=…`),
以后发版后第一件能读到的就是"这两个开关到底是几"。
- `@Value` 的 enabled 默认改成 `${aiimage.task-resume.enabled:${aiimage.client-task-pull.enabled:false}}`,
与 yml 同语义(线上仍是 false,**本版发完续跑依然不会跑**,这是有意的)。
### 13.4 待决定的两条路(选一条,或都不选)
- **开**:`AIIMAGE_CLIENT_TASK_PULL_ENABLED=true`(写进宿主机 `/opt/1panel/runtime/java/java-server/.env`,
必须 `export KEY="value"`,`/.env` 这一层要重启 java 才生效 —— 配方见本文第三节那条 env 说明)。
建议同时收窄:白名单先只放 `SIMILAR_ASIN,COLLECT_DATA`(把 `APPEARANCE_PATENT` 摘出去,别一上来动 95% 的花费),
`min-pending-minutes` 从 5 抬到 30,`client-task-pull.limit` 保持 5。
收益:长任务遇客户端更新自动续跑,用户不用手点。
代价:解析后没点启动的任务会被自动跑,用户侧表现为"没点却跑了/次数被扣"。
- **不开**:把每周约 12 个中断任务当成人工重跑成本(现状即如此)。
若想少挨骂,代价更低的替代是在管理端/客户端加一个「重跑中断任务」按钮 —— 不改变自动行为,只省一次重新解析。
**Why:** 这两件事(自动续跑要不要真跑用户没点的任务)不是我能替产品定的,而"日志上看不出来"是可以修的,所以只修了可观测。
**How to apply:** 下次看到 `resume(ran=false …)` 别当 bug,那是开关没开;开了以后 `ran` 必须每轮都是 true,
否则就是模块 SPI 没注册(`[task-resume] 可自动续跑模块注册完成 count=0` 会在启动行里)。