Files
crawler-plugin/docs/ops/prod-decisions-2026-09-28.md
T
huangzd1997 293e1d54fb docs(运维): §12.6 开机自回收上线验收,并更正按文案计数这条判据口径
回收日志 count=3 出现在启动后 9.9 秒,三条在飞作业 retry_count 跨发版一个没涨(含已到 3 的 20833)。
同时记下 error_message 会被下一轮处理覆盖, reclaimed_rows 读到 0 不等于机制没工作。
2026-09-28 16:16:12 +08:00

1119 lines
97 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 生产待人工决策清单(2026-09-28 夜)
本轮已上线的改动列在第一节,后面每一条都是**代码里做不掉、需要人拍一次**的动作。
条目按"建议处理顺序"排,不按发现顺序。
## 一、今夜已完成(无需再决策,列出便于核对)
| 提交 | 改动 | 状态 |
|---|---|---|
| `8536ddb3` | 外观专利行重发加轮次上限,超限就地判失败并写明原因 | 已上线 |
| `6a82697a` | MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min | 已上线 |
| `2d33f478` | 用户态接口的 `user_id` 归属改由令牌身份判定(只绑定、暂不要求凭据) | 已上线 |
| `10dec56e` | 外观专利:完成标记只打在真正落库的行上(少回的行撤销重发) | 已上线 |
| `dd06a1cf` | 货源主图转存:连接级失败做有界重试,失败行日志带上真实原因 | 已上线(实测见 §6.1) |
| `a6e4a589` | 货源主图重试改走备用域名,绕开被钉死的坏 CDN 节点 | 已上线(实测见 §6.3) |
线上产物:`162,590,216 B` / md5 `b834d489c8640fd1f6cc9d51238f4606`,两台一致。
(当前线上已推进到 `162,592,865 B` / md5 `0c941fc78f64a39676e22fe9c301a01c`,12:32 发 B、12:33 发 A,两台一致;
中间那版是 `03eb1049c19ff58f3d8df423aeb6d0e9`。)
(今夜此前两版:`e97fd273473db849b705a766b7b505c7` → `e0854c23cc99344a6ddadbf2019e08bf`。)
发版后回读(重启后 5–15 分钟窗口,A 4780 行 / B 530 行日志):健康 200、Flyway 137 up to date、
instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-guard] rejected` 0 条、
`重发轮次已达上限` 0 条(无误杀)、`本批结果未全部落库` 0 条。
**A 上重启时确有一批外观 LLM 在飞**(03:15:36 发出 5 品请求),03:20:52 该任务
`llm batch done taskId=29447 jobId=20802 rows=10` —— 中断后自行续跑并交付了一批,
本轮未出现开机自回收日志(ready 时没有心跳已停的遗留 RUNNING,属正常分支)。
发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。
### 附:中间件侧今夜已做的五处线上改动(改的是主机配置,列此便于回滚;④⑤另有代码/提交)
| 改动 | 机器 / 对象 | 前 → 后 | 回滚 |
|---|---|---|---|
| cgroup 内存上限抬高 | A `1Panel-mysql-zbja` | 6 GiB → **10 GiB**(实占 3.14 GiB) | `docker update --memory 6442450944 --memory-swap 6442450944 1Panel-mysql-zbja` |
| cgroup 内存上限抬高 | B `aiimage-mysql-replica` | 2 GiB → **3 GiB**(实占 1.67 GiB,已到 84%) | 同上,换数值与容器名 |
| cgroup 内存上限抬高 | B `shufu-device-logs-minio` | 2 GiB → **3 GiB**(实占 1.82 GiB,已到 **91%**,再涨就是 OOM) | 同上 |
| nginx 请求体上限 | B `git.aishufu.top` 站点 server 段 | 继承 http 级 `50m` → 本站 `1024m` | 同目录留了 `.bak-<时间戳>`,`cp` 回去 + `nginx -s reload` |
| OSS 端点拆分 | 两台 `/.env` + jar(提交 `b7ae4478`) | 服务端读写:公网域名 → **`http://192.168.0.171:9000`**;预签名仍公网 | 删 `/.env` 里 `AIIMAGE_OSS_INTERNAL_ENDPOINT` 那行(有 `.bak-…`)+ 重启 java |
| RocketMQ 走私网 | B broker.conf + 两台 `/.env` | `brokerIP1` 公网 EIP → **`192.168.0.170`**;namesrv 追加覆盖为 **`192.168.0.170:9876`** | 各自 `.bak-20260928094413` / `.bak-…` 复原 + `docker restart 1Panel-rocketmq-ZnP2-rmqbroker`、`docker restart java-server` |
三条硬约束,下次改之前先看,否则会踩:
1. **`docker update --memory` 必须同时给 `--memory-swap`**。只给 `--memory` 且新值大于旧的 swap 上限时,
Docker 直接拒绝(`Memory limit should be smaller than already set memoryswap limit`),
而这条错误只在 stderr 里 —— 用 `... 2>&1 | sed 's/^/ /'` 或显式打印 `${PIPESTATUS[0]}` 才看得见,
写 `&& echo 成功` 会把它吞成一个假成功。改完必须回读
`cat /sys/fs/cgroup/memory/docker/<全ID>/memory.limit_in_bytes` 确认真的落地了。
2. **改 nginx 要改宿主机侧的 bind mount 源**,不是容器里的路径。容器 `/usr/local/openresty/nginx/conf/conf.d`
的源是 `/opt/1panel/www/conf.d`(用 `docker inspect -f '{{range .Mounts}}…'` 拿,别猜)。
改完 `nginx -t` 再 `nginx -s reload`(reload 不断连接,无需重启容器)。
3. **宿主机层面的 `ss` 看不到容器 netns 里的连接**。今晚"java 没连 MQ""nacos 无人使用"两个结论都由此产生,
都是假的;正确姿势是先 `docker inspect -f '{{.State.Pid}}' <容器>` 再 `nsenter -t <pid> -n ss -tn`。
另注意 `ss -tn` 的列序是 `State Recv-Q Send-Q Local Peer`,**对端在第 5 列**(我第一版取了 `$4`,
统计出来的全是本端端口,看着像"全连到 172.19.0.2",其实是把本地地址当真了)。
4. **1Panel 的 openresty 站点访问日志不在 `/usr/local/openresty/nginx/log/`**。按那个路径 zcat 会得到空结果,
而空结果和"确实没有 413"长得一模一样。真实位置是容器 `/www/sites/<站点>/log/access.log`
(宿主机 `/opt/1panel/www/sites/<站点>/log/`),另有部分服务写 `/dev/stdout`。
凡是"某类错误 0 条"的结论,都要**同时报该文件的总行数**自证读到了东西。
改完的验证:nginx 侧用 60MB 体打 `git.aishufu.top`(127.0.0.1 回环 + `--resolve` 指站点)得到
**405 / 0.113s**(进了 Gitea 应用层,说明代理不再拦),对照未改的 devops 站仍是 **413**。
### 附:健康评估报告第 6 条(外观/货源"静默降级")已核,不必再追
报告称 `allRowCount` 读失败 `return 0`、`loadAllRowsByBaseId` 读失败返回空,会把期望行数压低造成"假完成"。
逐个调用点读完后的结论是**不成立**,记录在此免得再查一遍:
- `allRowCount` 的返回值只喂两处:`FileResultEntity.row_count`(列表页显示的"共 N 条")和进度分母。
两处都写了"0 不覆盖已有非零值"(`finalizeTask` 的 `rowCount > 0 ? rowCount : result.getRowCount()`、
货源 `resolvePythonUploadProgress` 的 `totalRows <= 0 && uploadedRows > 0` 兜底),
而 `createResultRecordForAssembly` 的兜底分支自己会重读载荷,读不动时异常照常上抛。
**没有任何成功/失败判定吃这个数**。
- 真正的完成判定是 `validateCompleteLlmCoverage`,它的分母来自 `assembleResultWorkbook` 里
**不带 try/catch 的** `readParsedPayload(task)`——载荷坏了会直接抛,不会静按 0 行放行;
覆盖率低于 `llm-coverage-min-ratio`(默认 0.5)时抛"LLM 结果不完整"。
- `loadAllRowsByBaseId` 返回空只影响 `expandRows` 的同组兄弟回填,**不影响发不发检测**
(候选行来自分片自身的 `readChunkRows`),落库匹配也不看它。所以后果是"兄弟行各发一次、多扣几次",
而不是丢行。
- 顺着这条链查到的是另一个口子,已在 `10dec56e` 修掉:整批完成标记此前不区分"结果有没有真的写进分片"。
## 二、需人工决策
### 1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据"
现状(今晚重新取证,非引用旧笔记):
- 数据归属由请求参数 `user_id` 决定:controller 层共 **19 个文件**出现 `user_id`,其中只有 **2 个**文件里
出现过任何身份调用(`requireUser` / `requireUserOrInternal` / `currentUser`)。这是文件级统计,
端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。
- `aiimage.security.user-tool-guard-enabled` 默认 **false**,生产未覆盖 → query-asin / similar-asin /
appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。
- 桌面客户端 `app_client` 对这 14 个前缀共 **15 个调用文件**,其中只有 **4 个**文件里出现过任何凭据头
(collect-data 2、price-track 1、shop-match 1)。文件级统计是**上界**——同一文件里也可能只有一部分
请求带抬头。
- `AdminApiGuardFilterTest`(HEAD 版,20 个用例)对当前代码全绿。
两个可分开的动作:
| 动作 | 效果 | 代价 | 状态 |
|---|---|---|---|
| **A. 绑定**:请求带 JWT 时,校验 `user_id` 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 | 已登录用户不能再互相冒读,19 个 controller 文件不用逐个改 | 对匿名与内部令牌调用零影响 | **已实现**(见下"绑定的落地依据") |
| **B. 要求凭据**:把上述前缀纳入兜底鉴权(开关置 true) | 未登录直接 401 | 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 | **等客户端普遍携带凭据之后再开** |
绑定的落地依据(今晚逐条查证,不是推断):
- 角色词汇表只有三态:`DeviceSessionPolicy.resolveRole` 只会返回 `super_admin` / `admin` / `null`,
没有第三种"员工"角色;生产 `users` 表 135 个账号分布为 `normal` 子账号 120、`admin` 子账号 13、
`admin` 1、`super_admin` 1 → 管理员豁免面闭合。
- 网页端 `getCurrentUserId()` 读 `localStorage['uid']`,而 `uid` 由登录响应 `data.userId` 写入;
`AuthService.buildResult` 里 `vo.setUserId(user.getId())` 与 `jwtService.issue(user.getId(), …)` 同源
→ 诚实客户端的参数**恒等于**令牌主体,正常用户不会撞 403。
- `frontend-vue` 各 tab 一律传 `getCurrentUserId()` / `uidForStorage()`;只有 `admin-frontend-vue` 传任意
`user_id`,而它是管理员身份 → 落在豁免里。
- 带凭据的 4 个桌面模块(`price_match_new` / `search_spider` / `tool` / `log_uploader`)用的都是
`X-Internal-Token`,在 `shouldNotFilter` 里由 `isTrustedInternalToken` 提前整体放行,**不参与绑定**。
- 实现范围刻意收窄到 `USER_TOOL_PREFIXES`:`/api/admin`、`/debug`、自助接口仍只做"有没有身份",
不做参数比对,避免误伤后台里合法传他人 id 的流程。
- 代价:每个带 `user_id` 的用户态请求会多走一次 `requireUserOrInternal`。匿名请求在 `resolveToken`
处即抛 `BusinessException`(未登录)返回,**不查库**,但会构造一个带栈异常。按现网这个接口的
轮询频率,量级可忽略,若日后要省掉,可加"仅在带了凭据线索时才解析"的短路。
紧急回退仍是一个:`aiimage.security.admin-guard-enabled=false` 会把绑定与原有兜底一起关掉。
若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。
### 2. 主机A MySQL:`8G` 上限冲突已按"抬上限"解掉,生效值 10:2x 也读到了 —— 结论是这台不用调
`/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `innodb_buffer_pool_size=8G`(instances=8),
容器上限已从 6 GiB 抬到 **10 GiB**(今夜已生效,回读 `memory.limit_in_bytes=10737418240`;
实占 3.14 GiB,宿主机 30 GiB 里还有 19 GiB available)→ OOM 悬崖拆除,`8G` 原样保留。
两件事没做掉,需要人:
- **A 的生效值 10:2x 读到了**:`bp_mb=8192 / max_conn=500 / lock_wait=50 / ver=8.4.8 / trx_commit=1`
→ 8G **没有被截断**,实占 RSS 3.145 GiB(池是懒加载,还没涨满,上限已是 10 GiB 所以涨满也不会被杀)。
失败原因确认了:容器里 `MYSQL_ROOT_PASSWORD` 那份**不是库的 root 口令**(`ERROR 1045 … using password: YES`),
而 `docker exec … sh -c '…$MYSQL_ROOT_PASSWORD…'` 在 Python 侧的单引号里又根本不会展开 —— 两次"读不到"是两回事。
读到的这次走的是**业务账号 + `--defaults-extra-file`(容器内 600 权限临时文件,用完 `shred -u`,容器内外各查过 0 残留)**,
口令全程不落到输出里。顺带确认 `performance_schema` 对 `aiimage_backend` 依旧是 1142 拒(和旧笔记一致),
但 `SELECT @@…` 和 `SHOW GLOBAL STATUS` 不需要它,所以"读不到生效值"这件事本来就不必等人。
- **同一批读数说明这台没有可调的点**,别照着"buffer pool 可能太小"去动它:
`Innodb_buffer_pool_read_requests` 53,799,770,917 对 `Innodb_buffer_pool_reads` 31,531
→ **命中 99.99994%**,物理读基本不存在;`Max_used_connections` 历史峰值 **45**(上限 500),
当前 `Threads_connected=13`、`Threads_running=3`;Hikari 两台各 `max=30 / min-idle=5`(合计 60),
远没顶到 MySQL 上限;`Innodb_row_lock_waits` 累计 354,326 次但 `time_avg=7ms`。
也就是说这台的时间花在**锁的尾部**(本节末那条以及第一版健康评估里的 581 条锁等待统计),不在内存、不在连接数、不在 IO。
`Aborted_connects` 3,250 与 `TcpExtListenDrops=6` 都是累计值、10 秒窗口内 `TcpRetransSegs` 无增长,不构成信号。
- **docker update 是运行态改动,容器重建就回滚到 6 GiB**。1Panel 的 compose 用的是
`memory: ${MEMORY_LIMIT}`,而 A/B 两台每个应用的 `.env` 里都写着 `MEMORY_LIMIT=0`(0=不限),
说明这个 6 GiB 不在 `.env` 里、是 1Panel 界面/数据库里配的。**要让它扛得住重建,得在 1Panel 控制台把
mysql 容器限额改成 10G**(或者按 `MEMORY_LIMIT=10737418240` 写进 `/opt/1panel/apps/mysql/mysql/.env` 后重建容器)。
同一条适用于 B 的 `aiimage-mysql-replica`(2G→3G)和 `shufu-device-logs-minio`(2G→3G)。
同机顺带一条(未动):`innodb_lock_wait_timeout` 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条),
这个阈值对业务侧的表现需要一并看一眼是否要调。
### 3. 主机B 的 `aiimage-mysql-replica`:取证已补齐(活着、滞后 0 秒),结论是**先别做读分流**
08:2x 直读副本状态(`SHOW REPLICA STATUS`):
```
Source_Host: 192.168.0.171 Source_Port: 3306
Replica_IO_Running: Yes Replica_SQL_Running: Yes Seconds_Behind_Source: 0
生效 innodb_buffer_pool_size = 1.0000 G(限额已 2 GiB → 3 GiB)
```
也就是"追不追主库"这一条已经解决:**在追,滞后 0 秒,而且走的是 VPC 私网 `192.168.0.171`**
(这一条顺带把"公网 3306 能不能收掉"的顾虑排掉了,见第五节第 1 条)。
第二件取证(A 的瓶颈是否落在读上)**答案是否**:上一轮慢日志拆下来锁等待 581 条 vs 大扫描 44 条,
把读挪到副本对锁等待无解,只会新增一层"应用要区分读写源"的复杂度和一套副本专属的故障面。
`super_read_only` 是否置位**没读到**,真要启用分流前先确认它,否则分流第一天就可能有人往副本写。
所以本条从"待取证"降级为**已知可用、暂不接入**。触发重新评估的条件写清楚:
当慢日志里大扫描/报表类查询占比明显上升,或者要做"导出全量结果"这类一次性大读时,
副本是现成落点(外观与货源的 LLM 阶段只读库、不依赖本地文件,分流前提成立)。
### 4. 软件版本对象的真删开关仍是 dry-run
`aiimage.software-version.retention-dry-run` 默认 true(只记日志不删对象)。要启用真删,
先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。
### 5. V137 的 20 个冗余索引还只是 INVISIBLE
V137 只把它们置为不可见,**观察 1~2 周慢日志无退化后要追加 V138 执行 DROP**,否则索引仍占空间、
仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。
### 6. 后台「LLM 使用」的次数口径变了,要提前打招呼
外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,**统计次数约掉到 1/6.7**。
这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多
(约 30–45%),且走的是用户自己的 apiKey 额度。
### 7. 监控指标:端点根本不存在,告警无从挂起
`backend-java/pom.xml` 只有 `spring-boot-starter-actuator`,没有 `micrometer-registry-prometheus`;
线上 `GET 127.0.0.1:18080/actuator/prometheus` = 404,`/actuator` 只列 health。
仓库里那 49 个 `aiimage.*` 指标名从未被任何面板抓到过(`TaskObservabilityMetrics` 无 `@Component`、
main 代码零调用者)。
要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 **18080 在主机A 是公网直连**,
一旦暴露 `/actuator/prometheus` 就等于公网可读的运行指标,需要同步把它从公网收掉
(只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的
`taskId= / stage= / jobId= / costMs= / moduleType=` 字段做告警。
### 8. `backend/config.py` 里的平台自身明文凭据
该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。
处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。
### 9. 主机A 的 Nacos:10:13 已停 —— 不只是白吃 2 GiB,它是"鉴权关闭 + 端口对公网开"
取证链(两条都是今晚重跑的,不是引用旧笔记):
- 在 **nacos 容器自己的 netns** 里数 8848 的 established = **0**(`nsenter` 后的结果,
避开了宿主机 `ss` 看不见容器网络的那个坑)。它那两条 ESTAB 的对端是 `172.22.0.2` ——
**就是它自己的容器 IP**(`nacos_default` 这个网络里只有 nacos 一个成员,`7848` 是它自己的 raft 口),
所以是自我连接,不是客户端。
- Java 侧 `env` 里没有任何 `NACOS` 变量(键数 0),进程 cmdline 里没有 `nacos` 字样;
两台挂载的 `/app/application-server.yml`(271 行)里 nacos 出现 **0 次**;仓库里除了本文档也没有 nacos 引用。
- 宿主机 `ss -tn` 到 8848/9848 命中 0 条(A 与 B 都查了)。
**改前漏看、这次补上的一条(比内存更要紧)**:
- `docker port` 显示 **8080 / 8848 / 9848 全部绑在 `0.0.0.0`**,而 `HostConfig.Memory=0`(无上限)。
- 容器里 `NACOS_AUTH_ENABLE=false`、`nacos.core.auth.enabled=false`(同一文件里
`nacos.core.auth.admin.enabled=true`、`console.enabled=true` 是 2.3+/3.x 的分层开关,还开着)。
- access_log 里近 14 天净是外部扫描:`GET /nacos/v1/cs/configs?...search=blur&pageSize=1000&tenant=*`(配置全量导出的招牌探测)、
`GET /nacos/v1/auth/users?pageNo=1&pageSize=9`、还有伪造 `User-Agent: Nacos-Server` 的请求(就是那个老 bypass),
来源是 40 个互不相干的公网 IP,`curl`/`python-requests`/浏览器 UA 混杂,**没有一条来自两台内网地址**。
- **没有证据表明被读到过东西**:`nacos/v1*` 相关请求近 14 天共 73 条,状态码是 **70 条 500 + 3 条 404,0 条 2xx**。
镜像是 `nacos/nacos-server:v3.2.1`,v1 的这批接口在它上面本就不存在,所以探测全落在错误上。
(别把这句读成"安全":500 而不是 401 也说明服务端确实**没在鉴权**,只是没有对应的接口可打。)
**动作(10:13,可一条命令回滚)**:`docker stop 1Panel-nacos-dsLA-standalone`。
回滚 = `docker start 1Panel-nacos-dsLA-standalone`。效果与验证:
- A 的 `MemUsed` 10 GiB → **8 GiB**、`available` 20 → **22 GiB**。
- 停后 60 秒:java `health=200`、近 2 分钟 `ERROR` **0 条**(该窗口日志 423 行,自证读到了东西)、
货源作业 `[task-file-job] … jobId=20805 stage=WAIT_LLM` 照常推进。
- **数据没动**:`/opt/1panel/apps/nacos/nacos/data/data` 2.1G(`derby-data` 建自 5-14,7-29 还在写),
所以哪天要用,起来还是原来那套;**别顺手删容器或 app 目录**。
我选"停"而不是原计划的"压到 512m",理由有两个,都写在这儿免得下次重判:
①它的 JVM 是 `-Xms2g -Xmx2g -Xmn1g` 且容器**无限额**,压到 512m 会当场被 cgroup 杀掉,
要降必须先改 `JVM_XMS/JVM_XMX` 并重启它 —— 那和停掉的成本一样,收益却小得多;
②停掉同时消掉了 8848/9848/8080 这个对公网开的无鉴权面,压内存只解决钱不解决门。
**遗留给人拍板的**:如果确认这套 nacos 以后也不用于服务发现,就在 1Panel 里把它**卸载或至少改成只绑 127.0.0.1**,
并把 §五 的安全组清单加上这三个端口。
## 三、已解决:Gitea 那 7 个提交推上去了(08:10)
远端 `master` `56913563 → 7aa9f3df`,回读 `git rev-list --left-right --count origin/master...HEAD` = `0 0`。
之前"工作站上没有任何可静默使用的凭据"这句话是**假阴性**,成因是 Git Bash 的路径转换把
`cmdkey /list` 变成了别的调用(要写 `cmdkey //list`)。实际凭据管理器里早就有
`git:https://gitserver@git.aishufu.top`。可用的静默推送咒语:
```bash
GIT_TERMINAL_PROMPT=0 GCM_INTERACTIVE=never GCM_PROVIDER=basic git push origin master
```
GCM 会 warn `no such provider 'basic'` 然后回退自动探测 —— **这个 warn 无害、照样成功**,
关键是 `GCM_INTERACTIVE=never` 让它不再弹"选哪个 helper"那 90 秒。
退出码必须重定向到文件再看:`git push | tail` 拿到的是 `tail` 的 0,不是 git 的。
## 四、今晚新查出来的:两台之间的流量大量走公网,只有 5–8 Mbps
这是本轮最有价值的一条,因为它解释了一批"莫名其妙慢/超时"的老问题,而且**修它的代价是配置项级别的**。
### 4.1 实测带宽差(30MB 测试体,08:3x)
| 路径 | 结果 | 折算 |
|---|---|---|
| A → A 公网 `https://oss.aishufu.top`(**Java 现在写对象走的就是这条**) | 3.37 MB / 3.45 s | **≈ 0.98 MB/s** |
| B → A 公网同一入口 | 3.23 MB / 3.27 s | ≈ 0.99 MB/s |
| A → B 公网 `https://download.aishufu.top` | 27.5 MB / 45 s(撞 max-time) | **≈ 0.61 MB/s** |
| A → A 私网 `http://192.168.0.171:9000` | 5.5 MB / 0.006 s | ≈ 900 MB/s |
| B → A 私网同一入口 | 6.75 MB / 0.009 s | ≈ 750 MB/s |
| A/B → B 私网 `http://192.168.0.170:9000` | ≈ 0.009–0.026 s | 1.1–3.5 GB/s |
路由已确认 `ip route get 47.110.241.161`(在 A 上)= `via 192.168.0.253 dev eth0` ——
**发往自己的公网 IP 也要出 VPC 网关绕一圈**,所以"回环"确实吃公网额度。
公网与私网差 **约 1000 倍**。
对上面 A→A 那两行的诚实注脚:服务端提前回了 400,只发出去 3.3MB,样本里含 TCP 慢启动。
但该路径 RTT 只有 11 ms(TLS 首字节实测 `connect=0.000705s tls=0.010896s`),
11 ms RTT 下慢启动几百毫秒就能爬到几百 MB/s,3.45 s 发 3.37MB 解释不通,
而且跨机那条持续 45 s 的 0.61 MB/s 是干净的持续值 —— 结论(公网 ~5–8 Mbps)不受这个瑕疵影响。
### 4.2 现在还有哪些地址指公网(A 上 java-server 的 env 逐项对过)
| 配置 | 当前值 | 走公网? |
|---|---|---|
| `AIIMAGE_OSS_ENDPOINT` / `public-endpoint` | `https://oss.aishufu.top` | **是**,且是 A 指向自己的回环 |
| `AIIMAGE_ROCKETMQ_NAME_SERVER` | `121.196.149.225:9876` | **是**,跨机走公网 |
| `AIIMAGE_TRANSIENT_STORAGE_ENDPOINT` | `http://192.168.0.170:9000` | 否 |
| `AIIMAGE_DEVICE_LOG_OSS_ENDPOINT` | `http://192.168.0.170:9610` | 否 |
| `AIIMAGE_REDIS_HOST` | `192.168.0.172` | 否 |
| `AIIMAGE_DB_URL` | `192.168.0.171:3306` | 否 |
副本复制也已经在私网(`Source_Host: 192.168.0.171`)。所以**剩下的公网依赖只有两处:OSS 端点和 MQ namesrv**。
MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `47.110.241.161`(A 的公网 IP)的 established 连接,
也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。
### 4.3 两处改法(一条已做完,一条需要人配合)
- **OSS 端点拆分:已上线(提交 `b7ae4478`,两台线上 md5 `02357a89da2100689565319462d9db29`)**。
新增 `aiimage.oss.internal-endpoint`(env `AIIMAGE_OSS_INTERNAL_ENDPOINT`,默认空=沿用 `endpoint`,
所以不带 env 的环境行为与今天完全一致),只给服务端读写的 client 用;
预签名改用 `public-endpoint` 那张 client,浏览器直传 URL 的 host 不变。
生产两台的 env 落在 `/opt/1panel/runtime/java/java-server/.env`(`run.sh` 第 3 行 `source /.env`;
**该文件里 AIIMAGE_* 全是 `export` 形式,不加 export 传不到 java 子进程**),
写前留了 `.env.bak-2026092809285x`,回滚=删掉那一行再 `docker restart java-server`。
启动日志新增一行可直接回读生效值:
`[oss] 服务端读写端点=http://192.168.0.171:9000(预签名端点=https://oss.aishufu.top)`(两台都已打出)。
连接方向也已实测翻转:A 的 java netns 里出现 `192.168.0.171:9000`,原先的 `47.110.241.161:443` 消失。
副作用两条要记着:对象流量**不再经过 A 的 nginx**(那一层的访问日志看不到了),
服务端到 MinIO 变成明文 HTTP —— 只在 VPC 内,SigV4 不泄露密钥,可接受。
- **MQ 走私网:已上线(09:44 改 broker、09:53 改 namesrv,两台都重启过)**。
**先纠正我上一版的取证错误**:我写"broker.conf 里没有 `brokerIP1`"是查错了文件 ——
容器里 `/home/rocketmq/rocketmq-5.5.0/conf/broker.conf` 是发行包自带的那份,
broker 实际加载的是 `-c /opt/rocketmq-5.2.0/conf/broker.conf`(bind 自宿主机
`/opt/1panel/apps/rocketmq/rocketmq/data/broker/conf/broker.conf`),它第 8 行**一直写着**
`brokerIP1=121.196.149.225`。所以注册地址不是自动探测出来的,是 1Panel 装的时候就写死的公网 EIP。
动作与回读:
- ① 那行改成 `brokerIP1 = 192.168.0.170`,备份 `broker.conf.bak-20260928094413`,
`docker restart 1Panel-rocketmq-ZnP2-rmqbroker` → `mqadmin clusterList` 第 4 列变 `192.168.0.170:10911`,
容器 `running / OOM=false`,broker 日志无 error 关键词。**java 不用重启**:客户端每 30 秒刷一次路由表,
实测改前遗留的那条 `121.196.149.225:10911` 长连接在约 1 分钟后自行消失,换成 `192.168.0.170:10911`(两台都是)。
- ② namesrv:`AIIMAGE_ROCKETMQ_NAME_SERVER` **不在 `/.env` 里**(`/.env` 只有 7 个 AIIMAGE_ 键,
其余 34 条来自容器创建期的 `Config.Env`),所以是往 `/.env` **追加**一行
`export AIIMAGE_ROCKETMQ_NAME_SERVER="192.168.0.170:9876"` 来覆盖(`run.sh` 第 3 行 `source /.env` 晚于容器 env)。
两台各留 `.env.bak-…`,`bash -n` 通过。B 先重启验证,A 随后。
启动日志可直接回读:`a producer (aiimage-backend-producer) init on namesrv 192.168.0.170:9876`,
consumer 容器 `nameServer='192.168.0.170:9876'`,两台 ERROR 0 / health UP。
- **一个反复踩到的读值坑**:`docker inspect -f '{{.State.Pid}}'` 拿到的是**入口进程**(`entrypoint.sh` → `bash /run.sh`),
读它的 `/proc/<pid>/environ` 只会看到 `Config.Env` 那层的**旧值**,java 是孙进程。
**`/proc/<pid>/environ` 只反映该进程最后一次 `execve` 时的环境,shell 之后 `source /.env` 的内容不会回写进去** ——
所以读覆盖后的真值要在宿主机上 `JP=$(pgrep -f 'aiimage-backend.*jar' | head -1)`,再
`tr '\0' '\n' < /proc/$JP/environ | grep AIIMAGE_ROCKETMQ`。
11:1x 用这条把同一个键的三层读全了(两台结果一致):
`Config.Env` = `121.196.149.225:9876`(创建期旧值)→ 入口进程 environ = **同上旧值**(这就是那个假象的来源)→
java 子进程 environ = **`192.168.0.170:9876`**(真值,`/.env` 的 export 赢了,因为 source 发生在 java 启动之前)。
两条推论:① 判生效值最省事的还是读启动日志那行 `init on namesrv …`,或者直接看 netns 里 `ss -tn` 的对端 IP;
② `Config.Env` 里那条公网旧值**不用清**,`/.env` 每次启动都会盖住它;但反过来,**只要有人绕过 `run.sh`
直接 `docker exec` 起进程,就会退回公网值**,所以别用 `docker exec` 手工重启服务。
- **改后的真实消息已回读**(不是只看连接方向):`10:12:07.553` A `mq published jobId=20831 moduleType=PRICE_TRACK`
→ `10:12:07.921` B `ConsumeMessageThread_2 … jobId=20831 process success`,**跨机投递耗时约 370ms**;
`10:14:10` 的 `jobId=20832`(BRAND)由 A 自己消费并 `finalized success`;B 近 45 分钟消费 9 条、A 消费 3 条,
**publish failed / 熔断 = 0**。改完后两台到 MQ 的对端**只剩** `192.168.0.170:9876` 与 `:10911`,公网那条彻底没了。
- 顺带实测到一条**跨机竞争消费本来就是通的**(改前的公网路径上):A `09:03:16 mq published jobId=20828`
→ B `09:03:16 ConsumeMessageThread_7 … jobId=20828 process success`,`09:10:57/58` 的 20829 同样。
所以 MQ 确实在承载结果文件作业(A 近 12 小时 publish 25 次、两台都有消费线程活动),不是空配置。
- 收益如我先前判断:省的不是带宽而是**耦合** —— 文件流量打满 5 Mbps 时不再把作业通道一起拖死。
重启 A 之前它有 3 个货源作业在 `WAIT_LLM`,重启后 20791/20805/20825 全部继续被 `task-queue-*` 处理,
等于顺手把今晚上线的**重启续跑语义**在真实负载下验了一遍。
### 4.4 VPC 内的实际延迟与"内网对象通道有没有变差"(10:3x 实测)
A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻):
| 对端 | 用途 | rtt | 备注 |
|---|---|---|---|
| `192.168.0.171:3306` | 主库(同机) | 0.033–1.72 ms | minrtt 0.001,本机 |
| `192.168.0.170:16379` | **redis master 在 B** | 0.147–0.319 ms | 哨兵发现的主,A 只留 2 条长连接 |
| `192.168.0.171:9000` | 主 MinIO(内网,今晚新走的路) | 0.334–0.823 ms | 37MB 上传中 `retrans:0/31`、重传字节 41,632/**37,662,303 ≈ 0.11%** |
| `192.168.0.170:9000` | 设备日志 MinIO | 0.28 ms | 累计收 536MB / 发 156MB,`busy 77s`,无重传 |
| `192.168.0.170:9876 / 10911` | namesrv / broker | 0.20–0.63 ms | 今晚切私网后新增 |
| `47.115.192.140:443` | **已认领:`cbu01.alicdn.com`(1688 商品图 CDN)** | **26.1–27.3 ms** | 全场唯一的高 RTT,杭州机 → 阿里深圳 CDN 节点 |
三条结论:
1. **跨机不是问题**:A→B 的 redis/MQ/设备日志全部 0.15–0.63 ms,比 A 到自己 MySQL 的最差那条(1.72 ms)还低。
所以"把 redis 或 MQ 挪回本机"这类改造**没有收益**,不要做。
2. **今晚切的内网对象通道没有变差**:那条 retrans 数字是我自己读错的产物 ——
我第一版 awk 用 `retrans:[0-9/]+` 去抓,命中了 `bytes_retrans:1632` 这个**字节**字段,
看着像 1632 次重传。原始行是 `bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23`,
即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 `TcpRetransSegs` 在 10 秒窗口里**一次都没涨**。
以后从 `ss -ti` 取重传,要么取 `retrans:` 那个字段,要么先把整行贴出来再判。
3. **那个 26 ms 的公网依赖已在 10:5x 认领:`cbu01.alicdn.com`(1688 商品图 CDN),货源链路**。
过程与证据(前一版写"认不出属于哪个业务调用",现在补上):
- 先按 IP 找:在 A 上逐个解析 java 配置里能抽到的外部主机,**没命中**;再换成"在 A 本机解析外部 CDN 域名"
(关键区别:CDN 按就近返回,我工作站上解析 `cbu01.alicdn.com` 拿到的不是这批 IP),
A 的解析结果是 `47.115.192.140 / 47.115.192.141 / 8.141.190.160 / 8.147.229.178 / 8.160.215.133 …` 共 **8 条 A 记录**
—— 目标 IP 是其中第一条。**这同时解释了它为什么时有时无**:我 10:5x 复查时 netns 里 established 共 20 条、
命中这个 IP **0 条**,因为客户端换了一批连接池里的另一个节点。
- 代码侧对得上:`SimilarAsinImageEmbedder.java:80`、`SimilarAsinLlmService.java:549`、`PuzzleImageMerger.java:218`、
`SimilarAsinProperties.java:52` 四处注释都在说 `cbu01.alicdn.com` 是**慢源**("带外站 Referer 稳定 403、
无 Referer 直接 200"、"会一直挂 8s 才进入 retry")→ 就是货源图片下载/内嵌那条路。
- 日志侧对不上是正常的:`grep -c alicdn` 近 20 分钟 java 日志 **0 条**(日志里不打完整图片 URL,只打 jobId/行数),
这条**不能当反证**;同一窗口 `media-amazon` 有 39 条,说明图片下载确实在跑。
- **结论:这不是我们能改造的东西** —— 它是外部 CDN,不存在"切内网"的选项,26 ms 是杭州→深圳节点的物理距离。
真要提速只有两档:图片已在库里的别重下(缓存命中),或把下载并发从 `image-download-pool-size=8` 往上抬
——但**公网出口只有 5–8 Mbps,抬并发只会互相抢带宽**,所以这条归入"不动"。
- 顺带纠正我自己前一版的取数:那组 rtt 写成 `0.405 / 26.104 / 26.303 / 27.314`,其中 `0.405` 与同 IP 的其它三条
差 60 倍,更像是 `ss -tni` 多行记录被我按行抓串了位,**不要拿它当"有一条快连接"的依据**。
## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配
这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。
- **A 上绑在 `0.0.0.0` 的端口一共 18 个**(10:2x 用 `ss -tln` 重数,之前这里只写了 5 个,是漏的):
`22 / 80 / 443 / 3001 / 3010 / 3306 / 6379 / 8085 / 8089 / 9000 / 9001 / 15126 / 16379 / 16890 / 17248 / 18080 / 26379 / 26739`。
其中 `9001` 是 MinIO 控制台、`15126` 是 Flask、`16379/26379/26739/6379` 是 redis 与哨兵,
`3001/3010/8085/8089/17248` 本次**没有逐个认领到具体容器**(别把这条读成"这些都是废弃端口")。
B 侧对照过:replica 的 3306 **只在 docker 网络内**,B 对外只有 443。
- **但"端口开着"不等于"能匿名进",这次逐个验了**:A 上有 4 个 redis 容器
(`shufu-redis-master` 8.6.2、`shufu-redis-sentinel` 7.4.0、`1Panel-redis-NmIe` 8.6.2、`redis_gzpa-redis_GZPa-1` 7.4.0),
对 `127.0.0.1:6379`、`192.168.0.171:6379`、`127.0.0.1:16379`、`127.0.0.1:26379` 各打一次 `PING`,
**四次都是 `NOAUTH Authentication required.`**,没有一次免口令成功 → 这四个口**不用改**,收端口只是为了不给爆破机会。
**`26739` 那口(`redis_gzpa-redis_GZPa-1` 映射到宿主 6379)本次没测**,别把上面这句推广到它。
(顺带纠正:`ss -tln` 会同时列出**共享同一 netns 的容器**的监听口,所以第一版"五个容器都在听 6379"是共享网络的产物,
真实对外映射只有 `1Panel-redis-NmIe → 6379` 和 `redis_gzpa → 26739` 两条,用 `HostConfig.PortBindings` 才数得准。)
- 再加一条:**nacos 的 8080 / 8848 / 9848 也是 `0.0.0.0`,且服务端鉴权是关的**(详见第二节第 9 条)。
这条今晚已经用"停容器"消掉了,但**端口是 docker `-p` 在 iptables 里做的 DNAT,阿里云安全组未必挡得住**:
1Panel 装的这些 app 一旦哪天被人重新 `docker start`,门就又开了。所以安全组入方向要**明确写上这三个端口拒绝**,
而不是只靠"现在没容器在听"。
(停后 8 秒 `tcpdump` 采样里这三个端口已无新 SYNs,历史扫描证据见第 9 条的 access_log 统计。)
- 主库账号表里读到的是 `root@%`、`gitea_dpCCcA@%`、`py_Task@%`、`py_Task_test@%` ——
口令猜不出来也不该猜,但"任意来源主机"这个条件意味着**端口收掉之前,这些账号只靠口令守**。
- **收掉公网 3306 不会打断复制**:副本的 `Source_Host` 已经是 `192.168.0.171`(VPC 私网),
这是本条里唯一"已经确认可以安全收"的部分,我提前把它验掉了。
- 同类:18080 是 Java 的 actuator + 业务端口直连公网,所以第七节里"要不要暴露 `/actuator/prometheus`"
的前提是先把它从公网收掉;9000 是主 MinIO 裸口,公网可直接打 S3 请求。
- 建议动作(一次性、可回滚):阿里云安全组把 A 的入方向限制为 **仅 443(+ 运维来源 IP 的 SSH)**,
先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。
VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 ——
今晚已实测三个私网地址全通。
## 六、货源主图转存:252 条失败全是瞬时 TLS 重置(11:3x 查出并已修)
这条不是"中间件调优",是查别的东西时撞出来的**真在掉数据的口子**,所以记全取证链。
- **现象与量级**(主机A,`docker logs --since 180m java-server`,窗口内总行数 20,846 行):
`main download fail` **252 条**、`row failed asin=` **247 条**;失败原因 252 条**全是同一句**
`Remote host terminated the handshake`;源分布 **247 条全部是 `m.media-amazon.com`**(其它源 0 条),
且 `main download http `(非 200)**0 条** —— 也就是没有任何一次是源站正常答复的错。
- **失败是按批整片出现的**:按分钟分桶是 `08:21=10 / 08:26=10 / 08:31=20 / 08:33=10 …10:01=10 / 10:43=20 / 10:49=10`,
一批 10 行一起挂,同批三条时间戳 `10:01:12.805 / .852 / .993` 相差不到 200ms。
- **证明是瞬时的**:把当时失败的 8 条 URL 原样再取一次,**7 条 200(9.6KB–22KB 不等)**、
1 条 `000`(curl 也连不上,那条多半是真死了)。
- **三个假说逐个验掉**:
1. "出口 IP 被 Amazon 封了" —— 同机 `curl` HTTP/1.1 与 HTTP/2 都 200、`openssl s_client` 完成
TLSv1.3 握手(`TLS_AES_128_GCM_SHA256`),解析到的节点 `54.192.34.54`;B 机同样 200。
2. "JDK 21 的 TLS 栈有问题" —— 在 A 的容器里直接跑单文件程序 `java /tmp/TlsProbe.java`:
HTTP/1.1 串行 200、复用同一 client 再发 200、HTTP/2 200、**共享 client 24 并发 `{OK=24}`**、
每请求新建 client 12 并发 `{OK=12}`、低频 4 并发 8 条全 200(jdk=21.0.7)。
3. "并发打爆了 CDN" —— 配置上峰值只有 `llmRowConcurrency=5` 路主图 + 拼图池 `imageDownloadPoolSize=8`,
而我 24 并发都一次没失败。
→ 落到第四点:**旧实现一次都不重试**。`SimilarAsinLlmService.downloadBytes` 单发,握手被 RST 就 `return null`,
`prepareImages` 随即抛 `主图转存失败: <url>`,**真实异常被丢掉**(我为了知道原因只能去翻紧邻的上一行日志)。
- **代价的准确形状**(别夸大也别缩小):`prepareImages` 是 `inspectRowInternal` 的**第 1 步**,
在类目匹配/合规/图片对比这些 LLM 调用**之前** → 失败**不烧 token**;
但整行被 `markFailed` → 按现在的重发语义下一轮再来,**白占一轮行位**,最终在结果 Excel 里就是一行失败。
- **改动**:`downloadBytes` 加有界重试。
- 新键 `aiimage.similar-asin.llm-image-download-retry-times`,默认 **2(额外次数,总 3 次尝试)**;置 **0 即完全退回旧行为**。
- **只重试连接级异常**;非 200 直接返回 null 不重试(源站的确定答复,重试只是白等超时)。
- 加 25 秒总预算常量护栏:慢源 hang 住时不放大尾延迟(同模块 alicdn 已被这件事咬过,
见 `SimilarAsinImageEmbedder` 里"8s + retry=1 → 改回 5s + retry=2"那条注释)。
- 重试成功打 `main download retry-success url=… attempt=n/N`;耗尽后抛 `IOException("主图下载失败(<真实原因>)")`,
`prepareImages` 再拼成 `主图转存失败: <url> 原因: <真实原因>` → **行失败日志从此自带原因**。
- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例全绿(抖动两次第三次成功 / 耗尽后异常里带真实原因 /
403 只发一次 / retryTimes=0 退回单次 / 线程中断立刻停止重试且标志回设 / 空 URL 不抛),
原有 `SimilarAsinLlmServiceTest` 8 例未受影响。
- **回滚不用回退 jar**:`/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES="0"` 后重启 java 即可。
该键已按本仓库惯例写进 `application.yml:380`(`llm-image-download-retry-times: ${AIIMAGE_..._RETRY_TIMES:2}`),
所以运维在 yml 里就能看见它,回滚走的是 **yml 占位符**而不是 relaxed binding —— 这条是确定性的。
(补记:第一版我只把默认值写在 Java 字段里,yml 没这一行,那样 env 覆盖就只能靠命名松散绑定;打包后自查发现 `yml has retry key: False` 才补上,
补完必须重打包,因为 yml 在 jar 内。)
- **发版后要看的数**:`main download retry-success` 与 `main download fail` 的比值。
若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的,
那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。
### 6.1 发版后实测(11:57 上线,取到 12:02 的数)—— **结论与上面的预期相反,照实记**
发版:`dd06a1cf`,两台线上 jar 同为 `03eb1049c19ff58f3d8df423aeb6d0e9`(162,591,773 B),
health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SERVER=192.168.0.170:9876` 重启后仍是私网值。
主机A 按日志行首本地时间戳切窗口(`docker logs --tail 300000` 落文件后 `substr($0,1,19)` 过滤):
| 窗口 | 行数 | 货源行处理 | 行失败 | `main download fail` 行数 | 带 `attempt=` | retry 救回 | 三次耗尽 |
|---|---|---|---|---|---|---|---|
| 旧代码 11:00–11:56 | 21,583(含下行) | 514 | 75 | 75 | 0 | — | — |
| 新代码 11:57–12:02 | 1,581 | 107 | 15 | 49(=18 段重试 ×次数) | 49 | **3** | **15** |
- **重试只救回 3/18 = 17%**,另外 15 段三次全耗尽;`err=` 全是同一句 `Remote host terminated the handshake`,非 200 仍是 0 条。
- **行失败率几乎没动**:14.0%(15/107) vs 旧代码 14.6%(75/514)。
- 所以第五节/第六节开头那个"瞬时抖动、重试就能救"的判断**只对了一半**:
它确实是瞬时的(事后几十分钟再取就 200),但**恢复窗口比秒长**——
250ms/500ms 这种 backoff 撞上的还是同一阵重置,因此只有少数踩在窗口边界上的行被救回。
- **确定拿到的收益**是另外两条,不是重试本身:
① 15/15 条 `row failed` 现在都带 `原因: Remote host terminated the handshake`(旧代码 0 条带原因,
`grep -c '主图转存失败: .* 原因: '` 在旧窗口是 0),以后不用再去翻紧邻的上一行;
② 非 200 与连接级失败被分开了(`main download http` 独立计数),不会再混成一个数。
- **剩下的杠杆只有两类**,都需要先量准"恢复窗口到底多长"再决定,本轮没有动:
(a) 把 backoff 抬到秒级以上(如 2s/5s,预算 25s 装得下)——但代价是**占住行 worker**,
货源行并发只有 5,每行多挂 7 秒会直接压吞吐;
(b) 不加重试、改为**让现有的"整轮重发"去接**(分钟级天然对齐恢复窗口),
代价就是现在这个形状:白占一轮行位。
现在的数据只够说明"秒级重试≈聊胜于无",**不够说明 (a) 有用**——
要做 (a) 得先按 ASIN 关联"同一 URL 第一次失败 → 后来成功"的时间差分布,这个还没测。
### 6.2 真根因:解析到的 CDN 边缘不认 `m.media-amazon.com` 这个 SNI,直接 RST(已修:备用域名)
12:08 回读时它**还在掉数据**(窗口总行数 7,029 自证,不是"翻到几条算几条"):
`main download fail` 109 条、`retry-success` 只有 3 条、`row failed asin=` 35 条、非 200 仍是 0 条,
失败 host **109/109 全是 `m.media-amazon.com`**。往下查了四层,结论是第五节开头那句"瞬时抖动"只对了一半。
- **第一层:按节点固定 IP 打(`curl --resolve`,每节点 5 次)** —— 失败不是均匀分布,是**整族失败**:
`184.27.207.231` 0/5、`184.27.207.245` 0/5(Akamai 系,全 `code=000`,0.2s 内被重置);
`3.161.83.53` 5/5、`65.8.31.143` 5/5、`99.84.157.65` 5/5、`18.245.30.82`/`18.64.1.220`/`54.192.34.54` 200(CloudFront 系)。
- **第二层:是不是节点本身死了 / 被墙了?都不是。** 同一个坏 IP 上:
带 SNI `m.media-amazon.com` → `openssl s_client` 3/3 `write:errno=104`;
**不带 SNI → 3/3 握手成功**(`TLSv1.3 / TLS_AES_256_GCM_SHA384`);
**换 SNI 为 `images-na.ssl-images-amazon.com` → 同一 IP 直接 200**。
TCP 443 两边都能连(`/dev/tcp` 都 yes)→ 复位发生在 ClientHello 之后 = **这台边缘没配这个虚拟主机名**,
不是封禁、不是限流、不是 TLS 版本/套件问题。
- **第三层:为什么会"整批一起挂"** —— 解析本身在抽奖:宿主机 24 次查询里 **15 次(62%)**给的是坏族、
容器内 12 次里 **4 次(33%)**;而 JVM 的正向 DNS 缓存会把抽到的节点钉住一段时间
(`java.security:347` 那行是注释态 → 无 SecurityManager 时按 JDK 默认 30 秒,**这个 30s 没实测**,
但"至少钉住一整批"是被数据证明的:同批 10 行在同一 200ms 内全挂、秒级重试 3/3 同败)。
→ §6.1 那 17% 就此得到机械解释:**250ms/500ms 的三次重试全打在同一个坏节点上**,
只有踩在换期边界上的 3 段被救回;把 backoff 抬到 30s 以上确实能行,但要占住并发只有 5 的行 worker,不划算。
- **改法(本次上线)**:连接级失败后的第 2、3 次尝试改用**备用域名** `images-na.ssl-images-amazon.com`,
首试仍用原 URL;只换 host,端口/path/query 逐字符保留。换名等于换一批解析结果,**不等待、不占 worker**。
- 为什么是这个名字:最近 20 条失败 URL 走它 **20/20 成功**,且与原域名取到的字节 **md5 零不一致(20 次比对)**;
反例 `images-amazon.com` **6/6 全 000** —— 所以这是**白名单映射**,不是"随便换个 amazon 域名"。
- 新键 `aiimage.similar-asin.llm-image-host-alias-map`(`application.yml:381`,
默认 `m.media-amazon.com=images-na.ssl-images-amazon.com`,多组用 `;` 分隔),
**置空即关掉这条**、退回 §6.1 那版行为;回滚同样是 `/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_HOST_ALIAS_MAP=""` 后重启 java。
- 日志可分辨:救回来的那条会长成 `main download retry-success url=https://images-na.ssl-images-amazon.com/...`。
- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例 → **10 例**(首试必须原域名+二次换域名且路径不变 /
映射置空完全退回 / 映射外域名(alicdn)不受影响 / 带端口与 query 的 URL 只换 host),原 6 例语义未改仍全绿。
- **发版后要看的数**:`row failed asin=` 的占比应从 ~14% 往下走;`retry-success` 里 host=images-na 的占比
就是这条的命中量。若失败仍高,说明坏的不止这一族或不止这一个名字,再按同一套逐节点方法复查,
不要直接加 retry 次数。
### 6.3 §6.2 发版后实测(A 12:33:30 起,约 7 分钟窗口)—— **26/26 全救回,行失败 0**
同一台、同一套计数,只换时间窗(`docker logs --since 95m` 落文件后按 `substr($0,12,8)` 切窗,窗口内总行数一并报出):
| 窗口 | 窗口行数 | `main download fail` | 救回(换域名) | 救回(原域名) | 非200 | `row failed asin=` | flush 出的 totalRows |
|---|---|---|---|---|---|---|---|
| 旧代码 11:00:00–11:56:00 | 17,995 | 60 | 0 | 0 | 0 | **60** | 160(16 次 flush) |
| 新代码 12:33:30–12:40:45 | 1,832 | 26 | **26** | 0 | 0 | **0** | 20(2 次 flush) |
- **旧代码是 1:1**:60 次握手失败 = 60 行判失败(一次都没救回)。
**新代码是 26 次失败全部由备用域名救回,行失败 0** —— 换域名这条路是成立的,
而 §6.1 那 17% 正是因为三次秒级重试打在同一个坏节点上。
- 别把这张表读成"行失败率归零":新窗口只有 20 行样本(货源任务是间歇的),
能证的是**"连接级失败 → 行失败"这条因果被切断了**(26/26),
行级占比要等攒够几百行再按 §6.1 的口径复测。
- `resc_same=0` 也是有效信息:原域名上再试一次**一次都没救回来**,
与"被钉住的是节点不是时刻"完全一致。
## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板)
- 实测 `du -m /var/lib/docker/containers/*/*-json.log` 的前几名**及归属**(id 取目录名,别用 `basename $f -- '-json.log'`,
那写法会把 id 取空、`docker inspect` 报错,然后被我自己的兜底文案伪装成"残留目录"这个假结论):
| 主机 | 当前体积 | 容器 | 容器创建时间 | **实测日均**(近 2 万行的时间跨度折算) |
|---|---|---|---|---|
| B | **3591 MB** | `1Panel-openresty-iXP2` | 2026-04-09 | **184 MB/天**(619,577 行/天) |
| A | **2666 MB** | `java-server` | 2026-09-16 | **180 MB/天**(385,887 行/天) |
| B | 1063 MB | `1Panel-gitea-AgMc` | 2026-08-12 | 53 MB/天(158,025 行/天) |
| B | 318 MB | `java-server` | 2026-09-16 | 41 MB/天(144,687 行/天) |
| A | 1820 MB | `1Panel-openresty-8XvI` | 2026-04-09 | 9 MB/天(31,926 行/天) |
| A | 1684 MB | `shufu-redis-master` | 2026-08-25 | **0.2 MB/天(1,742 行/天)** |
⚠ **第一版这张表我是拿"体积 ÷ 存活天数"摊的,几乎每行都错**(redis 摊出 "~50 MB/天"、B openresty 摊出 "~21 MB/天")。
正确做法是 `tail -n 20000` 的首尾两条 `"time"` 求跨度,再用 `tail -n 20000 | wc -c` 求字节量 —— 摊出来的平均会把
历史上的突发当成常态,还会把"最近才变快的"(B openresty)压平。
- **redis 那 1.68GB 已经查清了,不是"速率异常",是一次 9 分钟的重连风暴**:
全文共 10,617,262 行 / 平均行长 165 字节,而按行号采样时间戳,
**第 1 行 = `2026-08-25T05:34:16`(容器刚创建)、第 10,070,001 行 = `2026-08-25T05:43:27`**
→ 95% 的体积是**创建后头 9 分钟**写出来的,之后到 09-18 才又爬了 53 万行。
那 9 分钟在刷什么:`Master replied to PING, replica…` / `Non blocking connect for SYNC fa…` /
`Retrying with SYNC…` / `(Non critical) Master does not …` / `Trying a partial resynchroniz…` /
`Unexpected reply to PSYNC from …` / `MASTER aborted replication with…` / `Reconnecting to MASTER 192.168.…`
—— 典型的**副本对主库的 PSYNC 被拒 → 立刻重连**紧循环(10.07M 行 ÷ 551 秒 ≈ **1.8 万行/秒**),不是 crash。
当前这台的实际写入量是 **2.9 字节/秒 ≈ 0.25 MB/天**(就是每 5 分钟一次 BGSAVE 那三行),
所以这条从"值得单独取证"降级为"历史一次性事件,止血时随别的一起 truncate 即可"。
- **但顺带查到一条会误导人的事实:redis 容器名与实际角色是反的**(`docker logs | grep -oE '[0-9]+:[SMX] [0-9]{2} [A-Za-z]{3}' | tail -1` 实测):
A 上叫 **`shufu-redis-master`** 的容器今天的前缀是 **`1:S`(slave)**,B 上叫 **`shufu-redis-replica`** 的容器是 **`1:M`(master)**,
两边 sentinel 日志里都留着 `25 Aug 06:32:56 +switch-master mymaster 192.168.0.171 16379 → 192.168.0.170 16379`
—— 也就是 8-25 那次故障切换之后角色就固定在"名字相反"的状态了(上面那场 SYNC 风暴正是那次切换前后发生的)。
**看名字判断主从会判反**,要认角色读日志前缀或 `INFO replication`。这也和第六节 java 侧实测一致:数据连接落在 `.170`。
- **B openresty 为什么涨到 193 MB/天 —— 已定性,是客户端轮询而不是攻击**:
按行号采样时间戳看增长曲线,`2026-04-09` 到 `2026-09-11` 才写到第 90 万行(约 6 千行/天),
之后每 90 万行只花 1~2 天 → **9-11 前后涨了约 100 倍**。近 2 万行的构成:
`/newApi/api/collect-data/tasks/progress/light` 5,073 + `price-track` 1,471 + `appearance-patent` 1,325 +
其余各 `progress/light` 合计约 8,400 行(**42%**)、`/api/tasks/pull-pending` 3,201(16%)、
`/newApi/api/notifications/summary` 2,947(15%)→ **约 73% 的访问日志是这三个轮询接口**。
状态码:20,000 行里匹配到状态码的有 19,878 条,其中 **200 = 19,784、304 = 94,4xx/5xx = 0**
(剩 122 行是 nginx 自己的 notice/error 行,不带状态码)→ 不是被打,是自己人在轮询。
**可选的低成本止血**(本轮没做,属要人拍板:会损失这些接口的访问记录):
在 B 的 openresty 站点配置里对 `progress/light`、`pull-pending`、`notifications/summary` 三条 location 加
`access_log off;`(或单独降级到一个可轮转的日志文件),按上面的占比**能砍掉约 7 成的 193 MB/天**,
且 `nginx -s reload` 是 graceful、**不重启容器、不断长连接**。
反过来说:如果以后要靠访问日志查"某次轮询有没有返回过 304/401",这条就查不到了 —— 所以先问要不要留样。
- **来源构成(同一批 20,000 行里数 `{"log":"` 后面的 IP,注意宿主机 `ss` 与 `grep '^[0-9]'` 两种写法都取不到,因为每行以 JSON 开头)**:
一共只有 **10 个来源 IP**,`8.149.69.98` 一个占 **12,843 行(64%)**,`8.139.247.224` 2,875、`8.139.195.39` 2,201、
`183.253.114.241` 441、`8.139.170.222` 413、`183.220.59.30` 407、`120.33.224.243` 296、`121.205.250.173` 166、
**`47.110.241.161` 68(= 主机A 自己的 EIP)**。UA 分布:`Mozilla/5.0 Windows` 12,904、`python-requests/2.32.5` 6,698、
`python-requests/2.32.3` 153、`Mozilla WOW64` 35(合计 19,790,其余是 nginx 自己的 notice 行)。
`python-requests` 那批打的是 `/api/tasks/pull-pending`(3,203) + `/api/internal/device-logs/upload`(834) +
`device-logs/config`(658) + `user-secret-usage`(136) + `similar-asin/tasks/<id>/result` + `tasks/<id>/heartbeat`
→ **是采集端在领任务/回报,不是外部扫描**,所以 193 MB/天是"自家轮询设计"的账单,要降量得从轮询频率/日志策略两侧挑一边。
- **顺带发现一条真实的公网绕行,但调用方没认领到(不要当成已定性)**:`47.110.241.161`(主机A 的 EIP)作为**客户端**出现了 68 次,
UA 是 `axios/1.20.0`,打的是 `GET /newApi/check_login` 和 `POST /newApi/login`(10:59:48–49 连续一串,全 200)。
那一刻 A 宿主机与各容器 netns 里到 `121.196.149.225` 的 ESTAB 都是 **0 条**(短连接,采样撞不上)。
A 上常驻两个 node 进程(`/www/wwwroot/jlyj.ditiansui.online/server/video-api.js` 跑了 18 天、`dist/server/main.js` 跑了 5 天)
**只是候选,我没证到是它俩之一** —— 想认领就在 A 上 `tcpdump -i eth0 -nn host 121.196.149.225 and port 443 -c 3` 拿源端口,
再 `ss -tnp 'sport = :<端口>'` 取 pid。**注意这是 Node 侧发出的 axios(浏览器发的 axios 会带 Mozilla UA)**,
所以是服务器上的脚本在按域名登录自己的 API,不是用户在刷页面。
量级 68/20,000 = 0.34%,**不是性能问题**,本轮没动。
它给 §4.4 那句"两台之间业务链路无公网残留"划了个边界:**那句的范围是 java↔MySQL/redis/MQ/OSS**(已实测走私网),
不含"A 上还可能有别的进程按 `api.aishufu.top` 域名绕回 B"。
- **磁盘不紧张**(A 用 33% 剩 317G、B 用 18% 剩 388G),真正的代价是**取证速度**,而且我一开始把这条判错了:
实测同一台 A 上 `docker logs --tail 5` = **12 ms**(docker 从文件尾部反向取),
而 `docker logs --since 1m` = **19,631 ms**、`docker logs`(全量 6,286,829 行)= 22,063 ms
→ **`--since` 一点都省不了,它仍然从头解析整个 2.6GB 文件**;省的是输出量,不是时间。
本轮我所有探测都用 `--since`,等于每次白付 ~20 秒。
**以后探测一律优先 `--tail N` + 本地按时间戳过滤**,只有真的要看"某个绝对时间点之后"才用 `--since`。
- 想加 `log-opts: {max-size, max-file}` 要改 `/etc/docker/daemon.json` 并 `systemctl restart docker`,而
**两台的 daemon.json 里只有 `registry-mirrors`、没有 `live-restore`**(docker 默认 false)→
**重启 dockerd 会把该机上所有容器一起重启**,包括 MySQL 主库、MinIO、redis 四件套、两台 java。这是本条没做的直接原因。
- 还有一层:`log-opts` 只对**新建容器**生效,现有容器得 recreate 才吃到 ——
而 recreate 又会把今晚 `docker update` 抬的三处内存限额打回(见第一节附的表)。
- 所以顺序建议:① 先把三处限额写进 1Panel 控制台(持久化)→ ② 开 `live-restore: true`(这一次重启仍会连带重启容器,
但**之后**重启 dockerd 就不再影响业务)→ ③ 最后逐台加 `log-opts` 并按 recreate 窗口滚动生效。
- 期间可以做的**低风险止血**(不需要决策,但要写文件,本轮没动):把已经确认不需要的历史 json.log 用
`truncate -s 0` 清零(docker 以 O_APPEND 持有 fd,清零后继续写、不会破坏文件),
一次能回收 2.6GB/1.7GB/3.6GB。**代价是那段历史读不回来了** —— 今晚的取证全靠这些日志,
所以我倾向于先给 java 的日志降量或先把关键窗口 dump 出来,再清零。这条留给用户定。
- **如果只做一次 `truncate`,先做 A 的 `shufu-redis-master`**:它的文件 17.65 亿字节里有
**10.07M/10.62M 行(95%)是 2026-08-25 05:34:16–05:43:27 那 9 分钟的一次性风暴**,
当前只写 0.25 MB/天 —— 清掉它几乎不损失任何"以后可能还要看"的东西,一次回收 1.7GB。
相比之下 java/B-openresty 那两坨是**持续的**(180–193 MB/天),清完三天就长回来,属于必须配 `log-opts` 才解决的那类。
清的顺序按**实测增速**而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级;
redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。
### 7.1 增速与保留期都改成"实测值"(12:44 复测,方法可复跑)
上面那张日均表是用 `--tail` 首尾时间戳算的;这次换个更省的做法,一次拿全**体积、保留期、增速**:
`head -c 3000` / `tail -c 3000` 各取一条记录里的 `"time":"…Z"`(json-file 的 `time` 字段是 **UTC**,
比行内那个本地时间戳好认),体积差用 **60 秒 `stat -c %s` 取 delta**,不用整文件扫。
| 主机 | 容器 | 体积 | 现存最早一条 | 最新一条 | 实测增速 |
|---|---|---|---|---|---|
| B | `1Panel-openresty-iXP2` | 3,776,044,511 | 2026-04-09T15:53Z | 09-28T04:44Z | **186 MB/天** |
| B | `1Panel-gitea-AgMc` | 1,117,366,739 | 2026-08-12T05:09Z | 09-28T04:44Z | **58 MB/天** |
| B | `java-server` | 335,763,998 | 2026-09-16T16:27Z | 09-28T04:44Z | **78 MB/天** |
| A | `java-server` | 2,806,448,699 | 2026-09-16T16:27Z | 09-28T04:45Z | **219 MB/天** |
| A | `1Panel-openresty-8XvI` | 1,907,609,884 | 2026-04-09T16:23Z | 09-28T04:38Z | 0(60s 内没写) |
| A | `shufu-redis-master` | 1,765,409,908 | 2026-08-25T05:34Z | 09-28T04:42Z | 0 |
- 两台合计 **11.7 GB**,稳态增速 **~540 MB/天**;磁盘 A 用 34%(316G 空)、B 用 18%(389G 空)
→ **按稳态算根本不紧急,几年都填不满**。所以"要不要配 `log-opts`"的理由不是省磁盘。
- 真正的理由是这两条:
① **风暴型写入没有上限**:redis 那 1.77GB 里 95% 是 2026-08-25 那 9 分钟写进去的(§七),
一次事件就能顶掉一个月的稳态量,`max-size/max-file` 是唯一能兜住它的东西;
② **读日志本身变贵**:`docker logs --since 3h` 在这台是 19.6 秒(要从头扫 2.8GB),
`--tail N` 才是 12ms —— 今晚取证全程只能绕着 `--since` 走。
- 注意 `java-server` 的"最早一条"两台都是 `2026-09-16T16:27Z`:那是容器重建时间,不是保留策略。
现在**没有任何轮转**,文件只跟随容器存活期长,重建才清零 → 别把"只留了 11 天"当成配置过 retention。
## 八、品牌检测现在是坏的:代理 IP 供应商回「套餐不存在」(需人掏钱/换供应商)
发版 A 之后做启动异常采样时撞出来的,量级比 §六 那条更大,但**根因不在我们代码里**。
- **java 侧现象**(主机A,`--since 60m`,窗口总行数 20,590 行自证):
`[brand-check]` 告警 **2,859 条 = 全机日志的 13.9%**,其中
`服务端返回查询失败将重试` 2,062、`整批耗时预算用尽` 341、`重试耗尽判定查询失败` **402**(涉及 **270 个品牌名/小时**),
`请求异常将重试` 只有 21 条(全是 `HTTP/1.1 header parser received no bytes`)。
→ 也就是说**服务在正常应答,但每次都把品牌放进 `query_faild_data`**。
- **归因到服务自己**(16890 = 宿主机进程 `python api.py`,cwd `/root/BrandTesting`,pid 324327,已连续跑 59 天):
读它自己的 `/root/BrandTesting/nohup.out` 尾部 400KB(5,580 行)做形状统计:
- `获取代理失败: 'NoneType' object has no attribute 'get'` × **286**
- `代理请求结果->: {"code":-1,"data":null,"status":…,"message":"套餐不存在"}` × **285**
- 紧接着 `json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)` × **280**(把非 JSON 响应喂进 `json.loads`)
- 同期 `INFO: 127.0.0.1:xxx - "POST /brand_check HTTP/1.1" … OK` × 310 → HTTP 层一直是好的
→ **代理商那边的套餐不存在/已到期**,不是限流、不是网络、不是 java 超时、也不是 §四 那条公网带宽问题。
钱或新供应商是唯一的入口,代码侧调不动。
- **别顺手砍 java 的重试**:进入重试的品牌直方图是 `attempt=1/10 → 401`、2→311、3→289、4→267、5→230、6→177、7→164、8→127、9→96,
**每档还在救回 7–22%**,砍 `AIIMAGE_BRAND_CHECK_RETRY_TIMES` 等于把可恢复的品牌直接写成"查询失败"给客户看。
真正的浪费点是 90 秒整批预算(`total-timeout-millis:90000`)每小时用尽 341 次 —— 分片回传的时延上界就是它,
历史上曾有一次被拖到 103.5s 导致客户端中止整轮采集(taskId 28599,代码注释里记着)。
**等套餐恢复后这两个数要重新量**,现在做的任何调参都是在坏上游上调。
- **附带把一条旧判断证伪**:A 上访问自己的公网 EIP 并不慢(对小请求而言)。
同一秒内各打 3 次 `GET :16890/`:`47.110.241.161` → `time_connect=0.27/0.35/0.27 ms`,
`192.168.0.171` → `0.066/0.065/0.061 ms`。差 4 倍但**绝对值都可忽略**;
§四 说的 5–8 Mbps 只在**大块传输**(下载图片/上传对象)时咬人,别拿它去解释小 POST 的失败。
- **另一个纯运维项**(我没擅动,属可执行清单):`/root/BrandTesting/nohup.out` 已 **941,635,295 B**,
实测 30 秒长 27,021 B(900 B/s)≈ **78 MB/天** —— 本条第一版把它写成了 "1.1 GB/天",是**乘法算错了 14 倍**
(1.1 GB/天 需要 13 kB/s);13:1x 另取一次 5 秒 4,700 B(940 B/s)与之吻合,两笔独立测量都对得上,
只有原来那个结论错。按 78 MB/天,900MB 约是 **12 天**积累。磁盘 492G 用了 156G(34%),完全不致命。
进程是 `nohup` 追加写、不能发信号重启 → 只能 `logrotate` 配 `copytruncate`(保留几轮 + 压缩)。
这是客户排障唯一的日志来源,保留策略要人点头,所以先记命令不执行。
## 九、卡住自愈扫描会被一行的锁等待作废整轮(症状与根因两处都已修,取证在案)
§六 那轮复测顺手查出来的第二个缺陷,性质不同:**它不是网络,是我们自己的定时任务**。
修了两处:§9.3 让扫描不再被一行拖垮(症状),§9.5 把整批 LLM 移出事务(根因,持锁方本身)。
只修 §9.3 的话 burst 不再作废整轮,但那 50 秒锁等仍会每 110 秒白占一条 Hikari 连接。
### 9.1 现场是什么样子
- 主机B `docker logs --since 40m`(窗口总行数 6,008 行自证)里 `CannotAcquireLockException` **9 次**,
失败时刻 `12:58:16 / 13:00:06 / 13:01:57 / 13:03:47 / 13:05:37 / 13:07:27 / 13:09:17 / 13:11:07 / 13:12:57`
—— **严格每 110 秒一次**,13:12:57 之后自行停止。110 = 60s `fixedDelay` + 50s `innodb_lock_wait_timeout`,
这个周期本身就是"同一行、同一处、每轮都撞"的指纹。
- 抛点的完整 SQL 与栈(同一段日志里抠出来的,不是推测):
`UPDATE biz_task_file_job SET retry_count=?,updated_at=?,status=?,error_message=?,finished_at=?,terminal_callback_at=? WHERE (id = ? AND status = ? AND updated_at …)`
→ `TaskFileJobMapper.update-Inline` → `TaskFileJobService.resetStuckRunningJobsDetailed(TaskFileJobService.java:390)`
→ `TaskResultFileJobWorker.resetStuckJobs(TaskResultFileJobWorker.java:101)`。
- 同期 job `20834`(`APPEARANCE_PATENT` / `ASSEMBLE_RESULT` / owner `server-110`)的一个 LLM 批次
`costMs=1077959`(18 分钟),窗口正好盖住上面这 15 分钟。
- MySQL 侧累计自证:`Innodb_row_lock_waits=354,493`、`Innodb_row_lock_time_max=51,199 ms`、
`Innodb_row_lock_time_avg=13 ms` → **平均 13 毫秒,尾巴 51 秒**:绝大多数锁等是正常排队,
出事的是极少数"被一个长事务按住"的行。慢日志里同类 50 秒锁等已 586 条,
8-31 / 9-08 / 9-16 各有一轮同样的 burst(历史热点 id 18399 命中 516 次)→ **不是今晚才有的**。
### 9.2 为什么"整轮作废"比"这一行没修好"严重得多
原实现第 344–399 行的循环**没有逐行容错**,而第 400–405 行的
`refreshJobsByIds` + `publishDispatchEvent` 排在循环**之后**。所以第 390 行一抛:
1. 本轮 SELECT 出来的其余最多 199 行不再看一眼(含真卡住该救的行);
2. **本轮已经复位成功的那些 job 一个 dispatch 事件都发不出去** —— 它们已经是 PENDING 了却没人派发,
要等下一轮扫描的 PENDING 分支再兜一次,每兜一次 `retry_count` +1,而 `MAX_RETRY_COUNT` 只有 5;
3. `exhaustedJobs` 直接丢空 → 该判终态失败的作业不 finalize,用户界面停在"处理中";
4. 这一轮的 50 秒白占一条 Hikari 连接 → 同一时间窗内 `Connection leak` 告警 7 条(阈值就是 50s)。
被锁的那一行按 `ORDER BY updated_at ASC` 每轮都排在最前面,于是 12:58–13:13 **每一轮都先撞它、
每一轮都整轮作废**,那 15 分钟里实际上没有任何自愈在跑。
### 9.3 修法(只收口这一处,不动事务边界)
`resetStuckRunningJobsDetailed` 循环体整体包 `try/catch (RuntimeException)`:单行失败只打一条
**带 jobId 的** WARN 并 `continue`;`publishDispatchEvent` 也改成逐个 job 独立包(监听器是同步执行的,
一个 job 派发失败不能带走同批其余)。刻意**不加**事务、不改 `@Transactional`、不动 CAS 条件 ——
每行本就带 `status + updated_at` 的幂等条件,跳过就是下一轮再收,重复执行不会双份复位。
新增两个回归测试:`lockedJobRowDoesNotAbortTheRestOfStuckScan`(第一行抛 1205,第二行仍被复位并派发)、
`alreadyResetJobsStillDispatchWhenOnePublishFails`(第一个事件发布抛异常,第二个仍发出)。
### 9.4 持锁方:外观专利的 stale 恢复把整批 LLM 包进了事务(已定位、已修)
这一节上一版写的是"仍未定位"。定位过程记在这里,因为其中两条判据是**错的**,值得留着的不是结论而是排除路径。
四条证据:
1. **同一笔 job 的三个数对上**:burst 期间主机B 报 1205 的那一行,就是主机A 上 job `20834`
(`APPEARANCE_PATENT` / `ASSEMBLE_RESULT` / owner `server-110`),它的 LLM 批次 `costMs=1077959`
= 18 分钟,把 12:58–13:13 整段盖住。两台 `AIIMAGE_INSTANCE_ID` 不同(`server-110` / `server-121`)
→ 这是**跨实例**持锁;`resetStuckRunningJobsDetailed` 的扫描条件不带 owner,所以 B 必然会去碰 A 正持有的行。
2. **锁由哪条语句取**:`submitLlmBatches` 循环每批开头调 `TaskFileJobService.touchRunning`(:555,
`UPDATE biz_task_file_job SET updated_at=? WHERE id=? AND status='RUNNING'`),紧跟着才是
`llmClient.inspectRows` 的 HTTP(:926)。持锁方与被锁方打的是**同一行、同一把 X 锁**。
—— 注意取锁点**不是** `enqueueAssembleResult`:它对已 `RUNNING` 的行直接 return、不写(:63)。
3. **为什么这把锁能活 18 分钟**:`finalizeStaleTask` 的三个调用点原先都把**整个方法**包进
`PROPAGATION_REQUIRES_NEW`,而方法里 `tryRecoverTimedOutPythonTask` → `submitLlmForSubmittedChunk`(:1246)
→ `submitLlmBatches` 就是那 18 分钟。MyBatis-Spring 的语义:有环境事务时 mapper 调用不各自提交,
行锁持到最外层 commit;无环境事务时每次调用即刻提交、锁即时释放。
4. **被排除的干扰项**(都查过,别再重跑):全仓 `FOR UPDATE` 只有 shop-data-crawl 日锁与
`TaskScopePayloadStorageService:486` 两处,与本路径无关;今天全天 shop-data-crawl 删除调用 0 命中
(`拒绝删除` / `reconcile task after result deletion` / `deleteHistory` 各 0);worker、`touchRunning`、
MQ 消费链静态读下来都不带环境事务。
两条**当时看着像证据、其实不是**的:
- **`CglibAopProxy` 出现在栈里 ≠ 在事务里**。任何被代理的 bean 都会出现这一帧。判事务只能看
`TransactionInterceptor.invoke` / `DataSourceTransactionManager.doBegin` / `TransactionTemplate.execute`。
我按错的判据一度指认"brand-check 线程持事务",读源码后自己否掉(`CollectDataService.submitResult` 无
`@Transactional`,品牌检测本就注释说明刻意放在锁外)。
- **线程转储抓晚了不能当反证**。7 份转储(`jcmd <javapid> Thread.print`;A 机 java 是 **pid 12**,
pid 1 是 `bash /run.sh`,对它抓只会得 `AttachNotSupportedException`)里没有任何 `TransactionInterceptor.invoke`,
但抓样时刻 13:31 已在 burst(止于 13:12:57)之后 —— 只能证明"此刻没有"。
顺带:`kill -3 1` 发给 bash 是无效的(非交互 bash 忽略 SIGQUIT),既没伤害也没产生转储。
**对照**:同源模块 `SimilarAsinTaskService` 早就是正确形状(:991 只把 `finalizeTask` 包进短事务,
LLM 提交在事务外)。**AP 是唯一破坏这个约定的模块**,不是"全仓都这么写",所以本轮不需要横扫其它模块。
### 9.5 第二处修法:事务边界收到 `finalizeTask` 那一层
- 三个调用点(`finalizeStaleTasks` / `debugFinalizeStaleTask` / `finalizeNoUploadStaleTask`)去掉外层
`inNewTransaction`,改由 `finalizeStaleTask` 自己只在 `finalizeTask` 外面开短事务;
`tryRecoverTimedOutPythonTask` 里"封口"那段(多行 scope 状态更新)单独占一个短事务,紧随其后的 LLM 批次在事务外。
- 加**回归哨兵**:`submitLlmBatches` 发批前查 `TransactionSynchronizationManager.isActualTransactionActive()`,
命中即 ERROR 带 taskId/jobId/pendingRows —— 以后谁再把批次搬回事务里,日志会直接点名,不用重演今晚的抓转储。
- `finalizeTask` 内 `shouldAssembleSynchronously()` 恒为 false(出表走 MQ 异步),所以留在短事务里的只有
两次 select + 两次 update + enqueue + redis delete。
- 本轮**没动**的三件,各自理由:brand-check 的重试/预算参数(§八 已定性为坏上游,调参等于在坏上游上调)、
`selectRowsUpdatedAtByTaskIds`(SQL 已够窄,无慢日志证据)、给 MySQL 加 PROCESS 权限(见下)。
数据库侧想直接看 `information_schema.INNODB_TRX` / `performance_schema.data_lock_waits` 仍然不行:
业务账号 `CURRENT_USER()=root@172.19.0.1`(名字是 root,权限被削平)只有 `GRANT USAGE ON *.*` +
`aiimage.*` 表级授权,**没有 PROCESS**(读 `INNODB_TRX` 回 1227、读 `data_lock_waits` 回 1142),
`GRANT OPTION` 也只覆盖 `aiimage.*`,提不出全局权限;宿主机上没有可用 root 凭据
(`grep -rl MYSQL_ROOT_PASSWORD /opt/1panel` 无结果、无 `/root/.my.cnf`,容器 env 里那个口令实测 1045 不认)。
**给生产库加 PROCESS 属权限变更,不在本轮授权范围内,留给人工决定。** 于是改成让代码留钩子:
WARN 里带被锁的 `jobId`,而该 job 的执行日志(哪个实例、哪个批次、起止时刻)就在同一份日志里,
两边一对就能指认持锁方。**下次 burst 不用再抓转储。**
### 9.6 发版后验收(B 14:17 / A 14:20,两台同一 md5 `ca20c212f11b80c4c2e53c4f231e2b19`)
发版前取证(14:15):A 最近 3 分钟 960 行里 brand-check 240 / collect-data 22 / similar-asin 17 / appearance-patent 3,
库里 4 笔 RUNNING(货源 `20791`=task 29438、`20805`=task 29452;外观 `20833`、`20838`);
B 3 分钟只有 22 行、模块活跃度 1 → 先发 B 无感。
代价照实记:A 重启打断那 4 个在飞批次,重启后 4 笔全部回到 RUNNING 并续跑(`updated_at` 14:25:54–14:26:31),
其中外观 `20833` 因 reclaim 把 `retry_count` 从 0 抬到 2(上限 5)。**被打断那一批的 LLM 次数已扣而结果没落库,等于重发一次。**
验收计数(每条都带窗口总行数自证):
- B `--since 8m` 共 556 行:`CannotAcquireLockException` 0、`Connection leak` 0、事务哨兵 0;
- A 纯重启后 `--since 3m` 共 801 行:以上三项 0,且 `ERROR` 级 0;
- MySQL 60 秒两次采样(14:27:24 → 14:28:24):`Innodb_row_lock_waits` 354,519 → 354,519(**增量 0**)、
`current_waits=0`、`time_avg=13 ms`、`time_max` 仍是历史值 51,199 没再抬高。
**这条验收的边界必须说清**:窗口里只有货源在"等更多行",外观的 stale 恢复 + 十几分钟长批次**这期间没再发生**,
所以"0 命中"只证明**没有回归**,不能证明**长事务持锁已被消除**。后者的依据是代码形状(§9.5)加两条回归测试;
哨兵的价值在于——下次谁再把它改回去、或还有一条路径把批次留在事务里,
`llm 批次正跑在事务里` 会直接把 taskId/jobId 点名出来,不用再演今晚的抓转储。
顺手记一个**发版脚本自身会让人误判的地方**:阶段5 的异常采样窗口是 `--since ~115s`,而 restart 只花 11 秒,
所以采样里混着**旧 JVM 的最后一段**。本次 A 就报了一条
`NoClassDefFoundError: ...AbstractGenericHttpMessageConverter$1`,用 awk 把它上面最近的日志时间戳抠出来是
`14:20:00.437`,而容器启动时刻是 `14:20:01.835` —— 属于**旧进程在 jar 被就地替换后按需加载类失败**,不是新包的问题,
纯重启后窗口里它是 0。**看到异常先归因时间戳,再决定要不要回滚。**
## 十、三条"看着像优化点"的假设,全部被实测否掉(别再看第二遍)
§九 上线后继续找改造点,撞出三条候选。三条都**没有**改代码,各自的证伪证据记在这里。
### 10.1 品牌检测端点改私网 —— 否掉,因为 EIP 流量根本没出 VPC
两台都没 pin `AIIMAGE_BRAND_CHECK_BASE_URL`,用的是 jar 默认 `http://47.110.241.161:16890`
(= A 自己的公网 EIP),所以 B 的 java 也在跨机打这个公网地址。看着就是"该走私网 `192.168.0.171:16890`"。
同一台机器上各 GET 三次实测:
| 发起方 | 公网 EIP `47.110.241.161:16890` | 私网 `192.168.0.171:16890` |
|---|---|---|
| B | 0.00135 / 0.00083 / 0.00081 s | 0.00075 / 0.00071 / 0.00072 s |
| A(对照 §八) | 0.27 / 0.35 / 0.27 ms | 0.066 / 0.065 / 0.061 ms |
B 到 A 的 EIP 只要 **0.8 毫秒**,和私网的 0.7 毫秒同一量级 —— 说明这段流量在阿里云同区域内根本没走公网出口,
§四 那条 5–8 Mbps 的公网带宽上限**咬不到它**。换成私网省的是 0.1 毫秒,代价是两台 `.env` 都要改并重启 java。
**不划算,放弃。** 顺带确认:`16890` 在 B 上 `127.0.0.1` 是 CONN_FAIL(服务只在 A 的宿主机上),
且 `AIIMAGE_NOTIFICATION_BRAND_SERVICE_URL` 早就是 `http://192.168.0.171:15126`(另一个服务,已经私网化)。
### 10.2 「FAILED 作业没写终态回调 → 每轮被重复捞出来空转」—— 否掉,0 条
§九 的扫描 SQL 里有一条分支是 `status='FAILED' AND retry_count>=5 AND terminal_callback_at IS NULL`,
每轮最多捞 200 行。看到全局 `DELETE_BRAND FAILED 71` 就怀疑这批僵尸每 60 秒被两台各处理一次。
直接数:满足该条件的行数 = **0**(按模块分组的结果集为空),`retry_count>=5 且 callback IS NULL` 的分布也是空。
那 71 条只是历史失败计数,回调都写过了。**假设不成立,没动代码。**
### 10.3 「任务 29475 永远停在 RUNNING,是个既不恢复也不判死的死锁组合」—— 否掉,它在正常爬
`组装 job 终态失败但分片仍未补传完整,暂不恢复 taskId=29475` 每 7 分钟打一条,线程是 `http-nio`,
像"客户端在反复重传同一批、永远补不齐"。把已收到的分片序号全列出来:
```
11,22,33,44,55,66,77,88,99,110,121,132,143,154,165,176,187,198,209,220,231,242,253,264,275,286,297,308,319,330,341,352
相邻差值:delta=11 命中 31 次,共 32 片;chunk_total=813,每片 payload 平均 124 字节
```
步长恒为 11 一度指向"客户端把行偏移当 chunk 序号发、服务端拿它跟 813 比 → 永远收不全"。
对照今天另外两笔就清楚了:`29473` 的分片**已传完**(`max(chunk_index)=623` 正好等于 `chunk_total=623`,共 57 片,
`completed=1`),`29479` 在 704/961。所以 **`chunk_index` 就是行偏移(每片 11 行)**,判"传完"用的是最后一个偏移追平 total,
不是"收到 total 片"。29475 现在在 352/813(43%),一切正常。
慢的真实原因是**每片 11 行要花 7.3 分钟 ≈ 40 秒/行**,与 §八 代理套餐过期同一条线:
不是协议 bug、不是服务端问题,是上游采集速度。
那条 INFO 也就不必改 —— 它每片打一条,正好是"任务还在推进"的心跳。
> 但本节初稿里"`29473` 已完成"那句**是错的**,14:59 复查明细后更正:它只是**输入封口**
> (`completed=1`),任务本身 13:59 之后就没动过 —— `biz_file_task.status` 仍 `RUNNING`、
> `biz_file_result.url` 为空、组装 job 20833 `RUNNING retry_count=2`,也就是**分片传完了但结果出不来**。
> 这条更正不是抠字眼:那 60 分钟的"没动"正是 §十一 那场"锁忙"风暴的另一半现场。
**三条共同的教训**:这三个都"看着像问题",而且前两个改起来都很便宜(换个 env、清一批僵尸行)。
如果直接动手,10.1 会白重启两台 java、10.2 会去删一批其实正常的历史行。
**便宜的改动更需要便宜的证伪**:一条 SQL 或三次 curl 就能判生死,先花这 30 秒。
---
## 十一、结果文件作业撞锁后自己点火:20 分钟 667 次零退避重投(已修)
§九 发版后做验收时顺手数了日志占比,结果翻出一个跟事务无关的新问题。记在这儿,
因为它的**判据形状**("每分钟递增""全属同一个 jobId""调度轮询一次都没领到活")比结论更值得留。
### 11.1 现场
A 机(`server-110`)重启后 20–30 分钟窗口:
| 窗口 | 总日志行 | `process requeued because task lock is busy` | 占比 |
|---|---|---|---|
| 14:2x–14:5x(30m) | 9,116 | 741 | 8.1% |
| 14:3x–14:51(20m) | 6,556 | 472 | 7.2% |
| 14:39–14:59(20m) | 7,687 | **667** | **8.7%** |
- **全部集中在一个 jobId**:472 条那窗 100% 是 `jobId=20838 taskId=29479 moduleType=APPEARANCE`;
30 分钟那窗另有 187 条属 `20833/29473`,到 14:5x 只剩 20838。
- **速率在涨,不是衰减**:按分钟数 3 → 6 → 12 → 18 → 22 → 24。**积压会被冲掉,自循环才会越跑越快。**
- **B 机 0 条** —— 风暴只出现在作业 owner 所在的那台。
- 时间戳形状:同一个 jobId 的重投行严格分簇,簇内相邻差 ≈1 s、簇周期 ≈**10.02 s**,
一个簇里**并排 4 条链**。10 s 这个数正好是 `TaskDistributedLockService.DEFAULT_WAIT_MILLIS=10000`。
### 11.2 根因:`requeue()` 在退回 PENDING 的同一刻把下一发点着了
链路(`TaskResultFileJobWorker.processInternal` → `TaskFileJobService.requeue` →
`TaskFileJobDispatchCoordinator.onTaskFileJobDispatch` → `TaskFileJobLocalDispatcher.dispatch`):
```
撞锁(等 10s 未果) → requeue(): UPDATE ... status RUNNING→PENDING (updated=1)
→ publishDispatchEvent() ← 就是这一句
→ AFTER_COMMIT 监听器 → 本地 dispatch(force) → worker.process()
→ claimRunning(): PENDING→RUNNING → 再撞同一把锁 → requeue() …
```
- `requeue` 只在状态**真的翻转**时才发事件(`.ne(status,'PENDING')` 是防重复投递的闸),
但这条路径上它每次都翻转成功(RUNNING→PENDING),于是**每一轮都点火一次**,环路里没有任何延迟要素。
- 周期 = 10 s 探锁 + 一次往返,所以稳态就是"每 job 每 10 秒一次",而**分片上传事件每次 `requeue`
都会另起一条链**(`scheduleLlmPipelineForSubmittedChunk` 每传一片调一次),链数只增不减 → 解释 11.1 的递增。
- **不是 MQ 重投**:`TaskFileJobConsumer.onMessage` 只做 `selectById`+`process`,秒回、不抛异常 ⇒ broker 不重投;
而且 20838 是 owner-scoped 作业,归属机上走的是本地 dispatch,`dispatchAfterCommit` 里直接 return,**根本没发消息**。
实测旁证:同窗口 `dispatch` 相关行 0、`scheduled worker claimed` 0、`队列已满` 0、`backpressure` 0。
- 锁**确实被别人占着**,不是僵尸锁:同窗口 `appearance-llm-row-12/13/14` 正在发 LLM 请求,
`biz_file_task 29479.updated_at` 每几秒被刷一次。持锁方是同一任务的逐片 LLM 提交,属正常串行。
**代价算在共享执行器上**:一次探测要占住 `taskQueueExecutor` 的信号量许可整整 10 秒
(`max-concurrent=12`,与货源 LLM 重提、图像视频轮询**共用同一池**)。按 667 次/1200 秒做 Little 定律:
`0.556 次/秒 × 10 秒 ≈ 5.6` 个许可被"只是在等锁"的作业长期占着,**约占全池 46%**。
这一条是本节值得修的全部理由 —— 日志吵只是表象。
### 11.3 修法(一处,5 行)
`TaskResultFileJobWorker.processInternal` 撞锁分支不再走 `requeue()`,改走**已存在**的
`deferRunning()`:同样 `RUNNING→PENDING`、同样写 `error_message`,**但不发 dispatch 事件**,
节奏交回 `runPendingJobs` 的固定周期。`application.yml` 里 `local-worker-delay-ms` 生效值 **10000**
(不是 `@Value` 兜底的 15000),所以最坏 10 秒后被重新捞起,比原来的"0 秒"慢、比"作业搁死"快。
```java
String busyMessage = "Task is busy, waiting for previous task operation";
if (localWorkerEnabled) {
taskFileJobService.deferRunning(job.getId(), busyMessage); // 停车,不点火
} else {
taskFileJobService.requeue(job.getId(), busyMessage); // 没有轮询兜底,必须自己点火
}
```
那个 `else` 不是保守,是**防搁死**:`application-local.yml` 把 `local-worker-enabled` 关掉时,
PENDING 行没有任何周期扫描会捞它(该 profile 连 MQ 都关着),去掉 publish 就等于把作业永久留在 PENDING。
本地 worker 开着 ⇔ 每 10 秒必扫一次,两者严格互斥,所以按这个标志分支就够了。
依赖的前提都取过证,不是推断:
- 调度线程活着:同窗口 `aiimage-scheduling-*` 1,474 行(ziniao 缓存任务在跑);
- 轮询开着:A 机 java 进程 env 只有 `AIIMAGE_RESULT_FILE_JOB_MQ_ENABLED=true` 一个 result-file-job 键,
`local-worker-enabled` 走 `application.yml` 的 `:true`,`/app/java/application-server.yml` 未覆盖;
- 轮询能捞到它:`claimRunnableJobsForOwner` 的 owner 分支条件
`status IN (PENDING,FAILED) AND module_type IN (APPEARANCE_PATENT,…) AND owner=本机 AND retry_count<5`,
20838 实测 `status=RUNNING owner=server-110 retry_count=0` —— 翻成 PENDING 即命中。
### 11.4 没动的两处(有意留着)
- **`DEFAULT_WAIT_MILLIS=10000` 不改短**。改成 2 s 能把"一个卡住的作业 = 1 个许可"压到 0.2 个,
但修完 11.3 之后重投频率已经从 0.556 次/秒降到 ≈0.1 次/秒·job,两个卡住的作业只占 2/12 许可;
再动就是要给 9 个测试文件的 `allowLock` 打桩换参数,**证据不足以支付这个改动面**。
- **`队列已满` 那条 `requeue`(`offloadOrRun` 的闸门拒绝分支)形状相同、也零退避**,
但实测窗口内 0 次触发(它要 `TaskQueueGate` 的 1,000 等待位先填满才会响)。不预修。
### 11.5 验收判据(发版后按这两条读,别只看"0 命中")
1. `process requeued because task lock is busy` 每分钟条数应从 ≈24 掉到 **≤ 作业数 × 6/分钟**,
且**不再随时间递增**;
2. `scheduled worker claimed jobs count=` 必须从 **0 变成非 0** —— 这条是新路径的**唯一直接证据**:
修完之后重投由轮询驱动,它不出现就说明作业其实是被别的东西捞起来的,那我的模型就是错的,得回来重查。
反过来说:**这一条比"风暴消失"更重要**,因为"消失"也可以用"任务刚好跑完了"来解释。
3. 结果侧不能变差:`waiting for async llm result` 与 `process success` 的条数不应下降;
作业若真的 5 分钟没心跳,`stuck reset` 仍会兜住(`stuck-timeout-minutes:5` 没动)。
### 11.6 验收结果(15:37 读,纯新包窗口,两条判据都过)
线上 md5 两台一致 `da1696f1f21ae4f0ff35cb78940a8202`(162,593,211 B)。**注意这个 jar 的路径坑**:
宿主机 `/app/java` 才是容器里的 `/app`(`docker inspect` 的 bind mount),所以
`docker exec java-server md5sum /app/java/*.jar` 会**安静地返回空**——空输出不是通过,
本次差点当成绿灯,改在宿主机上 `md5sum` 才读到真值;回滚件 `.bak-202609281524xx`(A)/
`.bak-202609281522xx`(B)md5 = 上一版 `ca20c212…`,两台都在。
**同一条 busy 日志的新旧对照(这是最硬的一条,取自主机A)**:
| 窗口 | jar | busy 条数 | 折算 |
|---|---|---|---|
| 15:20:00–15:24:40(4 分 40 秒) | 旧(`ca20c212`) | 252 | **54 次/分钟** |
| 15:25:00–15:37:43(12 分 43 秒) | 新(`da1696f1`) | 34 | **2.7 次/分钟** |
降 **20 倍**,且 2.7 远低于"作业数 × 6/分钟"的上限(当时真在跑 LLM 的作业只有 20838×26、20833×8 两个),
按分钟看 15:26→15:37 是 2/3/1/2/3/3/3/7/6/4,**不随时间递增**。
判据 2(唯一直接证据):`scheduled worker claimed` 同窗口 **25 次**(此前窗口恒为 0),
按分钟 1/3/2/2/3/3/3/3/3/2 与 busy 按分钟几乎 1:1 —— 重投确实改由轮询驱动,模型成立。
判据 3:`waiting for async llm result` 47 条、`process failed` 0、`队列已满` 0、ERROR 0。
`process success` 在这个纯窗口里是 **0**,不能拿来当绿灯也不能当退化——这两个外观作业本来就在等 LLM 行,
30 分钟窗口里有一次成功(15:09 jobId=20791 SIMILAR_ASIN,那还是旧包时段)。**这条留待下一个完成样本再确认。**
MySQL `Innodb_row_lock_waits` 354532 → 354533(约 7 分钟 +1),风暴打在 DB 上的那部分随之平了。
`stuck reset` 窗口内触发 1 次(15:35:03,resetCount=1 exhaustedCount=0),形态与"15:24 重启留下的
RUNNING 行等满 5 分钟阈值"一致,是兜底在正常工作,没有作业因此烧掉重试。
**顺带被这次取证否掉的下一个优化点**:`/app/java` 下 12 个 jar 备份共 1.9 GB,本想加"只留最近 N 个"的
清理,但两台根卷分别还有 **315 GB / 389 GB** 空闲(使用率 34% / 18%)——1.9 GB 对这个体量是噪声,
**不做**。同理容器日志仍是 `json-file map[]`(无 size 上限),但那要改 `daemon.json` 并重启 docker,
属第七节的人工决策,不由脚本顺手改。
---
## 十二、开机自回收从来没生效过:每次发版都在吃结果文件作业的重试次数(已修)
§十一 修完重投风暴后,回读作业时顺手发现的,性质比风暴更阴——它不刷屏,只是把还能补传的组装作业一个个判死。
### 12.1 取证(主机A 库,15:45)
- `SELECT COUNT(*) FROM biz_task_file_job WHERE error_message LIKE '%实例重启,作业已重新排队%'` = **0**。
这条文案是 9-27 那批改动里"开机自回收"写下的唯一痕迹。**上线到现在一条都没有** ——
这个兜底机制从来没有捞到过任何东西。日志侧同样证据:`booted and reclaimed` 每次重启都是 0。
- 与此同时,作业 20833(任务 29473,外观专利)的 `retry_count` 从 15:26 / 15:33 两次读到的 **2**
变成 15:42 读到的 **3**。`requeue()` 和 `deferRunning()` 都不碰这一列(`TaskFileJobService:597-635`),
全库只有两条路会 +1:`:357` PENDING 僵尸兜底(上限压到 `MAX_RETRY_COUNT-1`)与 `:378` RUNNING 卡死复位
(**加到 5 就把这行写成 FAILED**,文案"文件生成任务运行超时,已达到最大重试次数")。
窗口内唯一命中的是 15:35:03 那条 `handled stuck running jobs reset resetCount=1` —— 也就是 `:378`。
- 15:24:53 那次重启时,A 上有 **4 个** owner=server-110 的 RUNNING 作业。它们没被开机回收接走,
于是 5 分钟后由 stuck 扫描按 +1 重试处理。**发版 → 遗骸 → 扣重试**,中间没有任何一步是可逆的。
- 这条链已经产生过一个死掉的作业:**20836 / 任务 29475**(外观专利),`created_at` 10:37:00、
11:10:38 变 FAILED、`retry_count=5`、文案就是上面那句。**33 分钟走完 5 次**,与"5 分钟阈值 ×6 轮"同量级。
这正是最初报的那个"组装 job 终态失败但分片仍未补传完整,暂不恢复"。
要说清楚:**这 33 分钟里 A 没有重启**(按 `.bak-*` 时间戳数,今天 A 的重启在 02:42/03:15/09:32/11:56/12:33/14:19/15:24),
所以 20836 的死因不是发版,而是它当时正被 §十一 那个零退避循环反复搬运。**两件事的公共节点是 `:378` 那个会判死的计数器。**
- 今天两台各发了 **7–8 版**(`.bak-*` 时间戳:A 7 个、B 8 个),`RestartCount=0` 说明 docker 自己没动过,
全是发版脚本的 `docker restart`。重试预算是 **5**。这两个数字放在一起就是问题本身。
### 12.2 根因:判据锚在"距今 N 秒",而事件只在重启后几秒响一次
`TaskFileJobService.reclaimOwnedRunningJobs` 原来的界是 `now - max(60, staleSeconds)`(`staleSeconds` 默认 90)。
它要防的是"误抢另一个仍在心跳的作业",逻辑没错,**但取错了时刻**:`reclaimOwnedJobsOnBoot` 挂在
`ApplicationReadyEvent` 上,本机从被杀到事件响只隔了十几秒,那时遗骸的 `updated_at` 也只停了十几秒,
`< now-90s` 永远不成立 → 一行都取不到。等它真的"停了 90 秒以上"时,这个事件早就不会再响了。
**开机回收是一条结构上不可能命中的分支**,所以线上 0 条不是巧合。
判据换成 **本进程的启动时刻**:`owner=本机 AND status=RUNNING AND updated_at < 本进程启动时刻`。
成立的前提有两条,都已核:① `docker restart` 是先 stop 后 start,新进程起来时旧进程必然已经退出,
它留下的行一定停在这个界之前;② `updated_at` 全部由应用侧 `LocalDateTime.now()` 写入(不是 DB 时钟),
和本界同源,**不存在跨机时钟偏移**;本进程自己派发的行只会晚于这个界,所以界之后的行天然不会被抢。
### 12.3 修法(四处,无行为扩张)
- `InstanceMetadata` 暴露 `startedAt`(`ManagementFactory.getRuntimeMXBean().getStartTime()`,系统默认时区)。
- `TaskFileJobService.reclaimOwnedRunningJobs(String owner, LocalDateTime orphanedBefore, int limit)`:
收调用方给的界,**删掉 `Math.max(60, …)` 下限**;界为 null 就不回收(交给 stuck 扫描)。
- `TaskResultFileJobWorker.reclaimOwnedJobsOnBoot()` 传 `instanceMetadata.getStartedAt()`,日志改打 `cutoff=`。
- 配置键 `aiimage.result-file-job.boot-reclaim-stale-seconds`(含 yml 行)**删除**。
取证过两台 env 都没有 `AIIMAGE_RESULT_FILE_JOB_BOOT_RECLAIM_STALE_SECONDS`,删了不影响现网;
留着则是"谁调大一点,遗骸就又筛不出来"的反向开关。测试里改为断言这个键**不存在**。
### 12.4 验收判据(下次发版就能读到,不用等)
1. 发版前:记下当时的 RUNNING 行 id + retry_count。发版后:`实例重启,作业已重新排队` 必须 **> 0**
(这条从 0 变非 0 就是本机制第一次真的工作),且这些行的 `retry_count` **一个都不能涨**。
2. `booted and reclaimed` 日志出现同样的条数;这些作业应在几十秒内被重新 claim(不该再等 5 分钟)。
3. 反证也要看:如果两台都在跑同一 instanceId,回收会抢对方的行 —— 已核 `AIIMAGE_INSTANCE_ID`
分别是 `server-110`/`server-121`,不撞。
### 12.5 顺带证伪的一条:外观模块自己那条 busy requeue 是冷代码
`AppearancePatentTaskService:1806-1811` 是同一形状的"撞锁 → `requeue`(自带点火)",但它写的
`error_message` 不同("…waiting for appearance patent result merge"),DB 能直接分辨:
近 6 小时 **0 行**命中,命中的 2 行全是 worker 那条文案。原因是可达性——它只能由 worker 的 handler
调到,而 worker 调到它时**同一线程已经持有这把锁**,`TaskDistributedLockService` 的重入计数(`:58-61` 加、
`:188-191` 减,只有减到 0 才真释放)会让内层直接拿到句柄、永不走 null 分支。
**不改**:给它加退避等于给死代码上保险,而且要动 handler 契约。
### 12.6 验收结果(16:14 读,`75e48680` 两台发版后即读,判据成立但第 1 条换了计量口径)
发版是 16:09:11 那次同时重启(两台同版 `da1696f1` → `1ed261d9`,health 200,Flyway 137 无迁移,无启动异常)。
这一轮的样本条件比预期更好:**发版前那一刻全网 RUNNING 的结果文件作业恰好就是本机 owner 的 3 条**
(16:06:23 快照),回收该接住几条、接住了几条,可以逐行对上。
| 项 | 发版前 16:06:23 | 发版后 16:13:36 | 判据 |
| --- | --- | --- | --- |
| 开机回收日志 | 全天 **0 条**(结构上不可能命中,见 12.2) | `开机自回收本机遗留作业 count=3 owner=server-110 cutoff=2026-09-28T16:09:11.595 limit=20`,时刻 16:09:21.513 | ✅ 第一次真工作,且是**启动后 9.9 秒** |
| `booted and reclaimed` | 0 条 | 1 条 `reclaimed=3 instanceId=server-110 cutoff=2026-09-28T16:09:11.595` | ✅ 与上一行同源同数 |
| 20805(29452 货源)retry | 0,RUNNING,心跳 16:06:17 | 0,RUNNING,静默 31s | ✅ 没涨 |
| **20833(29473 外观专利)retry** | **3**,RUNNING,心跳 16:06:15 | **3**,RUNNING,静默 33s | ✅ 没涨 —— 旧行为这里会变 4,再发一版就撞 5 判死 |
| 20853(29500 货源)retry | 0,RUNNING,心跳 16:06:12 | 0,RUNNING,静默 2s | ✅ 没涨 |
| 重新被 claim 的延迟 | 旧包要等 stuck 扫描(阈值 5 分钟) | 16:12–16:13 每 20 秒一条 `scheduled worker claimed count=2` | ✅ 几十秒量级,不是 5 分钟 |
| `PENDING` 堆积 | — | `pending_rows=0` | ✅ 回收没把作业留在队列里 |
| `已达到最大重试次数` / `killed_rows` | 0 / 1 | 0 / 1 | ✅ 本轮没有新增判死 |
| `boot reclaim failed` / `ERROR` / `队列已满` | — | A:0 / 0 / 0;B:0 / 0 / 0 | ✅ |
**B 机 `开机自回收` 0 条不是没生效**:B 当时没有自有 RUNNING 作业(发版前 992 行日志里 0 claimed、
0 chunk、0 ERROR,空闲),`cutoff` 那条路径查不到候选,所以不打日志。A 的 3 条对上了就是判据成立。
判据 1 的口径要更正 —— 这是我写 12.4 时想错的一点:`实例重启,作业已重新排队` 写进 `error_message`
之后会被**下一轮处理覆盖**(16:14 复核 `still_marked=0`,20805 现在是 "Similar ASIN result uploaded…"、
20833 是 "Task is busy, waiting for previous…")。所以它是**瞬时标记,不能当累计计数用**;
真正的验收锚点是这两条:**开机回收日志的 `count=`** 和 **那几行 `retry_count` 跨发版不变**。
`reclaimed_rows` 这种"按文案数行数"的读法在任何一次成功回收之后都会掉回 0,读到 0 别当成没工作。
顺带记一笔:这一轮同时是 §十一 和 §十二 第一次在同一个真实发版里叠上 —— 20833 处于 §十一 的停车态
(`Task is busy` + RUNNING),旧包靠 stuck 扫描按时间判死它,新包先由开机回收退回 PENDING、
再由 10 秒一轮的轮询重新捞起。两个修复接的是同一条链的两端。