Files
crawler-plugin/docs/ops/prod-decisions-2026-09-28.md
T
huangzd1997 d70c472cab docs(运维): 记下落域修复的实测(26/26 救回、行失败 0)与品牌检测坏上游
品牌检测现在整小时 270 个品牌被判"查询失败",根因在 16890 自己的日志里:
代理 IP 供应商回「套餐不存在」——java 侧调参救不了,砍重试只会把可恢复的品牌写死。
顺带把容器日志的增速/保留期换成可复跑的实测法,并纠正"A 访问自己 EIP 很慢"这条:
小请求握手只差 0.2ms,5–8Mbps 只咬大块传输。
2026-09-28 12:47:03 +08:00

703 lines
63 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 生产待人工决策清单(2026-09-28 夜)
本轮已上线的改动列在第一节,后面每一条都是**代码里做不掉、需要人拍一次**的动作。
条目按"建议处理顺序"排,不按发现顺序。
## 一、今夜已完成(无需再决策,列出便于核对)
| 提交 | 改动 | 状态 |
|---|---|---|
| `8536ddb3` | 外观专利行重发加轮次上限,超限就地判失败并写明原因 | 已上线 |
| `6a82697a` | MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min | 已上线 |
| `2d33f478` | 用户态接口的 `user_id` 归属改由令牌身份判定(只绑定、暂不要求凭据) | 已上线 |
| `10dec56e` | 外观专利:完成标记只打在真正落库的行上(少回的行撤销重发) | 已上线 |
| `dd06a1cf` | 货源主图转存:连接级失败做有界重试,失败行日志带上真实原因 | 已上线(实测见 §6.1) |
| `a6e4a589` | 货源主图重试改走备用域名,绕开被钉死的坏 CDN 节点 | 已上线(实测见 §6.3) |
线上产物:`162,590,216 B` / md5 `b834d489c8640fd1f6cc9d51238f4606`,两台一致。
(当前线上已推进到 `162,592,865 B` / md5 `0c941fc78f64a39676e22fe9c301a01c`,12:32 发 B、12:33 发 A,两台一致;
中间那版是 `03eb1049c19ff58f3d8df423aeb6d0e9`。)
(今夜此前两版:`e97fd273473db849b705a766b7b505c7` → `e0854c23cc99344a6ddadbf2019e08bf`。)
发版后回读(重启后 5–15 分钟窗口,A 4780 行 / B 530 行日志):健康 200、Flyway 137 up to date、
instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-guard] rejected` 0 条、
`重发轮次已达上限` 0 条(无误杀)、`本批结果未全部落库` 0 条。
**A 上重启时确有一批外观 LLM 在飞**(03:15:36 发出 5 品请求),03:20:52 该任务
`llm batch done taskId=29447 jobId=20802 rows=10` —— 中断后自行续跑并交付了一批,
本轮未出现开机自回收日志(ready 时没有心跳已停的遗留 RUNNING,属正常分支)。
发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。
### 附:中间件侧今夜已做的五处线上改动(改的是主机配置,列此便于回滚;④⑤另有代码/提交)
| 改动 | 机器 / 对象 | 前 → 后 | 回滚 |
|---|---|---|---|
| cgroup 内存上限抬高 | A `1Panel-mysql-zbja` | 6 GiB → **10 GiB**(实占 3.14 GiB) | `docker update --memory 6442450944 --memory-swap 6442450944 1Panel-mysql-zbja` |
| cgroup 内存上限抬高 | B `aiimage-mysql-replica` | 2 GiB → **3 GiB**(实占 1.67 GiB,已到 84%) | 同上,换数值与容器名 |
| cgroup 内存上限抬高 | B `shufu-device-logs-minio` | 2 GiB → **3 GiB**(实占 1.82 GiB,已到 **91%**,再涨就是 OOM) | 同上 |
| nginx 请求体上限 | B `git.aishufu.top` 站点 server 段 | 继承 http 级 `50m` → 本站 `1024m` | 同目录留了 `.bak-<时间戳>`,`cp` 回去 + `nginx -s reload` |
| OSS 端点拆分 | 两台 `/.env` + jar(提交 `b7ae4478`) | 服务端读写:公网域名 → **`http://192.168.0.171:9000`**;预签名仍公网 | 删 `/.env` 里 `AIIMAGE_OSS_INTERNAL_ENDPOINT` 那行(有 `.bak-…`)+ 重启 java |
| RocketMQ 走私网 | B broker.conf + 两台 `/.env` | `brokerIP1` 公网 EIP → **`192.168.0.170`**;namesrv 追加覆盖为 **`192.168.0.170:9876`** | 各自 `.bak-20260928094413` / `.bak-…` 复原 + `docker restart 1Panel-rocketmq-ZnP2-rmqbroker`、`docker restart java-server` |
三条硬约束,下次改之前先看,否则会踩:
1. **`docker update --memory` 必须同时给 `--memory-swap`**。只给 `--memory` 且新值大于旧的 swap 上限时,
Docker 直接拒绝(`Memory limit should be smaller than already set memoryswap limit`),
而这条错误只在 stderr 里 —— 用 `... 2>&1 | sed 's/^/ /'` 或显式打印 `${PIPESTATUS[0]}` 才看得见,
写 `&& echo 成功` 会把它吞成一个假成功。改完必须回读
`cat /sys/fs/cgroup/memory/docker/<全ID>/memory.limit_in_bytes` 确认真的落地了。
2. **改 nginx 要改宿主机侧的 bind mount 源**,不是容器里的路径。容器 `/usr/local/openresty/nginx/conf/conf.d`
的源是 `/opt/1panel/www/conf.d`(用 `docker inspect -f '{{range .Mounts}}…'` 拿,别猜)。
改完 `nginx -t` 再 `nginx -s reload`(reload 不断连接,无需重启容器)。
3. **宿主机层面的 `ss` 看不到容器 netns 里的连接**。今晚"java 没连 MQ""nacos 无人使用"两个结论都由此产生,
都是假的;正确姿势是先 `docker inspect -f '{{.State.Pid}}' <容器>` 再 `nsenter -t <pid> -n ss -tn`。
另注意 `ss -tn` 的列序是 `State Recv-Q Send-Q Local Peer`,**对端在第 5 列**(我第一版取了 `$4`,
统计出来的全是本端端口,看着像"全连到 172.19.0.2",其实是把本地地址当真了)。
4. **1Panel 的 openresty 站点访问日志不在 `/usr/local/openresty/nginx/log/`**。按那个路径 zcat 会得到空结果,
而空结果和"确实没有 413"长得一模一样。真实位置是容器 `/www/sites/<站点>/log/access.log`
(宿主机 `/opt/1panel/www/sites/<站点>/log/`),另有部分服务写 `/dev/stdout`。
凡是"某类错误 0 条"的结论,都要**同时报该文件的总行数**自证读到了东西。
改完的验证:nginx 侧用 60MB 体打 `git.aishufu.top`(127.0.0.1 回环 + `--resolve` 指站点)得到
**405 / 0.113s**(进了 Gitea 应用层,说明代理不再拦),对照未改的 devops 站仍是 **413**。
### 附:健康评估报告第 6 条(外观/货源"静默降级")已核,不必再追
报告称 `allRowCount` 读失败 `return 0`、`loadAllRowsByBaseId` 读失败返回空,会把期望行数压低造成"假完成"。
逐个调用点读完后的结论是**不成立**,记录在此免得再查一遍:
- `allRowCount` 的返回值只喂两处:`FileResultEntity.row_count`(列表页显示的"共 N 条")和进度分母。
两处都写了"0 不覆盖已有非零值"(`finalizeTask` 的 `rowCount > 0 ? rowCount : result.getRowCount()`、
货源 `resolvePythonUploadProgress` 的 `totalRows <= 0 && uploadedRows > 0` 兜底),
而 `createResultRecordForAssembly` 的兜底分支自己会重读载荷,读不动时异常照常上抛。
**没有任何成功/失败判定吃这个数**。
- 真正的完成判定是 `validateCompleteLlmCoverage`,它的分母来自 `assembleResultWorkbook` 里
**不带 try/catch 的** `readParsedPayload(task)`——载荷坏了会直接抛,不会静按 0 行放行;
覆盖率低于 `llm-coverage-min-ratio`(默认 0.5)时抛"LLM 结果不完整"。
- `loadAllRowsByBaseId` 返回空只影响 `expandRows` 的同组兄弟回填,**不影响发不发检测**
(候选行来自分片自身的 `readChunkRows`),落库匹配也不看它。所以后果是"兄弟行各发一次、多扣几次",
而不是丢行。
- 顺着这条链查到的是另一个口子,已在 `10dec56e` 修掉:整批完成标记此前不区分"结果有没有真的写进分片"。
## 二、需人工决策
### 1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据"
现状(今晚重新取证,非引用旧笔记):
- 数据归属由请求参数 `user_id` 决定:controller 层共 **19 个文件**出现 `user_id`,其中只有 **2 个**文件里
出现过任何身份调用(`requireUser` / `requireUserOrInternal` / `currentUser`)。这是文件级统计,
端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。
- `aiimage.security.user-tool-guard-enabled` 默认 **false**,生产未覆盖 → query-asin / similar-asin /
appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。
- 桌面客户端 `app_client` 对这 14 个前缀共 **15 个调用文件**,其中只有 **4 个**文件里出现过任何凭据头
(collect-data 2、price-track 1、shop-match 1)。文件级统计是**上界**——同一文件里也可能只有一部分
请求带抬头。
- `AdminApiGuardFilterTest`(HEAD 版,20 个用例)对当前代码全绿。
两个可分开的动作:
| 动作 | 效果 | 代价 | 状态 |
|---|---|---|---|
| **A. 绑定**:请求带 JWT 时,校验 `user_id` 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 | 已登录用户不能再互相冒读,19 个 controller 文件不用逐个改 | 对匿名与内部令牌调用零影响 | **已实现**(见下"绑定的落地依据") |
| **B. 要求凭据**:把上述前缀纳入兜底鉴权(开关置 true) | 未登录直接 401 | 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 | **等客户端普遍携带凭据之后再开** |
绑定的落地依据(今晚逐条查证,不是推断):
- 角色词汇表只有三态:`DeviceSessionPolicy.resolveRole` 只会返回 `super_admin` / `admin` / `null`,
没有第三种"员工"角色;生产 `users` 表 135 个账号分布为 `normal` 子账号 120、`admin` 子账号 13、
`admin` 1、`super_admin` 1 → 管理员豁免面闭合。
- 网页端 `getCurrentUserId()` 读 `localStorage['uid']`,而 `uid` 由登录响应 `data.userId` 写入;
`AuthService.buildResult` 里 `vo.setUserId(user.getId())` 与 `jwtService.issue(user.getId(), …)` 同源
→ 诚实客户端的参数**恒等于**令牌主体,正常用户不会撞 403。
- `frontend-vue` 各 tab 一律传 `getCurrentUserId()` / `uidForStorage()`;只有 `admin-frontend-vue` 传任意
`user_id`,而它是管理员身份 → 落在豁免里。
- 带凭据的 4 个桌面模块(`price_match_new` / `search_spider` / `tool` / `log_uploader`)用的都是
`X-Internal-Token`,在 `shouldNotFilter` 里由 `isTrustedInternalToken` 提前整体放行,**不参与绑定**。
- 实现范围刻意收窄到 `USER_TOOL_PREFIXES`:`/api/admin`、`/debug`、自助接口仍只做"有没有身份",
不做参数比对,避免误伤后台里合法传他人 id 的流程。
- 代价:每个带 `user_id` 的用户态请求会多走一次 `requireUserOrInternal`。匿名请求在 `resolveToken`
处即抛 `BusinessException`(未登录)返回,**不查库**,但会构造一个带栈异常。按现网这个接口的
轮询频率,量级可忽略,若日后要省掉,可加"仅在带了凭据线索时才解析"的短路。
紧急回退仍是一个:`aiimage.security.admin-guard-enabled=false` 会把绑定与原有兜底一起关掉。
若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。
### 2. 主机A MySQL:`8G` 上限冲突已按"抬上限"解掉,生效值 10:2x 也读到了 —— 结论是这台不用调
`/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `innodb_buffer_pool_size=8G`(instances=8),
容器上限已从 6 GiB 抬到 **10 GiB**(今夜已生效,回读 `memory.limit_in_bytes=10737418240`;
实占 3.14 GiB,宿主机 30 GiB 里还有 19 GiB available)→ OOM 悬崖拆除,`8G` 原样保留。
两件事没做掉,需要人:
- **A 的生效值 10:2x 读到了**:`bp_mb=8192 / max_conn=500 / lock_wait=50 / ver=8.4.8 / trx_commit=1`
→ 8G **没有被截断**,实占 RSS 3.145 GiB(池是懒加载,还没涨满,上限已是 10 GiB 所以涨满也不会被杀)。
失败原因确认了:容器里 `MYSQL_ROOT_PASSWORD` 那份**不是库的 root 口令**(`ERROR 1045 … using password: YES`),
而 `docker exec … sh -c '…$MYSQL_ROOT_PASSWORD…'` 在 Python 侧的单引号里又根本不会展开 —— 两次"读不到"是两回事。
读到的这次走的是**业务账号 + `--defaults-extra-file`(容器内 600 权限临时文件,用完 `shred -u`,容器内外各查过 0 残留)**,
口令全程不落到输出里。顺带确认 `performance_schema` 对 `aiimage_backend` 依旧是 1142 拒(和旧笔记一致),
但 `SELECT @@…` 和 `SHOW GLOBAL STATUS` 不需要它,所以"读不到生效值"这件事本来就不必等人。
- **同一批读数说明这台没有可调的点**,别照着"buffer pool 可能太小"去动它:
`Innodb_buffer_pool_read_requests` 53,799,770,917 对 `Innodb_buffer_pool_reads` 31,531
→ **命中 99.99994%**,物理读基本不存在;`Max_used_connections` 历史峰值 **45**(上限 500),
当前 `Threads_connected=13`、`Threads_running=3`;Hikari 两台各 `max=30 / min-idle=5`(合计 60),
远没顶到 MySQL 上限;`Innodb_row_lock_waits` 累计 354,326 次但 `time_avg=7ms`。
也就是说这台的时间花在**锁的尾部**(本节末那条以及第一版健康评估里的 581 条锁等待统计),不在内存、不在连接数、不在 IO。
`Aborted_connects` 3,250 与 `TcpExtListenDrops=6` 都是累计值、10 秒窗口内 `TcpRetransSegs` 无增长,不构成信号。
- **docker update 是运行态改动,容器重建就回滚到 6 GiB**。1Panel 的 compose 用的是
`memory: ${MEMORY_LIMIT}`,而 A/B 两台每个应用的 `.env` 里都写着 `MEMORY_LIMIT=0`(0=不限),
说明这个 6 GiB 不在 `.env` 里、是 1Panel 界面/数据库里配的。**要让它扛得住重建,得在 1Panel 控制台把
mysql 容器限额改成 10G**(或者按 `MEMORY_LIMIT=10737418240` 写进 `/opt/1panel/apps/mysql/mysql/.env` 后重建容器)。
同一条适用于 B 的 `aiimage-mysql-replica`(2G→3G)和 `shufu-device-logs-minio`(2G→3G)。
同机顺带一条(未动):`innodb_lock_wait_timeout` 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条),
这个阈值对业务侧的表现需要一并看一眼是否要调。
### 3. 主机B 的 `aiimage-mysql-replica`:取证已补齐(活着、滞后 0 秒),结论是**先别做读分流**
08:2x 直读副本状态(`SHOW REPLICA STATUS`):
```
Source_Host: 192.168.0.171 Source_Port: 3306
Replica_IO_Running: Yes Replica_SQL_Running: Yes Seconds_Behind_Source: 0
生效 innodb_buffer_pool_size = 1.0000 G(限额已 2 GiB → 3 GiB)
```
也就是"追不追主库"这一条已经解决:**在追,滞后 0 秒,而且走的是 VPC 私网 `192.168.0.171`**
(这一条顺带把"公网 3306 能不能收掉"的顾虑排掉了,见第五节第 1 条)。
第二件取证(A 的瓶颈是否落在读上)**答案是否**:上一轮慢日志拆下来锁等待 581 条 vs 大扫描 44 条,
把读挪到副本对锁等待无解,只会新增一层"应用要区分读写源"的复杂度和一套副本专属的故障面。
`super_read_only` 是否置位**没读到**,真要启用分流前先确认它,否则分流第一天就可能有人往副本写。
所以本条从"待取证"降级为**已知可用、暂不接入**。触发重新评估的条件写清楚:
当慢日志里大扫描/报表类查询占比明显上升,或者要做"导出全量结果"这类一次性大读时,
副本是现成落点(外观与货源的 LLM 阶段只读库、不依赖本地文件,分流前提成立)。
### 4. 软件版本对象的真删开关仍是 dry-run
`aiimage.software-version.retention-dry-run` 默认 true(只记日志不删对象)。要启用真删,
先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。
### 5. V137 的 20 个冗余索引还只是 INVISIBLE
V137 只把它们置为不可见,**观察 1~2 周慢日志无退化后要追加 V138 执行 DROP**,否则索引仍占空间、
仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。
### 6. 后台「LLM 使用」的次数口径变了,要提前打招呼
外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,**统计次数约掉到 1/6.7**。
这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多
(约 30–45%),且走的是用户自己的 apiKey 额度。
### 7. 监控指标:端点根本不存在,告警无从挂起
`backend-java/pom.xml` 只有 `spring-boot-starter-actuator`,没有 `micrometer-registry-prometheus`;
线上 `GET 127.0.0.1:18080/actuator/prometheus` = 404,`/actuator` 只列 health。
仓库里那 49 个 `aiimage.*` 指标名从未被任何面板抓到过(`TaskObservabilityMetrics` 无 `@Component`、
main 代码零调用者)。
要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 **18080 在主机A 是公网直连**,
一旦暴露 `/actuator/prometheus` 就等于公网可读的运行指标,需要同步把它从公网收掉
(只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的
`taskId= / stage= / jobId= / costMs= / moduleType=` 字段做告警。
### 8. `backend/config.py` 里的平台自身明文凭据
该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。
处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。
### 9. 主机A 的 Nacos:10:13 已停 —— 不只是白吃 2 GiB,它是"鉴权关闭 + 端口对公网开"
取证链(两条都是今晚重跑的,不是引用旧笔记):
- 在 **nacos 容器自己的 netns** 里数 8848 的 established = **0**(`nsenter` 后的结果,
避开了宿主机 `ss` 看不见容器网络的那个坑)。它那两条 ESTAB 的对端是 `172.22.0.2` ——
**就是它自己的容器 IP**(`nacos_default` 这个网络里只有 nacos 一个成员,`7848` 是它自己的 raft 口),
所以是自我连接,不是客户端。
- Java 侧 `env` 里没有任何 `NACOS` 变量(键数 0),进程 cmdline 里没有 `nacos` 字样;
两台挂载的 `/app/application-server.yml`(271 行)里 nacos 出现 **0 次**;仓库里除了本文档也没有 nacos 引用。
- 宿主机 `ss -tn` 到 8848/9848 命中 0 条(A 与 B 都查了)。
**改前漏看、这次补上的一条(比内存更要紧)**:
- `docker port` 显示 **8080 / 8848 / 9848 全部绑在 `0.0.0.0`**,而 `HostConfig.Memory=0`(无上限)。
- 容器里 `NACOS_AUTH_ENABLE=false`、`nacos.core.auth.enabled=false`(同一文件里
`nacos.core.auth.admin.enabled=true`、`console.enabled=true` 是 2.3+/3.x 的分层开关,还开着)。
- access_log 里近 14 天净是外部扫描:`GET /nacos/v1/cs/configs?...search=blur&pageSize=1000&tenant=*`(配置全量导出的招牌探测)、
`GET /nacos/v1/auth/users?pageNo=1&pageSize=9`、还有伪造 `User-Agent: Nacos-Server` 的请求(就是那个老 bypass),
来源是 40 个互不相干的公网 IP,`curl`/`python-requests`/浏览器 UA 混杂,**没有一条来自两台内网地址**。
- **没有证据表明被读到过东西**:`nacos/v1*` 相关请求近 14 天共 73 条,状态码是 **70 条 500 + 3 条 404,0 条 2xx**。
镜像是 `nacos/nacos-server:v3.2.1`,v1 的这批接口在它上面本就不存在,所以探测全落在错误上。
(别把这句读成"安全":500 而不是 401 也说明服务端确实**没在鉴权**,只是没有对应的接口可打。)
**动作(10:13,可一条命令回滚)**:`docker stop 1Panel-nacos-dsLA-standalone`。
回滚 = `docker start 1Panel-nacos-dsLA-standalone`。效果与验证:
- A 的 `MemUsed` 10 GiB → **8 GiB**、`available` 20 → **22 GiB**。
- 停后 60 秒:java `health=200`、近 2 分钟 `ERROR` **0 条**(该窗口日志 423 行,自证读到了东西)、
货源作业 `[task-file-job] … jobId=20805 stage=WAIT_LLM` 照常推进。
- **数据没动**:`/opt/1panel/apps/nacos/nacos/data/data` 2.1G(`derby-data` 建自 5-14,7-29 还在写),
所以哪天要用,起来还是原来那套;**别顺手删容器或 app 目录**。
我选"停"而不是原计划的"压到 512m",理由有两个,都写在这儿免得下次重判:
①它的 JVM 是 `-Xms2g -Xmx2g -Xmn1g` 且容器**无限额**,压到 512m 会当场被 cgroup 杀掉,
要降必须先改 `JVM_XMS/JVM_XMX` 并重启它 —— 那和停掉的成本一样,收益却小得多;
②停掉同时消掉了 8848/9848/8080 这个对公网开的无鉴权面,压内存只解决钱不解决门。
**遗留给人拍板的**:如果确认这套 nacos 以后也不用于服务发现,就在 1Panel 里把它**卸载或至少改成只绑 127.0.0.1**,
并把 §五 的安全组清单加上这三个端口。
## 三、已解决:Gitea 那 7 个提交推上去了(08:10)
远端 `master` `56913563 → 7aa9f3df`,回读 `git rev-list --left-right --count origin/master...HEAD` = `0 0`。
之前"工作站上没有任何可静默使用的凭据"这句话是**假阴性**,成因是 Git Bash 的路径转换把
`cmdkey /list` 变成了别的调用(要写 `cmdkey //list`)。实际凭据管理器里早就有
`git:https://gitserver@git.aishufu.top`。可用的静默推送咒语:
```bash
GIT_TERMINAL_PROMPT=0 GCM_INTERACTIVE=never GCM_PROVIDER=basic git push origin master
```
GCM 会 warn `no such provider 'basic'` 然后回退自动探测 —— **这个 warn 无害、照样成功**,
关键是 `GCM_INTERACTIVE=never` 让它不再弹"选哪个 helper"那 90 秒。
退出码必须重定向到文件再看:`git push | tail` 拿到的是 `tail` 的 0,不是 git 的。
## 四、今晚新查出来的:两台之间的流量大量走公网,只有 5–8 Mbps
这是本轮最有价值的一条,因为它解释了一批"莫名其妙慢/超时"的老问题,而且**修它的代价是配置项级别的**。
### 4.1 实测带宽差(30MB 测试体,08:3x)
| 路径 | 结果 | 折算 |
|---|---|---|
| A → A 公网 `https://oss.aishufu.top`(**Java 现在写对象走的就是这条**) | 3.37 MB / 3.45 s | **≈ 0.98 MB/s** |
| B → A 公网同一入口 | 3.23 MB / 3.27 s | ≈ 0.99 MB/s |
| A → B 公网 `https://download.aishufu.top` | 27.5 MB / 45 s(撞 max-time) | **≈ 0.61 MB/s** |
| A → A 私网 `http://192.168.0.171:9000` | 5.5 MB / 0.006 s | ≈ 900 MB/s |
| B → A 私网同一入口 | 6.75 MB / 0.009 s | ≈ 750 MB/s |
| A/B → B 私网 `http://192.168.0.170:9000` | ≈ 0.009–0.026 s | 1.1–3.5 GB/s |
路由已确认 `ip route get 47.110.241.161`(在 A 上)= `via 192.168.0.253 dev eth0` ——
**发往自己的公网 IP 也要出 VPC 网关绕一圈**,所以"回环"确实吃公网额度。
公网与私网差 **约 1000 倍**。
对上面 A→A 那两行的诚实注脚:服务端提前回了 400,只发出去 3.3MB,样本里含 TCP 慢启动。
但该路径 RTT 只有 11 ms(TLS 首字节实测 `connect=0.000705s tls=0.010896s`),
11 ms RTT 下慢启动几百毫秒就能爬到几百 MB/s,3.45 s 发 3.37MB 解释不通,
而且跨机那条持续 45 s 的 0.61 MB/s 是干净的持续值 —— 结论(公网 ~5–8 Mbps)不受这个瑕疵影响。
### 4.2 现在还有哪些地址指公网(A 上 java-server 的 env 逐项对过)
| 配置 | 当前值 | 走公网? |
|---|---|---|
| `AIIMAGE_OSS_ENDPOINT` / `public-endpoint` | `https://oss.aishufu.top` | **是**,且是 A 指向自己的回环 |
| `AIIMAGE_ROCKETMQ_NAME_SERVER` | `121.196.149.225:9876` | **是**,跨机走公网 |
| `AIIMAGE_TRANSIENT_STORAGE_ENDPOINT` | `http://192.168.0.170:9000` | 否 |
| `AIIMAGE_DEVICE_LOG_OSS_ENDPOINT` | `http://192.168.0.170:9610` | 否 |
| `AIIMAGE_REDIS_HOST` | `192.168.0.172` | 否 |
| `AIIMAGE_DB_URL` | `192.168.0.171:3306` | 否 |
副本复制也已经在私网(`Source_Host: 192.168.0.171`)。所以**剩下的公网依赖只有两处:OSS 端点和 MQ namesrv**。
MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `47.110.241.161`(A 的公网 IP)的 established 连接,
也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。
### 4.3 两处改法(一条已做完,一条需要人配合)
- **OSS 端点拆分:已上线(提交 `b7ae4478`,两台线上 md5 `02357a89da2100689565319462d9db29`)**。
新增 `aiimage.oss.internal-endpoint`(env `AIIMAGE_OSS_INTERNAL_ENDPOINT`,默认空=沿用 `endpoint`,
所以不带 env 的环境行为与今天完全一致),只给服务端读写的 client 用;
预签名改用 `public-endpoint` 那张 client,浏览器直传 URL 的 host 不变。
生产两台的 env 落在 `/opt/1panel/runtime/java/java-server/.env`(`run.sh` 第 3 行 `source /.env`;
**该文件里 AIIMAGE_* 全是 `export` 形式,不加 export 传不到 java 子进程**),
写前留了 `.env.bak-2026092809285x`,回滚=删掉那一行再 `docker restart java-server`。
启动日志新增一行可直接回读生效值:
`[oss] 服务端读写端点=http://192.168.0.171:9000(预签名端点=https://oss.aishufu.top)`(两台都已打出)。
连接方向也已实测翻转:A 的 java netns 里出现 `192.168.0.171:9000`,原先的 `47.110.241.161:443` 消失。
副作用两条要记着:对象流量**不再经过 A 的 nginx**(那一层的访问日志看不到了),
服务端到 MinIO 变成明文 HTTP —— 只在 VPC 内,SigV4 不泄露密钥,可接受。
- **MQ 走私网:已上线(09:44 改 broker、09:53 改 namesrv,两台都重启过)**。
**先纠正我上一版的取证错误**:我写"broker.conf 里没有 `brokerIP1`"是查错了文件 ——
容器里 `/home/rocketmq/rocketmq-5.5.0/conf/broker.conf` 是发行包自带的那份,
broker 实际加载的是 `-c /opt/rocketmq-5.2.0/conf/broker.conf`(bind 自宿主机
`/opt/1panel/apps/rocketmq/rocketmq/data/broker/conf/broker.conf`),它第 8 行**一直写着**
`brokerIP1=121.196.149.225`。所以注册地址不是自动探测出来的,是 1Panel 装的时候就写死的公网 EIP。
动作与回读:
- ① 那行改成 `brokerIP1 = 192.168.0.170`,备份 `broker.conf.bak-20260928094413`,
`docker restart 1Panel-rocketmq-ZnP2-rmqbroker` → `mqadmin clusterList` 第 4 列变 `192.168.0.170:10911`,
容器 `running / OOM=false`,broker 日志无 error 关键词。**java 不用重启**:客户端每 30 秒刷一次路由表,
实测改前遗留的那条 `121.196.149.225:10911` 长连接在约 1 分钟后自行消失,换成 `192.168.0.170:10911`(两台都是)。
- ② namesrv:`AIIMAGE_ROCKETMQ_NAME_SERVER` **不在 `/.env` 里**(`/.env` 只有 7 个 AIIMAGE_ 键,
其余 34 条来自容器创建期的 `Config.Env`),所以是往 `/.env` **追加**一行
`export AIIMAGE_ROCKETMQ_NAME_SERVER="192.168.0.170:9876"` 来覆盖(`run.sh` 第 3 行 `source /.env` 晚于容器 env)。
两台各留 `.env.bak-…`,`bash -n` 通过。B 先重启验证,A 随后。
启动日志可直接回读:`a producer (aiimage-backend-producer) init on namesrv 192.168.0.170:9876`,
consumer 容器 `nameServer='192.168.0.170:9876'`,两台 ERROR 0 / health UP。
- **一个反复踩到的读值坑**:`docker inspect -f '{{.State.Pid}}'` 拿到的是**入口进程**(`entrypoint.sh` → `bash /run.sh`),
读它的 `/proc/<pid>/environ` 只会看到 `Config.Env` 那层的**旧值**,java 是孙进程。
**`/proc/<pid>/environ` 只反映该进程最后一次 `execve` 时的环境,shell 之后 `source /.env` 的内容不会回写进去** ——
所以读覆盖后的真值要在宿主机上 `JP=$(pgrep -f 'aiimage-backend.*jar' | head -1)`,再
`tr '\0' '\n' < /proc/$JP/environ | grep AIIMAGE_ROCKETMQ`。
11:1x 用这条把同一个键的三层读全了(两台结果一致):
`Config.Env` = `121.196.149.225:9876`(创建期旧值)→ 入口进程 environ = **同上旧值**(这就是那个假象的来源)→
java 子进程 environ = **`192.168.0.170:9876`**(真值,`/.env` 的 export 赢了,因为 source 发生在 java 启动之前)。
两条推论:① 判生效值最省事的还是读启动日志那行 `init on namesrv …`,或者直接看 netns 里 `ss -tn` 的对端 IP;
② `Config.Env` 里那条公网旧值**不用清**,`/.env` 每次启动都会盖住它;但反过来,**只要有人绕过 `run.sh`
直接 `docker exec` 起进程,就会退回公网值**,所以别用 `docker exec` 手工重启服务。
- **改后的真实消息已回读**(不是只看连接方向):`10:12:07.553` A `mq published jobId=20831 moduleType=PRICE_TRACK`
→ `10:12:07.921` B `ConsumeMessageThread_2 … jobId=20831 process success`,**跨机投递耗时约 370ms**;
`10:14:10` 的 `jobId=20832`(BRAND)由 A 自己消费并 `finalized success`;B 近 45 分钟消费 9 条、A 消费 3 条,
**publish failed / 熔断 = 0**。改完后两台到 MQ 的对端**只剩** `192.168.0.170:9876` 与 `:10911`,公网那条彻底没了。
- 顺带实测到一条**跨机竞争消费本来就是通的**(改前的公网路径上):A `09:03:16 mq published jobId=20828`
→ B `09:03:16 ConsumeMessageThread_7 … jobId=20828 process success`,`09:10:57/58` 的 20829 同样。
所以 MQ 确实在承载结果文件作业(A 近 12 小时 publish 25 次、两台都有消费线程活动),不是空配置。
- 收益如我先前判断:省的不是带宽而是**耦合** —— 文件流量打满 5 Mbps 时不再把作业通道一起拖死。
重启 A 之前它有 3 个货源作业在 `WAIT_LLM`,重启后 20791/20805/20825 全部继续被 `task-queue-*` 处理,
等于顺手把今晚上线的**重启续跑语义**在真实负载下验了一遍。
### 4.4 VPC 内的实际延迟与"内网对象通道有没有变差"(10:3x 实测)
A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻):
| 对端 | 用途 | rtt | 备注 |
|---|---|---|---|
| `192.168.0.171:3306` | 主库(同机) | 0.033–1.72 ms | minrtt 0.001,本机 |
| `192.168.0.170:16379` | **redis master 在 B** | 0.147–0.319 ms | 哨兵发现的主,A 只留 2 条长连接 |
| `192.168.0.171:9000` | 主 MinIO(内网,今晚新走的路) | 0.334–0.823 ms | 37MB 上传中 `retrans:0/31`、重传字节 41,632/**37,662,303 ≈ 0.11%** |
| `192.168.0.170:9000` | 设备日志 MinIO | 0.28 ms | 累计收 536MB / 发 156MB,`busy 77s`,无重传 |
| `192.168.0.170:9876 / 10911` | namesrv / broker | 0.20–0.63 ms | 今晚切私网后新增 |
| `47.115.192.140:443` | **已认领:`cbu01.alicdn.com`(1688 商品图 CDN)** | **26.1–27.3 ms** | 全场唯一的高 RTT,杭州机 → 阿里深圳 CDN 节点 |
三条结论:
1. **跨机不是问题**:A→B 的 redis/MQ/设备日志全部 0.15–0.63 ms,比 A 到自己 MySQL 的最差那条(1.72 ms)还低。
所以"把 redis 或 MQ 挪回本机"这类改造**没有收益**,不要做。
2. **今晚切的内网对象通道没有变差**:那条 retrans 数字是我自己读错的产物 ——
我第一版 awk 用 `retrans:[0-9/]+` 去抓,命中了 `bytes_retrans:1632` 这个**字节**字段,
看着像 1632 次重传。原始行是 `bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23`,
即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 `TcpRetransSegs` 在 10 秒窗口里**一次都没涨**。
以后从 `ss -ti` 取重传,要么取 `retrans:` 那个字段,要么先把整行贴出来再判。
3. **那个 26 ms 的公网依赖已在 10:5x 认领:`cbu01.alicdn.com`(1688 商品图 CDN),货源链路**。
过程与证据(前一版写"认不出属于哪个业务调用",现在补上):
- 先按 IP 找:在 A 上逐个解析 java 配置里能抽到的外部主机,**没命中**;再换成"在 A 本机解析外部 CDN 域名"
(关键区别:CDN 按就近返回,我工作站上解析 `cbu01.alicdn.com` 拿到的不是这批 IP),
A 的解析结果是 `47.115.192.140 / 47.115.192.141 / 8.141.190.160 / 8.147.229.178 / 8.160.215.133 …` 共 **8 条 A 记录**
—— 目标 IP 是其中第一条。**这同时解释了它为什么时有时无**:我 10:5x 复查时 netns 里 established 共 20 条、
命中这个 IP **0 条**,因为客户端换了一批连接池里的另一个节点。
- 代码侧对得上:`SimilarAsinImageEmbedder.java:80`、`SimilarAsinLlmService.java:549`、`PuzzleImageMerger.java:218`、
`SimilarAsinProperties.java:52` 四处注释都在说 `cbu01.alicdn.com` 是**慢源**("带外站 Referer 稳定 403、
无 Referer 直接 200"、"会一直挂 8s 才进入 retry")→ 就是货源图片下载/内嵌那条路。
- 日志侧对不上是正常的:`grep -c alicdn` 近 20 分钟 java 日志 **0 条**(日志里不打完整图片 URL,只打 jobId/行数),
这条**不能当反证**;同一窗口 `media-amazon` 有 39 条,说明图片下载确实在跑。
- **结论:这不是我们能改造的东西** —— 它是外部 CDN,不存在"切内网"的选项,26 ms 是杭州→深圳节点的物理距离。
真要提速只有两档:图片已在库里的别重下(缓存命中),或把下载并发从 `image-download-pool-size=8` 往上抬
——但**公网出口只有 5–8 Mbps,抬并发只会互相抢带宽**,所以这条归入"不动"。
- 顺带纠正我自己前一版的取数:那组 rtt 写成 `0.405 / 26.104 / 26.303 / 27.314`,其中 `0.405` 与同 IP 的其它三条
差 60 倍,更像是 `ss -tni` 多行记录被我按行抓串了位,**不要拿它当"有一条快连接"的依据**。
## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配
这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。
- **A 上绑在 `0.0.0.0` 的端口一共 18 个**(10:2x 用 `ss -tln` 重数,之前这里只写了 5 个,是漏的):
`22 / 80 / 443 / 3001 / 3010 / 3306 / 6379 / 8085 / 8089 / 9000 / 9001 / 15126 / 16379 / 16890 / 17248 / 18080 / 26379 / 26739`。
其中 `9001` 是 MinIO 控制台、`15126` 是 Flask、`16379/26379/26739/6379` 是 redis 与哨兵,
`3001/3010/8085/8089/17248` 本次**没有逐个认领到具体容器**(别把这条读成"这些都是废弃端口")。
B 侧对照过:replica 的 3306 **只在 docker 网络内**,B 对外只有 443。
- **但"端口开着"不等于"能匿名进",这次逐个验了**:A 上有 4 个 redis 容器
(`shufu-redis-master` 8.6.2、`shufu-redis-sentinel` 7.4.0、`1Panel-redis-NmIe` 8.6.2、`redis_gzpa-redis_GZPa-1` 7.4.0),
对 `127.0.0.1:6379`、`192.168.0.171:6379`、`127.0.0.1:16379`、`127.0.0.1:26379` 各打一次 `PING`,
**四次都是 `NOAUTH Authentication required.`**,没有一次免口令成功 → 这四个口**不用改**,收端口只是为了不给爆破机会。
**`26739` 那口(`redis_gzpa-redis_GZPa-1` 映射到宿主 6379)本次没测**,别把上面这句推广到它。
(顺带纠正:`ss -tln` 会同时列出**共享同一 netns 的容器**的监听口,所以第一版"五个容器都在听 6379"是共享网络的产物,
真实对外映射只有 `1Panel-redis-NmIe → 6379` 和 `redis_gzpa → 26739` 两条,用 `HostConfig.PortBindings` 才数得准。)
- 再加一条:**nacos 的 8080 / 8848 / 9848 也是 `0.0.0.0`,且服务端鉴权是关的**(详见第二节第 9 条)。
这条今晚已经用"停容器"消掉了,但**端口是 docker `-p` 在 iptables 里做的 DNAT,阿里云安全组未必挡得住**:
1Panel 装的这些 app 一旦哪天被人重新 `docker start`,门就又开了。所以安全组入方向要**明确写上这三个端口拒绝**,
而不是只靠"现在没容器在听"。
(停后 8 秒 `tcpdump` 采样里这三个端口已无新 SYNs,历史扫描证据见第 9 条的 access_log 统计。)
- 主库账号表里读到的是 `root@%`、`gitea_dpCCcA@%`、`py_Task@%`、`py_Task_test@%` ——
口令猜不出来也不该猜,但"任意来源主机"这个条件意味着**端口收掉之前,这些账号只靠口令守**。
- **收掉公网 3306 不会打断复制**:副本的 `Source_Host` 已经是 `192.168.0.171`(VPC 私网),
这是本条里唯一"已经确认可以安全收"的部分,我提前把它验掉了。
- 同类:18080 是 Java 的 actuator + 业务端口直连公网,所以第七节里"要不要暴露 `/actuator/prometheus`"
的前提是先把它从公网收掉;9000 是主 MinIO 裸口,公网可直接打 S3 请求。
- 建议动作(一次性、可回滚):阿里云安全组把 A 的入方向限制为 **仅 443(+ 运维来源 IP 的 SSH)**,
先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。
VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 ——
今晚已实测三个私网地址全通。
## 六、货源主图转存:252 条失败全是瞬时 TLS 重置(11:3x 查出并已修)
这条不是"中间件调优",是查别的东西时撞出来的**真在掉数据的口子**,所以记全取证链。
- **现象与量级**(主机A,`docker logs --since 180m java-server`,窗口内总行数 20,846 行):
`main download fail` **252 条**、`row failed asin=` **247 条**;失败原因 252 条**全是同一句**
`Remote host terminated the handshake`;源分布 **247 条全部是 `m.media-amazon.com`**(其它源 0 条),
且 `main download http `(非 200)**0 条** —— 也就是没有任何一次是源站正常答复的错。
- **失败是按批整片出现的**:按分钟分桶是 `08:21=10 / 08:26=10 / 08:31=20 / 08:33=10 …10:01=10 / 10:43=20 / 10:49=10`,
一批 10 行一起挂,同批三条时间戳 `10:01:12.805 / .852 / .993` 相差不到 200ms。
- **证明是瞬时的**:把当时失败的 8 条 URL 原样再取一次,**7 条 200(9.6KB–22KB 不等)**、
1 条 `000`(curl 也连不上,那条多半是真死了)。
- **三个假说逐个验掉**:
1. "出口 IP 被 Amazon 封了" —— 同机 `curl` HTTP/1.1 与 HTTP/2 都 200、`openssl s_client` 完成
TLSv1.3 握手(`TLS_AES_128_GCM_SHA256`),解析到的节点 `54.192.34.54`;B 机同样 200。
2. "JDK 21 的 TLS 栈有问题" —— 在 A 的容器里直接跑单文件程序 `java /tmp/TlsProbe.java`:
HTTP/1.1 串行 200、复用同一 client 再发 200、HTTP/2 200、**共享 client 24 并发 `{OK=24}`**、
每请求新建 client 12 并发 `{OK=12}`、低频 4 并发 8 条全 200(jdk=21.0.7)。
3. "并发打爆了 CDN" —— 配置上峰值只有 `llmRowConcurrency=5` 路主图 + 拼图池 `imageDownloadPoolSize=8`,
而我 24 并发都一次没失败。
→ 落到第四点:**旧实现一次都不重试**。`SimilarAsinLlmService.downloadBytes` 单发,握手被 RST 就 `return null`,
`prepareImages` 随即抛 `主图转存失败: <url>`,**真实异常被丢掉**(我为了知道原因只能去翻紧邻的上一行日志)。
- **代价的准确形状**(别夸大也别缩小):`prepareImages` 是 `inspectRowInternal` 的**第 1 步**,
在类目匹配/合规/图片对比这些 LLM 调用**之前** → 失败**不烧 token**;
但整行被 `markFailed` → 按现在的重发语义下一轮再来,**白占一轮行位**,最终在结果 Excel 里就是一行失败。
- **改动**:`downloadBytes` 加有界重试。
- 新键 `aiimage.similar-asin.llm-image-download-retry-times`,默认 **2(额外次数,总 3 次尝试)**;置 **0 即完全退回旧行为**。
- **只重试连接级异常**;非 200 直接返回 null 不重试(源站的确定答复,重试只是白等超时)。
- 加 25 秒总预算常量护栏:慢源 hang 住时不放大尾延迟(同模块 alicdn 已被这件事咬过,
见 `SimilarAsinImageEmbedder` 里"8s + retry=1 → 改回 5s + retry=2"那条注释)。
- 重试成功打 `main download retry-success url=… attempt=n/N`;耗尽后抛 `IOException("主图下载失败(<真实原因>)")`,
`prepareImages` 再拼成 `主图转存失败: <url> 原因: <真实原因>` → **行失败日志从此自带原因**。
- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例全绿(抖动两次第三次成功 / 耗尽后异常里带真实原因 /
403 只发一次 / retryTimes=0 退回单次 / 线程中断立刻停止重试且标志回设 / 空 URL 不抛),
原有 `SimilarAsinLlmServiceTest` 8 例未受影响。
- **回滚不用回退 jar**:`/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES="0"` 后重启 java 即可。
该键已按本仓库惯例写进 `application.yml:380`(`llm-image-download-retry-times: ${AIIMAGE_..._RETRY_TIMES:2}`),
所以运维在 yml 里就能看见它,回滚走的是 **yml 占位符**而不是 relaxed binding —— 这条是确定性的。
(补记:第一版我只把默认值写在 Java 字段里,yml 没这一行,那样 env 覆盖就只能靠命名松散绑定;打包后自查发现 `yml has retry key: False` 才补上,
补完必须重打包,因为 yml 在 jar 内。)
- **发版后要看的数**:`main download retry-success` 与 `main download fail` 的比值。
若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的,
那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。
### 6.1 发版后实测(11:57 上线,取到 12:02 的数)—— **结论与上面的预期相反,照实记**
发版:`dd06a1cf`,两台线上 jar 同为 `03eb1049c19ff58f3d8df423aeb6d0e9`(162,591,773 B),
health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SERVER=192.168.0.170:9876` 重启后仍是私网值。
主机A 按日志行首本地时间戳切窗口(`docker logs --tail 300000` 落文件后 `substr($0,1,19)` 过滤):
| 窗口 | 行数 | 货源行处理 | 行失败 | `main download fail` 行数 | 带 `attempt=` | retry 救回 | 三次耗尽 |
|---|---|---|---|---|---|---|---|
| 旧代码 11:00–11:56 | 21,583(含下行) | 514 | 75 | 75 | 0 | — | — |
| 新代码 11:57–12:02 | 1,581 | 107 | 15 | 49(=18 段重试 ×次数) | 49 | **3** | **15** |
- **重试只救回 3/18 = 17%**,另外 15 段三次全耗尽;`err=` 全是同一句 `Remote host terminated the handshake`,非 200 仍是 0 条。
- **行失败率几乎没动**:14.0%(15/107) vs 旧代码 14.6%(75/514)。
- 所以第五节/第六节开头那个"瞬时抖动、重试就能救"的判断**只对了一半**:
它确实是瞬时的(事后几十分钟再取就 200),但**恢复窗口比秒长**——
250ms/500ms 这种 backoff 撞上的还是同一阵重置,因此只有少数踩在窗口边界上的行被救回。
- **确定拿到的收益**是另外两条,不是重试本身:
① 15/15 条 `row failed` 现在都带 `原因: Remote host terminated the handshake`(旧代码 0 条带原因,
`grep -c '主图转存失败: .* 原因: '` 在旧窗口是 0),以后不用再去翻紧邻的上一行;
② 非 200 与连接级失败被分开了(`main download http` 独立计数),不会再混成一个数。
- **剩下的杠杆只有两类**,都需要先量准"恢复窗口到底多长"再决定,本轮没有动:
(a) 把 backoff 抬到秒级以上(如 2s/5s,预算 25s 装得下)——但代价是**占住行 worker**,
货源行并发只有 5,每行多挂 7 秒会直接压吞吐;
(b) 不加重试、改为**让现有的"整轮重发"去接**(分钟级天然对齐恢复窗口),
代价就是现在这个形状:白占一轮行位。
现在的数据只够说明"秒级重试≈聊胜于无",**不够说明 (a) 有用**——
要做 (a) 得先按 ASIN 关联"同一 URL 第一次失败 → 后来成功"的时间差分布,这个还没测。
### 6.2 真根因:解析到的 CDN 边缘不认 `m.media-amazon.com` 这个 SNI,直接 RST(已修:备用域名)
12:08 回读时它**还在掉数据**(窗口总行数 7,029 自证,不是"翻到几条算几条"):
`main download fail` 109 条、`retry-success` 只有 3 条、`row failed asin=` 35 条、非 200 仍是 0 条,
失败 host **109/109 全是 `m.media-amazon.com`**。往下查了四层,结论是第五节开头那句"瞬时抖动"只对了一半。
- **第一层:按节点固定 IP 打(`curl --resolve`,每节点 5 次)** —— 失败不是均匀分布,是**整族失败**:
`184.27.207.231` 0/5、`184.27.207.245` 0/5(Akamai 系,全 `code=000`,0.2s 内被重置);
`3.161.83.53` 5/5、`65.8.31.143` 5/5、`99.84.157.65` 5/5、`18.245.30.82`/`18.64.1.220`/`54.192.34.54` 200(CloudFront 系)。
- **第二层:是不是节点本身死了 / 被墙了?都不是。** 同一个坏 IP 上:
带 SNI `m.media-amazon.com` → `openssl s_client` 3/3 `write:errno=104`;
**不带 SNI → 3/3 握手成功**(`TLSv1.3 / TLS_AES_256_GCM_SHA384`);
**换 SNI 为 `images-na.ssl-images-amazon.com` → 同一 IP 直接 200**。
TCP 443 两边都能连(`/dev/tcp` 都 yes)→ 复位发生在 ClientHello 之后 = **这台边缘没配这个虚拟主机名**,
不是封禁、不是限流、不是 TLS 版本/套件问题。
- **第三层:为什么会"整批一起挂"** —— 解析本身在抽奖:宿主机 24 次查询里 **15 次(62%)**给的是坏族、
容器内 12 次里 **4 次(33%)**;而 JVM 的正向 DNS 缓存会把抽到的节点钉住一段时间
(`java.security:347` 那行是注释态 → 无 SecurityManager 时按 JDK 默认 30 秒,**这个 30s 没实测**,
但"至少钉住一整批"是被数据证明的:同批 10 行在同一 200ms 内全挂、秒级重试 3/3 同败)。
→ §6.1 那 17% 就此得到机械解释:**250ms/500ms 的三次重试全打在同一个坏节点上**,
只有踩在换期边界上的 3 段被救回;把 backoff 抬到 30s 以上确实能行,但要占住并发只有 5 的行 worker,不划算。
- **改法(本次上线)**:连接级失败后的第 2、3 次尝试改用**备用域名** `images-na.ssl-images-amazon.com`,
首试仍用原 URL;只换 host,端口/path/query 逐字符保留。换名等于换一批解析结果,**不等待、不占 worker**。
- 为什么是这个名字:最近 20 条失败 URL 走它 **20/20 成功**,且与原域名取到的字节 **md5 零不一致(20 次比对)**;
反例 `images-amazon.com` **6/6 全 000** —— 所以这是**白名单映射**,不是"随便换个 amazon 域名"。
- 新键 `aiimage.similar-asin.llm-image-host-alias-map`(`application.yml:381`,
默认 `m.media-amazon.com=images-na.ssl-images-amazon.com`,多组用 `;` 分隔),
**置空即关掉这条**、退回 §6.1 那版行为;回滚同样是 `/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_HOST_ALIAS_MAP=""` 后重启 java。
- 日志可分辨:救回来的那条会长成 `main download retry-success url=https://images-na.ssl-images-amazon.com/...`。
- **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例 → **10 例**(首试必须原域名+二次换域名且路径不变 /
映射置空完全退回 / 映射外域名(alicdn)不受影响 / 带端口与 query 的 URL 只换 host),原 6 例语义未改仍全绿。
- **发版后要看的数**:`row failed asin=` 的占比应从 ~14% 往下走;`retry-success` 里 host=images-na 的占比
就是这条的命中量。若失败仍高,说明坏的不止这一族或不止这一个名字,再按同一套逐节点方法复查,
不要直接加 retry 次数。
### 6.3 §6.2 发版后实测(A 12:33:30 起,约 7 分钟窗口)—— **26/26 全救回,行失败 0**
同一台、同一套计数,只换时间窗(`docker logs --since 95m` 落文件后按 `substr($0,12,8)` 切窗,窗口内总行数一并报出):
| 窗口 | 窗口行数 | `main download fail` | 救回(换域名) | 救回(原域名) | 非200 | `row failed asin=` | flush 出的 totalRows |
|---|---|---|---|---|---|---|---|
| 旧代码 11:00:00–11:56:00 | 17,995 | 60 | 0 | 0 | 0 | **60** | 160(16 次 flush) |
| 新代码 12:33:30–12:40:45 | 1,832 | 26 | **26** | 0 | 0 | **0** | 20(2 次 flush) |
- **旧代码是 1:1**:60 次握手失败 = 60 行判失败(一次都没救回)。
**新代码是 26 次失败全部由备用域名救回,行失败 0** —— 换域名这条路是成立的,
而 §6.1 那 17% 正是因为三次秒级重试打在同一个坏节点上。
- 别把这张表读成"行失败率归零":新窗口只有 20 行样本(货源任务是间歇的),
能证的是**"连接级失败 → 行失败"这条因果被切断了**(26/26),
行级占比要等攒够几百行再按 §6.1 的口径复测。
- `resc_same=0` 也是有效信息:原域名上再试一次**一次都没救回来**,
与"被钉住的是节点不是时刻"完全一致。
## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板)
- 实测 `du -m /var/lib/docker/containers/*/*-json.log` 的前几名**及归属**(id 取目录名,别用 `basename $f -- '-json.log'`,
那写法会把 id 取空、`docker inspect` 报错,然后被我自己的兜底文案伪装成"残留目录"这个假结论):
| 主机 | 当前体积 | 容器 | 容器创建时间 | **实测日均**(近 2 万行的时间跨度折算) |
|---|---|---|---|---|
| B | **3591 MB** | `1Panel-openresty-iXP2` | 2026-04-09 | **184 MB/天**(619,577 行/天) |
| A | **2666 MB** | `java-server` | 2026-09-16 | **180 MB/天**(385,887 行/天) |
| B | 1063 MB | `1Panel-gitea-AgMc` | 2026-08-12 | 53 MB/天(158,025 行/天) |
| B | 318 MB | `java-server` | 2026-09-16 | 41 MB/天(144,687 行/天) |
| A | 1820 MB | `1Panel-openresty-8XvI` | 2026-04-09 | 9 MB/天(31,926 行/天) |
| A | 1684 MB | `shufu-redis-master` | 2026-08-25 | **0.2 MB/天(1,742 行/天)** |
⚠ **第一版这张表我是拿"体积 ÷ 存活天数"摊的,几乎每行都错**(redis 摊出 "~50 MB/天"、B openresty 摊出 "~21 MB/天")。
正确做法是 `tail -n 20000` 的首尾两条 `"time"` 求跨度,再用 `tail -n 20000 | wc -c` 求字节量 —— 摊出来的平均会把
历史上的突发当成常态,还会把"最近才变快的"(B openresty)压平。
- **redis 那 1.68GB 已经查清了,不是"速率异常",是一次 9 分钟的重连风暴**:
全文共 10,617,262 行 / 平均行长 165 字节,而按行号采样时间戳,
**第 1 行 = `2026-08-25T05:34:16`(容器刚创建)、第 10,070,001 行 = `2026-08-25T05:43:27`**
→ 95% 的体积是**创建后头 9 分钟**写出来的,之后到 09-18 才又爬了 53 万行。
那 9 分钟在刷什么:`Master replied to PING, replica…` / `Non blocking connect for SYNC fa…` /
`Retrying with SYNC…` / `(Non critical) Master does not …` / `Trying a partial resynchroniz…` /
`Unexpected reply to PSYNC from …` / `MASTER aborted replication with…` / `Reconnecting to MASTER 192.168.…`
—— 典型的**副本对主库的 PSYNC 被拒 → 立刻重连**紧循环(10.07M 行 ÷ 551 秒 ≈ **1.8 万行/秒**),不是 crash。
当前这台的实际写入量是 **2.9 字节/秒 ≈ 0.25 MB/天**(就是每 5 分钟一次 BGSAVE 那三行),
所以这条从"值得单独取证"降级为"历史一次性事件,止血时随别的一起 truncate 即可"。
- **但顺带查到一条会误导人的事实:redis 容器名与实际角色是反的**(`docker logs | grep -oE '[0-9]+:[SMX] [0-9]{2} [A-Za-z]{3}' | tail -1` 实测):
A 上叫 **`shufu-redis-master`** 的容器今天的前缀是 **`1:S`(slave)**,B 上叫 **`shufu-redis-replica`** 的容器是 **`1:M`(master)**,
两边 sentinel 日志里都留着 `25 Aug 06:32:56 +switch-master mymaster 192.168.0.171 16379 → 192.168.0.170 16379`
—— 也就是 8-25 那次故障切换之后角色就固定在"名字相反"的状态了(上面那场 SYNC 风暴正是那次切换前后发生的)。
**看名字判断主从会判反**,要认角色读日志前缀或 `INFO replication`。这也和第六节 java 侧实测一致:数据连接落在 `.170`。
- **B openresty 为什么涨到 193 MB/天 —— 已定性,是客户端轮询而不是攻击**:
按行号采样时间戳看增长曲线,`2026-04-09` 到 `2026-09-11` 才写到第 90 万行(约 6 千行/天),
之后每 90 万行只花 1~2 天 → **9-11 前后涨了约 100 倍**。近 2 万行的构成:
`/newApi/api/collect-data/tasks/progress/light` 5,073 + `price-track` 1,471 + `appearance-patent` 1,325 +
其余各 `progress/light` 合计约 8,400 行(**42%**)、`/api/tasks/pull-pending` 3,201(16%)、
`/newApi/api/notifications/summary` 2,947(15%)→ **约 73% 的访问日志是这三个轮询接口**。
状态码:20,000 行里匹配到状态码的有 19,878 条,其中 **200 = 19,784、304 = 94,4xx/5xx = 0**
(剩 122 行是 nginx 自己的 notice/error 行,不带状态码)→ 不是被打,是自己人在轮询。
**可选的低成本止血**(本轮没做,属要人拍板:会损失这些接口的访问记录):
在 B 的 openresty 站点配置里对 `progress/light`、`pull-pending`、`notifications/summary` 三条 location 加
`access_log off;`(或单独降级到一个可轮转的日志文件),按上面的占比**能砍掉约 7 成的 193 MB/天**,
且 `nginx -s reload` 是 graceful、**不重启容器、不断长连接**。
反过来说:如果以后要靠访问日志查"某次轮询有没有返回过 304/401",这条就查不到了 —— 所以先问要不要留样。
- **来源构成(同一批 20,000 行里数 `{"log":"` 后面的 IP,注意宿主机 `ss` 与 `grep '^[0-9]'` 两种写法都取不到,因为每行以 JSON 开头)**:
一共只有 **10 个来源 IP**,`8.149.69.98` 一个占 **12,843 行(64%)**,`8.139.247.224` 2,875、`8.139.195.39` 2,201、
`183.253.114.241` 441、`8.139.170.222` 413、`183.220.59.30` 407、`120.33.224.243` 296、`121.205.250.173` 166、
**`47.110.241.161` 68(= 主机A 自己的 EIP)**。UA 分布:`Mozilla/5.0 Windows` 12,904、`python-requests/2.32.5` 6,698、
`python-requests/2.32.3` 153、`Mozilla WOW64` 35(合计 19,790,其余是 nginx 自己的 notice 行)。
`python-requests` 那批打的是 `/api/tasks/pull-pending`(3,203) + `/api/internal/device-logs/upload`(834) +
`device-logs/config`(658) + `user-secret-usage`(136) + `similar-asin/tasks/<id>/result` + `tasks/<id>/heartbeat`
→ **是采集端在领任务/回报,不是外部扫描**,所以 193 MB/天是"自家轮询设计"的账单,要降量得从轮询频率/日志策略两侧挑一边。
- **顺带发现一条真实的公网绕行,但调用方没认领到(不要当成已定性)**:`47.110.241.161`(主机A 的 EIP)作为**客户端**出现了 68 次,
UA 是 `axios/1.20.0`,打的是 `GET /newApi/check_login` 和 `POST /newApi/login`(10:59:48–49 连续一串,全 200)。
那一刻 A 宿主机与各容器 netns 里到 `121.196.149.225` 的 ESTAB 都是 **0 条**(短连接,采样撞不上)。
A 上常驻两个 node 进程(`/www/wwwroot/jlyj.ditiansui.online/server/video-api.js` 跑了 18 天、`dist/server/main.js` 跑了 5 天)
**只是候选,我没证到是它俩之一** —— 想认领就在 A 上 `tcpdump -i eth0 -nn host 121.196.149.225 and port 443 -c 3` 拿源端口,
再 `ss -tnp 'sport = :<端口>'` 取 pid。**注意这是 Node 侧发出的 axios(浏览器发的 axios 会带 Mozilla UA)**,
所以是服务器上的脚本在按域名登录自己的 API,不是用户在刷页面。
量级 68/20,000 = 0.34%,**不是性能问题**,本轮没动。
它给 §4.4 那句"两台之间业务链路无公网残留"划了个边界:**那句的范围是 java↔MySQL/redis/MQ/OSS**(已实测走私网),
不含"A 上还可能有别的进程按 `api.aishufu.top` 域名绕回 B"。
- **磁盘不紧张**(A 用 33% 剩 317G、B 用 18% 剩 388G),真正的代价是**取证速度**,而且我一开始把这条判错了:
实测同一台 A 上 `docker logs --tail 5` = **12 ms**(docker 从文件尾部反向取),
而 `docker logs --since 1m` = **19,631 ms**、`docker logs`(全量 6,286,829 行)= 22,063 ms
→ **`--since` 一点都省不了,它仍然从头解析整个 2.6GB 文件**;省的是输出量,不是时间。
本轮我所有探测都用 `--since`,等于每次白付 ~20 秒。
**以后探测一律优先 `--tail N` + 本地按时间戳过滤**,只有真的要看"某个绝对时间点之后"才用 `--since`。
- 想加 `log-opts: {max-size, max-file}` 要改 `/etc/docker/daemon.json` 并 `systemctl restart docker`,而
**两台的 daemon.json 里只有 `registry-mirrors`、没有 `live-restore`**(docker 默认 false)→
**重启 dockerd 会把该机上所有容器一起重启**,包括 MySQL 主库、MinIO、redis 四件套、两台 java。这是本条没做的直接原因。
- 还有一层:`log-opts` 只对**新建容器**生效,现有容器得 recreate 才吃到 ——
而 recreate 又会把今晚 `docker update` 抬的三处内存限额打回(见第一节附的表)。
- 所以顺序建议:① 先把三处限额写进 1Panel 控制台(持久化)→ ② 开 `live-restore: true`(这一次重启仍会连带重启容器,
但**之后**重启 dockerd 就不再影响业务)→ ③ 最后逐台加 `log-opts` 并按 recreate 窗口滚动生效。
- 期间可以做的**低风险止血**(不需要决策,但要写文件,本轮没动):把已经确认不需要的历史 json.log 用
`truncate -s 0` 清零(docker 以 O_APPEND 持有 fd,清零后继续写、不会破坏文件),
一次能回收 2.6GB/1.7GB/3.6GB。**代价是那段历史读不回来了** —— 今晚的取证全靠这些日志,
所以我倾向于先给 java 的日志降量或先把关键窗口 dump 出来,再清零。这条留给用户定。
- **如果只做一次 `truncate`,先做 A 的 `shufu-redis-master`**:它的文件 17.65 亿字节里有
**10.07M/10.62M 行(95%)是 2026-08-25 05:34:16–05:43:27 那 9 分钟的一次性风暴**,
当前只写 0.25 MB/天 —— 清掉它几乎不损失任何"以后可能还要看"的东西,一次回收 1.7GB。
相比之下 java/B-openresty 那两坨是**持续的**(180–193 MB/天),清完三天就长回来,属于必须配 `log-opts` 才解决的那类。
清的顺序按**实测增速**而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级;
redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。
### 7.1 增速与保留期都改成"实测值"(12:44 复测,方法可复跑)
上面那张日均表是用 `--tail` 首尾时间戳算的;这次换个更省的做法,一次拿全**体积、保留期、增速**:
`head -c 3000` / `tail -c 3000` 各取一条记录里的 `"time":"…Z"`(json-file 的 `time` 字段是 **UTC**,
比行内那个本地时间戳好认),体积差用 **60 秒 `stat -c %s` 取 delta**,不用整文件扫。
| 主机 | 容器 | 体积 | 现存最早一条 | 最新一条 | 实测增速 |
|---|---|---|---|---|---|
| B | `1Panel-openresty-iXP2` | 3,776,044,511 | 2026-04-09T15:53Z | 09-28T04:44Z | **186 MB/天** |
| B | `1Panel-gitea-AgMc` | 1,117,366,739 | 2026-08-12T05:09Z | 09-28T04:44Z | **58 MB/天** |
| B | `java-server` | 335,763,998 | 2026-09-16T16:27Z | 09-28T04:44Z | **78 MB/天** |
| A | `java-server` | 2,806,448,699 | 2026-09-16T16:27Z | 09-28T04:45Z | **219 MB/天** |
| A | `1Panel-openresty-8XvI` | 1,907,609,884 | 2026-04-09T16:23Z | 09-28T04:38Z | 0(60s 内没写) |
| A | `shufu-redis-master` | 1,765,409,908 | 2026-08-25T05:34Z | 09-28T04:42Z | 0 |
- 两台合计 **11.7 GB**,稳态增速 **~540 MB/天**;磁盘 A 用 34%(316G 空)、B 用 18%(389G 空)
→ **按稳态算根本不紧急,几年都填不满**。所以"要不要配 `log-opts`"的理由不是省磁盘。
- 真正的理由是这两条:
① **风暴型写入没有上限**:redis 那 1.77GB 里 95% 是 2026-08-25 那 9 分钟写进去的(§七),
一次事件就能顶掉一个月的稳态量,`max-size/max-file` 是唯一能兜住它的东西;
② **读日志本身变贵**:`docker logs --since 3h` 在这台是 19.6 秒(要从头扫 2.8GB),
`--tail N` 才是 12ms —— 今晚取证全程只能绕着 `--since` 走。
- 注意 `java-server` 的"最早一条"两台都是 `2026-09-16T16:27Z`:那是容器重建时间,不是保留策略。
现在**没有任何轮转**,文件只跟随容器存活期长,重建才清零 → 别把"只留了 11 天"当成配置过 retention。
## 八、品牌检测现在是坏的:代理 IP 供应商回「套餐不存在」(需人掏钱/换供应商)
发版 A 之后做启动异常采样时撞出来的,量级比 §六 那条更大,但**根因不在我们代码里**。
- **java 侧现象**(主机A,`--since 60m`,窗口总行数 20,590 行自证):
`[brand-check]` 告警 **2,859 条 = 全机日志的 13.9%**,其中
`服务端返回查询失败将重试` 2,062、`整批耗时预算用尽` 341、`重试耗尽判定查询失败` **402**(涉及 **270 个品牌名/小时**),
`请求异常将重试` 只有 21 条(全是 `HTTP/1.1 header parser received no bytes`)。
→ 也就是说**服务在正常应答,但每次都把品牌放进 `query_faild_data`**。
- **归因到服务自己**(16890 = 宿主机进程 `python api.py`,cwd `/root/BrandTesting`,pid 324327,已连续跑 59 天):
读它自己的 `/root/BrandTesting/nohup.out` 尾部 400KB(5,580 行)做形状统计:
- `获取代理失败: 'NoneType' object has no attribute 'get'` × **286**
- `代理请求结果->: {"code":-1,"data":null,"status":…,"message":"套餐不存在"}` × **285**
- 紧接着 `json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)` × **280**(把非 JSON 响应喂进 `json.loads`)
- 同期 `INFO: 127.0.0.1:xxx - "POST /brand_check HTTP/1.1" … OK` × 310 → HTTP 层一直是好的
→ **代理商那边的套餐不存在/已到期**,不是限流、不是网络、不是 java 超时、也不是 §四 那条公网带宽问题。
钱或新供应商是唯一的入口,代码侧调不动。
- **别顺手砍 java 的重试**:进入重试的品牌直方图是 `attempt=1/10 → 401`、2→311、3→289、4→267、5→230、6→177、7→164、8→127、9→96,
**每档还在救回 7–22%**,砍 `AIIMAGE_BRAND_CHECK_RETRY_TIMES` 等于把可恢复的品牌直接写成"查询失败"给客户看。
真正的浪费点是 90 秒整批预算(`total-timeout-millis:90000`)每小时用尽 341 次 —— 分片回传的时延上界就是它,
历史上曾有一次被拖到 103.5s 导致客户端中止整轮采集(taskId 28599,代码注释里记着)。
**等套餐恢复后这两个数要重新量**,现在做的任何调参都是在坏上游上调。
- **附带把一条旧判断证伪**:A 上访问自己的公网 EIP 并不慢(对小请求而言)。
同一秒内各打 3 次 `GET :16890/`:`47.110.241.161` → `time_connect=0.27/0.35/0.27 ms`,
`192.168.0.171` → `0.066/0.065/0.061 ms`。差 4 倍但**绝对值都可忽略**;
§四 说的 5–8 Mbps 只在**大块传输**(下载图片/上传对象)时咬人,别拿它去解释小 POST 的失败。
- **另一个纯运维项**(我没擅动,属可执行清单):`/root/BrandTesting/nohup.out` 已 **941,635,295 B**,
实测 30 秒长 27,021 B ≈ **1.1 GB/天**,比 §七 里任何容器日志都快;磁盘 492G 用了 156G(34%)暂时不致命。
进程是 `nohup` 追加写、不能发信号重启 → 只能 `logrotate` 配 `copytruncate`(保留几轮 + 压缩)。
这是客户排障唯一的日志来源,保留策略要人点头,所以先记命令不执行。