Files
crawler-plugin/docs/ops/prod-decisions-2026-09-28.md
T
huangzd1997 6d53fd6e6e docs(运维): 把 env 三层读值坑补成可复跑配方(含 11:1x 三层实测值)
收尾体检时用 pgrep 拿到 java 子进程 PID 回读,确认 /.env 的两行覆盖真吃到了:
Config.Env 与容器入口进程 environ 都还是公网 121.196.149.225:9876,只有 java 子进程是
192.168.0.170:9876 —— 原因是 /proc/pid/environ 只反映最后一次 execve,shell 之后 source
不回写。顺带记下一条禁令:不要用 docker exec 手工起服务,那条路会绕过 run.sh 退回公网值。
2026-09-28 10:48:59 +08:00

427 lines
36 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 生产待人工决策清单(2026-09-28 夜)
本轮已上线的改动列在第一节,后面每一条都是**代码里做不掉、需要人拍一次**的动作。
条目按"建议处理顺序"排,不按发现顺序。
## 一、今夜已完成(无需再决策,列出便于核对)
| 提交 | 改动 | 状态 |
|---|---|---|
| `8536ddb3` | 外观专利行重发加轮次上限,超限就地判失败并写明原因 | 已上线 |
| `6a82697a` | MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min | 已上线 |
| `2d33f478` | 用户态接口的 `user_id` 归属改由令牌身份判定(只绑定、暂不要求凭据) | 已上线 |
| `10dec56e` | 外观专利:完成标记只打在真正落库的行上(少回的行撤销重发) | 已上线 |
线上产物:`162,590,216 B` / md5 `b834d489c8640fd1f6cc9d51238f4606`,两台一致。
(今夜此前两版:`e97fd273473db849b705a766b7b505c7` → `e0854c23cc99344a6ddadbf2019e08bf`。)
发版后回读(重启后 5–15 分钟窗口,A 4780 行 / B 530 行日志):健康 200、Flyway 137 up to date、
instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-guard] rejected` 0 条、
`重发轮次已达上限` 0 条(无误杀)、`本批结果未全部落库` 0 条。
**A 上重启时确有一批外观 LLM 在飞**(03:15:36 发出 5 品请求),03:20:52 该任务
`llm batch done taskId=29447 jobId=20802 rows=10` —— 中断后自行续跑并交付了一批,
本轮未出现开机自回收日志(ready 时没有心跳已停的遗留 RUNNING,属正常分支)。
发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。
### 附:中间件侧今夜已做的五处线上改动(改的是主机配置,列此便于回滚;④⑤另有代码/提交)
| 改动 | 机器 / 对象 | 前 → 后 | 回滚 |
|---|---|---|---|
| cgroup 内存上限抬高 | A `1Panel-mysql-zbja` | 6 GiB → **10 GiB**(实占 3.14 GiB) | `docker update --memory 6442450944 --memory-swap 6442450944 1Panel-mysql-zbja` |
| cgroup 内存上限抬高 | B `aiimage-mysql-replica` | 2 GiB → **3 GiB**(实占 1.67 GiB,已到 84%) | 同上,换数值与容器名 |
| cgroup 内存上限抬高 | B `shufu-device-logs-minio` | 2 GiB → **3 GiB**(实占 1.82 GiB,已到 **91%**,再涨就是 OOM) | 同上 |
| nginx 请求体上限 | B `git.aishufu.top` 站点 server 段 | 继承 http 级 `50m` → 本站 `1024m` | 同目录留了 `.bak-<时间戳>`,`cp` 回去 + `nginx -s reload` |
| OSS 端点拆分 | 两台 `/.env` + jar(提交 `b7ae4478`) | 服务端读写:公网域名 → **`http://192.168.0.171:9000`**;预签名仍公网 | 删 `/.env` 里 `AIIMAGE_OSS_INTERNAL_ENDPOINT` 那行(有 `.bak-…`)+ 重启 java |
| RocketMQ 走私网 | B broker.conf + 两台 `/.env` | `brokerIP1` 公网 EIP → **`192.168.0.170`**;namesrv 追加覆盖为 **`192.168.0.170:9876`** | 各自 `.bak-20260928094413` / `.bak-…` 复原 + `docker restart 1Panel-rocketmq-ZnP2-rmqbroker`、`docker restart java-server` |
三条硬约束,下次改之前先看,否则会踩:
1. **`docker update --memory` 必须同时给 `--memory-swap`**。只给 `--memory` 且新值大于旧的 swap 上限时,
Docker 直接拒绝(`Memory limit should be smaller than already set memoryswap limit`),
而这条错误只在 stderr 里 —— 用 `... 2>&1 | sed 's/^/ /'` 或显式打印 `${PIPESTATUS[0]}` 才看得见,
写 `&& echo 成功` 会把它吞成一个假成功。改完必须回读
`cat /sys/fs/cgroup/memory/docker/<全ID>/memory.limit_in_bytes` 确认真的落地了。
2. **改 nginx 要改宿主机侧的 bind mount 源**,不是容器里的路径。容器 `/usr/local/openresty/nginx/conf/conf.d`
的源是 `/opt/1panel/www/conf.d`(用 `docker inspect -f '{{range .Mounts}}…'` 拿,别猜)。
改完 `nginx -t` 再 `nginx -s reload`(reload 不断连接,无需重启容器)。
3. **宿主机层面的 `ss` 看不到容器 netns 里的连接**。今晚"java 没连 MQ""nacos 无人使用"两个结论都由此产生,
都是假的;正确姿势是先 `docker inspect -f '{{.State.Pid}}' <容器>` 再 `nsenter -t <pid> -n ss -tn`。
另注意 `ss -tn` 的列序是 `State Recv-Q Send-Q Local Peer`,**对端在第 5 列**(我第一版取了 `$4`,
统计出来的全是本端端口,看着像"全连到 172.19.0.2",其实是把本地地址当真了)。
4. **1Panel 的 openresty 站点访问日志不在 `/usr/local/openresty/nginx/log/`**。按那个路径 zcat 会得到空结果,
而空结果和"确实没有 413"长得一模一样。真实位置是容器 `/www/sites/<站点>/log/access.log`
(宿主机 `/opt/1panel/www/sites/<站点>/log/`),另有部分服务写 `/dev/stdout`。
凡是"某类错误 0 条"的结论,都要**同时报该文件的总行数**自证读到了东西。
改完的验证:nginx 侧用 60MB 体打 `git.aishufu.top`(127.0.0.1 回环 + `--resolve` 指站点)得到
**405 / 0.113s**(进了 Gitea 应用层,说明代理不再拦),对照未改的 devops 站仍是 **413**。
### 附:健康评估报告第 6 条(外观/货源"静默降级")已核,不必再追
报告称 `allRowCount` 读失败 `return 0`、`loadAllRowsByBaseId` 读失败返回空,会把期望行数压低造成"假完成"。
逐个调用点读完后的结论是**不成立**,记录在此免得再查一遍:
- `allRowCount` 的返回值只喂两处:`FileResultEntity.row_count`(列表页显示的"共 N 条")和进度分母。
两处都写了"0 不覆盖已有非零值"(`finalizeTask` 的 `rowCount > 0 ? rowCount : result.getRowCount()`、
货源 `resolvePythonUploadProgress` 的 `totalRows <= 0 && uploadedRows > 0` 兜底),
而 `createResultRecordForAssembly` 的兜底分支自己会重读载荷,读不动时异常照常上抛。
**没有任何成功/失败判定吃这个数**。
- 真正的完成判定是 `validateCompleteLlmCoverage`,它的分母来自 `assembleResultWorkbook` 里
**不带 try/catch 的** `readParsedPayload(task)`——载荷坏了会直接抛,不会静按 0 行放行;
覆盖率低于 `llm-coverage-min-ratio`(默认 0.5)时抛"LLM 结果不完整"。
- `loadAllRowsByBaseId` 返回空只影响 `expandRows` 的同组兄弟回填,**不影响发不发检测**
(候选行来自分片自身的 `readChunkRows`),落库匹配也不看它。所以后果是"兄弟行各发一次、多扣几次",
而不是丢行。
- 顺着这条链查到的是另一个口子,已在 `10dec56e` 修掉:整批完成标记此前不区分"结果有没有真的写进分片"。
## 二、需人工决策
### 1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据"
现状(今晚重新取证,非引用旧笔记):
- 数据归属由请求参数 `user_id` 决定:controller 层共 **19 个文件**出现 `user_id`,其中只有 **2 个**文件里
出现过任何身份调用(`requireUser` / `requireUserOrInternal` / `currentUser`)。这是文件级统计,
端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。
- `aiimage.security.user-tool-guard-enabled` 默认 **false**,生产未覆盖 → query-asin / similar-asin /
appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。
- 桌面客户端 `app_client` 对这 14 个前缀共 **15 个调用文件**,其中只有 **4 个**文件里出现过任何凭据头
(collect-data 2、price-track 1、shop-match 1)。文件级统计是**上界**——同一文件里也可能只有一部分
请求带抬头。
- `AdminApiGuardFilterTest`(HEAD 版,20 个用例)对当前代码全绿。
两个可分开的动作:
| 动作 | 效果 | 代价 | 状态 |
|---|---|---|---|
| **A. 绑定**:请求带 JWT 时,校验 `user_id` 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 | 已登录用户不能再互相冒读,19 个 controller 文件不用逐个改 | 对匿名与内部令牌调用零影响 | **已实现**(见下"绑定的落地依据") |
| **B. 要求凭据**:把上述前缀纳入兜底鉴权(开关置 true) | 未登录直接 401 | 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 | **等客户端普遍携带凭据之后再开** |
绑定的落地依据(今晚逐条查证,不是推断):
- 角色词汇表只有三态:`DeviceSessionPolicy.resolveRole` 只会返回 `super_admin` / `admin` / `null`,
没有第三种"员工"角色;生产 `users` 表 135 个账号分布为 `normal` 子账号 120、`admin` 子账号 13、
`admin` 1、`super_admin` 1 → 管理员豁免面闭合。
- 网页端 `getCurrentUserId()` 读 `localStorage['uid']`,而 `uid` 由登录响应 `data.userId` 写入;
`AuthService.buildResult` 里 `vo.setUserId(user.getId())` 与 `jwtService.issue(user.getId(), …)` 同源
→ 诚实客户端的参数**恒等于**令牌主体,正常用户不会撞 403。
- `frontend-vue` 各 tab 一律传 `getCurrentUserId()` / `uidForStorage()`;只有 `admin-frontend-vue` 传任意
`user_id`,而它是管理员身份 → 落在豁免里。
- 带凭据的 4 个桌面模块(`price_match_new` / `search_spider` / `tool` / `log_uploader`)用的都是
`X-Internal-Token`,在 `shouldNotFilter` 里由 `isTrustedInternalToken` 提前整体放行,**不参与绑定**。
- 实现范围刻意收窄到 `USER_TOOL_PREFIXES`:`/api/admin`、`/debug`、自助接口仍只做"有没有身份",
不做参数比对,避免误伤后台里合法传他人 id 的流程。
- 代价:每个带 `user_id` 的用户态请求会多走一次 `requireUserOrInternal`。匿名请求在 `resolveToken`
处即抛 `BusinessException`(未登录)返回,**不查库**,但会构造一个带栈异常。按现网这个接口的
轮询频率,量级可忽略,若日后要省掉,可加"仅在带了凭据线索时才解析"的短路。
紧急回退仍是一个:`aiimage.security.admin-guard-enabled=false` 会把绑定与原有兜底一起关掉。
若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。
### 2. 主机A MySQL:`8G` 上限冲突已按"抬上限"解掉,生效值 10:2x 也读到了 —— 结论是这台不用调
`/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `innodb_buffer_pool_size=8G`(instances=8),
容器上限已从 6 GiB 抬到 **10 GiB**(今夜已生效,回读 `memory.limit_in_bytes=10737418240`;
实占 3.14 GiB,宿主机 30 GiB 里还有 19 GiB available)→ OOM 悬崖拆除,`8G` 原样保留。
两件事没做掉,需要人:
- **A 的生效值 10:2x 读到了**:`bp_mb=8192 / max_conn=500 / lock_wait=50 / ver=8.4.8 / trx_commit=1`
→ 8G **没有被截断**,实占 RSS 3.145 GiB(池是懒加载,还没涨满,上限已是 10 GiB 所以涨满也不会被杀)。
失败原因确认了:容器里 `MYSQL_ROOT_PASSWORD` 那份**不是库的 root 口令**(`ERROR 1045 … using password: YES`),
而 `docker exec … sh -c '…$MYSQL_ROOT_PASSWORD…'` 在 Python 侧的单引号里又根本不会展开 —— 两次"读不到"是两回事。
读到的这次走的是**业务账号 + `--defaults-extra-file`(容器内 600 权限临时文件,用完 `shred -u`,容器内外各查过 0 残留)**,
口令全程不落到输出里。顺带确认 `performance_schema` 对 `aiimage_backend` 依旧是 1142 拒(和旧笔记一致),
但 `SELECT @@…` 和 `SHOW GLOBAL STATUS` 不需要它,所以"读不到生效值"这件事本来就不必等人。
- **同一批读数说明这台没有可调的点**,别照着"buffer pool 可能太小"去动它:
`Innodb_buffer_pool_read_requests` 53,799,770,917 对 `Innodb_buffer_pool_reads` 31,531
→ **命中 99.99994%**,物理读基本不存在;`Max_used_connections` 历史峰值 **45**(上限 500),
当前 `Threads_connected=13`、`Threads_running=3`;Hikari 两台各 `max=30 / min-idle=5`(合计 60),
远没顶到 MySQL 上限;`Innodb_row_lock_waits` 累计 354,326 次但 `time_avg=7ms`。
也就是说这台的时间花在**锁的尾部**(本节末那条以及第一版健康评估里的 581 条锁等待统计),不在内存、不在连接数、不在 IO。
`Aborted_connects` 3,250 与 `TcpExtListenDrops=6` 都是累计值、10 秒窗口内 `TcpRetransSegs` 无增长,不构成信号。
- **docker update 是运行态改动,容器重建就回滚到 6 GiB**。1Panel 的 compose 用的是
`memory: ${MEMORY_LIMIT}`,而 A/B 两台每个应用的 `.env` 里都写着 `MEMORY_LIMIT=0`(0=不限),
说明这个 6 GiB 不在 `.env` 里、是 1Panel 界面/数据库里配的。**要让它扛得住重建,得在 1Panel 控制台把
mysql 容器限额改成 10G**(或者按 `MEMORY_LIMIT=10737418240` 写进 `/opt/1panel/apps/mysql/mysql/.env` 后重建容器)。
同一条适用于 B 的 `aiimage-mysql-replica`(2G→3G)和 `shufu-device-logs-minio`(2G→3G)。
同机顺带一条(未动):`innodb_lock_wait_timeout` 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条),
这个阈值对业务侧的表现需要一并看一眼是否要调。
### 3. 主机B 的 `aiimage-mysql-replica`:取证已补齐(活着、滞后 0 秒),结论是**先别做读分流**
08:2x 直读副本状态(`SHOW REPLICA STATUS`):
```
Source_Host: 192.168.0.171 Source_Port: 3306
Replica_IO_Running: Yes Replica_SQL_Running: Yes Seconds_Behind_Source: 0
生效 innodb_buffer_pool_size = 1.0000 G(限额已 2 GiB → 3 GiB)
```
也就是"追不追主库"这一条已经解决:**在追,滞后 0 秒,而且走的是 VPC 私网 `192.168.0.171`**
(这一条顺带把"公网 3306 能不能收掉"的顾虑排掉了,见第五节第 1 条)。
第二件取证(A 的瓶颈是否落在读上)**答案是否**:上一轮慢日志拆下来锁等待 581 条 vs 大扫描 44 条,
把读挪到副本对锁等待无解,只会新增一层"应用要区分读写源"的复杂度和一套副本专属的故障面。
`super_read_only` 是否置位**没读到**,真要启用分流前先确认它,否则分流第一天就可能有人往副本写。
所以本条从"待取证"降级为**已知可用、暂不接入**。触发重新评估的条件写清楚:
当慢日志里大扫描/报表类查询占比明显上升,或者要做"导出全量结果"这类一次性大读时,
副本是现成落点(外观与货源的 LLM 阶段只读库、不依赖本地文件,分流前提成立)。
### 4. 软件版本对象的真删开关仍是 dry-run
`aiimage.software-version.retention-dry-run` 默认 true(只记日志不删对象)。要启用真删,
先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。
### 5. V137 的 20 个冗余索引还只是 INVISIBLE
V137 只把它们置为不可见,**观察 1~2 周慢日志无退化后要追加 V138 执行 DROP**,否则索引仍占空间、
仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。
### 6. 后台「LLM 使用」的次数口径变了,要提前打招呼
外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,**统计次数约掉到 1/6.7**。
这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多
(约 30–45%),且走的是用户自己的 apiKey 额度。
### 7. 监控指标:端点根本不存在,告警无从挂起
`backend-java/pom.xml` 只有 `spring-boot-starter-actuator`,没有 `micrometer-registry-prometheus`;
线上 `GET 127.0.0.1:18080/actuator/prometheus` = 404,`/actuator` 只列 health。
仓库里那 49 个 `aiimage.*` 指标名从未被任何面板抓到过(`TaskObservabilityMetrics` 无 `@Component`、
main 代码零调用者)。
要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 **18080 在主机A 是公网直连**,
一旦暴露 `/actuator/prometheus` 就等于公网可读的运行指标,需要同步把它从公网收掉
(只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的
`taskId= / stage= / jobId= / costMs= / moduleType=` 字段做告警。
### 8. `backend/config.py` 里的平台自身明文凭据
该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。
处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。
### 9. 主机A 的 Nacos:10:13 已停 —— 不只是白吃 2 GiB,它是"鉴权关闭 + 端口对公网开"
取证链(两条都是今晚重跑的,不是引用旧笔记):
- 在 **nacos 容器自己的 netns** 里数 8848 的 established = **0**(`nsenter` 后的结果,
避开了宿主机 `ss` 看不见容器网络的那个坑)。它那两条 ESTAB 的对端是 `172.22.0.2` ——
**就是它自己的容器 IP**(`nacos_default` 这个网络里只有 nacos 一个成员,`7848` 是它自己的 raft 口),
所以是自我连接,不是客户端。
- Java 侧 `env` 里没有任何 `NACOS` 变量(键数 0),进程 cmdline 里没有 `nacos` 字样;
两台挂载的 `/app/application-server.yml`(271 行)里 nacos 出现 **0 次**;仓库里除了本文档也没有 nacos 引用。
- 宿主机 `ss -tn` 到 8848/9848 命中 0 条(A 与 B 都查了)。
**改前漏看、这次补上的一条(比内存更要紧)**:
- `docker port` 显示 **8080 / 8848 / 9848 全部绑在 `0.0.0.0`**,而 `HostConfig.Memory=0`(无上限)。
- 容器里 `NACOS_AUTH_ENABLE=false`、`nacos.core.auth.enabled=false`(同一文件里
`nacos.core.auth.admin.enabled=true`、`console.enabled=true` 是 2.3+/3.x 的分层开关,还开着)。
- access_log 里近 14 天净是外部扫描:`GET /nacos/v1/cs/configs?...search=blur&pageSize=1000&tenant=*`(配置全量导出的招牌探测)、
`GET /nacos/v1/auth/users?pageNo=1&pageSize=9`、还有伪造 `User-Agent: Nacos-Server` 的请求(就是那个老 bypass),
来源是 40 个互不相干的公网 IP,`curl`/`python-requests`/浏览器 UA 混杂,**没有一条来自两台内网地址**。
- **没有证据表明被读到过东西**:`nacos/v1*` 相关请求近 14 天共 73 条,状态码是 **70 条 500 + 3 条 404,0 条 2xx**。
镜像是 `nacos/nacos-server:v3.2.1`,v1 的这批接口在它上面本就不存在,所以探测全落在错误上。
(别把这句读成"安全":500 而不是 401 也说明服务端确实**没在鉴权**,只是没有对应的接口可打。)
**动作(10:13,可一条命令回滚)**:`docker stop 1Panel-nacos-dsLA-standalone`。
回滚 = `docker start 1Panel-nacos-dsLA-standalone`。效果与验证:
- A 的 `MemUsed` 10 GiB → **8 GiB**、`available` 20 → **22 GiB**。
- 停后 60 秒:java `health=200`、近 2 分钟 `ERROR` **0 条**(该窗口日志 423 行,自证读到了东西)、
货源作业 `[task-file-job] … jobId=20805 stage=WAIT_LLM` 照常推进。
- **数据没动**:`/opt/1panel/apps/nacos/nacos/data/data` 2.1G(`derby-data` 建自 5-14,7-29 还在写),
所以哪天要用,起来还是原来那套;**别顺手删容器或 app 目录**。
我选"停"而不是原计划的"压到 512m",理由有两个,都写在这儿免得下次重判:
①它的 JVM 是 `-Xms2g -Xmx2g -Xmn1g` 且容器**无限额**,压到 512m 会当场被 cgroup 杀掉,
要降必须先改 `JVM_XMS/JVM_XMX` 并重启它 —— 那和停掉的成本一样,收益却小得多;
②停掉同时消掉了 8848/9848/8080 这个对公网开的无鉴权面,压内存只解决钱不解决门。
**遗留给人拍板的**:如果确认这套 nacos 以后也不用于服务发现,就在 1Panel 里把它**卸载或至少改成只绑 127.0.0.1**,
并把 §五 的安全组清单加上这三个端口。
## 三、已解决:Gitea 那 7 个提交推上去了(08:10)
远端 `master` `56913563 → 7aa9f3df`,回读 `git rev-list --left-right --count origin/master...HEAD` = `0 0`。
之前"工作站上没有任何可静默使用的凭据"这句话是**假阴性**,成因是 Git Bash 的路径转换把
`cmdkey /list` 变成了别的调用(要写 `cmdkey //list`)。实际凭据管理器里早就有
`git:https://gitserver@git.aishufu.top`。可用的静默推送咒语:
```bash
GIT_TERMINAL_PROMPT=0 GCM_INTERACTIVE=never GCM_PROVIDER=basic git push origin master
```
GCM 会 warn `no such provider 'basic'` 然后回退自动探测 —— **这个 warn 无害、照样成功**,
关键是 `GCM_INTERACTIVE=never` 让它不再弹"选哪个 helper"那 90 秒。
退出码必须重定向到文件再看:`git push | tail` 拿到的是 `tail` 的 0,不是 git 的。
## 四、今晚新查出来的:两台之间的流量大量走公网,只有 5–8 Mbps
这是本轮最有价值的一条,因为它解释了一批"莫名其妙慢/超时"的老问题,而且**修它的代价是配置项级别的**。
### 4.1 实测带宽差(30MB 测试体,08:3x)
| 路径 | 结果 | 折算 |
|---|---|---|
| A → A 公网 `https://oss.aishufu.top`(**Java 现在写对象走的就是这条**) | 3.37 MB / 3.45 s | **≈ 0.98 MB/s** |
| B → A 公网同一入口 | 3.23 MB / 3.27 s | ≈ 0.99 MB/s |
| A → B 公网 `https://download.aishufu.top` | 27.5 MB / 45 s(撞 max-time) | **≈ 0.61 MB/s** |
| A → A 私网 `http://192.168.0.171:9000` | 5.5 MB / 0.006 s | ≈ 900 MB/s |
| B → A 私网同一入口 | 6.75 MB / 0.009 s | ≈ 750 MB/s |
| A/B → B 私网 `http://192.168.0.170:9000` | ≈ 0.009–0.026 s | 1.1–3.5 GB/s |
路由已确认 `ip route get 47.110.241.161`(在 A 上)= `via 192.168.0.253 dev eth0` ——
**发往自己的公网 IP 也要出 VPC 网关绕一圈**,所以"回环"确实吃公网额度。
公网与私网差 **约 1000 倍**。
对上面 A→A 那两行的诚实注脚:服务端提前回了 400,只发出去 3.3MB,样本里含 TCP 慢启动。
但该路径 RTT 只有 11 ms(TLS 首字节实测 `connect=0.000705s tls=0.010896s`),
11 ms RTT 下慢启动几百毫秒就能爬到几百 MB/s,3.45 s 发 3.37MB 解释不通,
而且跨机那条持续 45 s 的 0.61 MB/s 是干净的持续值 —— 结论(公网 ~5–8 Mbps)不受这个瑕疵影响。
### 4.2 现在还有哪些地址指公网(A 上 java-server 的 env 逐项对过)
| 配置 | 当前值 | 走公网? |
|---|---|---|
| `AIIMAGE_OSS_ENDPOINT` / `public-endpoint` | `https://oss.aishufu.top` | **是**,且是 A 指向自己的回环 |
| `AIIMAGE_ROCKETMQ_NAME_SERVER` | `121.196.149.225:9876` | **是**,跨机走公网 |
| `AIIMAGE_TRANSIENT_STORAGE_ENDPOINT` | `http://192.168.0.170:9000` | 否 |
| `AIIMAGE_DEVICE_LOG_OSS_ENDPOINT` | `http://192.168.0.170:9610` | 否 |
| `AIIMAGE_REDIS_HOST` | `192.168.0.172` | 否 |
| `AIIMAGE_DB_URL` | `192.168.0.171:3306` | 否 |
副本复制也已经在私网(`Source_Host: 192.168.0.171`)。所以**剩下的公网依赖只有两处:OSS 端点和 MQ namesrv**。
MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `47.110.241.161`(A 的公网 IP)的 established 连接,
也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。
### 4.3 两处改法(一条已做完,一条需要人配合)
- **OSS 端点拆分:已上线(提交 `b7ae4478`,两台线上 md5 `02357a89da2100689565319462d9db29`)**。
新增 `aiimage.oss.internal-endpoint`(env `AIIMAGE_OSS_INTERNAL_ENDPOINT`,默认空=沿用 `endpoint`,
所以不带 env 的环境行为与今天完全一致),只给服务端读写的 client 用;
预签名改用 `public-endpoint` 那张 client,浏览器直传 URL 的 host 不变。
生产两台的 env 落在 `/opt/1panel/runtime/java/java-server/.env`(`run.sh` 第 3 行 `source /.env`;
**该文件里 AIIMAGE_* 全是 `export` 形式,不加 export 传不到 java 子进程**),
写前留了 `.env.bak-2026092809285x`,回滚=删掉那一行再 `docker restart java-server`。
启动日志新增一行可直接回读生效值:
`[oss] 服务端读写端点=http://192.168.0.171:9000(预签名端点=https://oss.aishufu.top)`(两台都已打出)。
连接方向也已实测翻转:A 的 java netns 里出现 `192.168.0.171:9000`,原先的 `47.110.241.161:443` 消失。
副作用两条要记着:对象流量**不再经过 A 的 nginx**(那一层的访问日志看不到了),
服务端到 MinIO 变成明文 HTTP —— 只在 VPC 内,SigV4 不泄露密钥,可接受。
- **MQ 走私网:已上线(09:44 改 broker、09:53 改 namesrv,两台都重启过)**。
**先纠正我上一版的取证错误**:我写"broker.conf 里没有 `brokerIP1`"是查错了文件 ——
容器里 `/home/rocketmq/rocketmq-5.5.0/conf/broker.conf` 是发行包自带的那份,
broker 实际加载的是 `-c /opt/rocketmq-5.2.0/conf/broker.conf`(bind 自宿主机
`/opt/1panel/apps/rocketmq/rocketmq/data/broker/conf/broker.conf`),它第 8 行**一直写着**
`brokerIP1=121.196.149.225`。所以注册地址不是自动探测出来的,是 1Panel 装的时候就写死的公网 EIP。
动作与回读:
- ① 那行改成 `brokerIP1 = 192.168.0.170`,备份 `broker.conf.bak-20260928094413`,
`docker restart 1Panel-rocketmq-ZnP2-rmqbroker` → `mqadmin clusterList` 第 4 列变 `192.168.0.170:10911`,
容器 `running / OOM=false`,broker 日志无 error 关键词。**java 不用重启**:客户端每 30 秒刷一次路由表,
实测改前遗留的那条 `121.196.149.225:10911` 长连接在约 1 分钟后自行消失,换成 `192.168.0.170:10911`(两台都是)。
- ② namesrv:`AIIMAGE_ROCKETMQ_NAME_SERVER` **不在 `/.env` 里**(`/.env` 只有 7 个 AIIMAGE_ 键,
其余 34 条来自容器创建期的 `Config.Env`),所以是往 `/.env` **追加**一行
`export AIIMAGE_ROCKETMQ_NAME_SERVER="192.168.0.170:9876"` 来覆盖(`run.sh` 第 3 行 `source /.env` 晚于容器 env)。
两台各留 `.env.bak-…`,`bash -n` 通过。B 先重启验证,A 随后。
启动日志可直接回读:`a producer (aiimage-backend-producer) init on namesrv 192.168.0.170:9876`,
consumer 容器 `nameServer='192.168.0.170:9876'`,两台 ERROR 0 / health UP。
- **一个反复踩到的读值坑**:`docker inspect -f '{{.State.Pid}}'` 拿到的是**入口进程**(`entrypoint.sh` → `bash /run.sh`),
读它的 `/proc/<pid>/environ` 只会看到 `Config.Env` 那层的**旧值**,java 是孙进程。
**`/proc/<pid>/environ` 只反映该进程最后一次 `execve` 时的环境,shell 之后 `source /.env` 的内容不会回写进去** ——
所以读覆盖后的真值要在宿主机上 `JP=$(pgrep -f 'aiimage-backend.*jar' | head -1)`,再
`tr '\0' '\n' < /proc/$JP/environ | grep AIIMAGE_ROCKETMQ`。
11:1x 用这条把同一个键的三层读全了(两台结果一致):
`Config.Env` = `121.196.149.225:9876`(创建期旧值)→ 入口进程 environ = **同上旧值**(这就是那个假象的来源)→
java 子进程 environ = **`192.168.0.170:9876`**(真值,`/.env` 的 export 赢了,因为 source 发生在 java 启动之前)。
两条推论:① 判生效值最省事的还是读启动日志那行 `init on namesrv …`,或者直接看 netns 里 `ss -tn` 的对端 IP;
② `Config.Env` 里那条公网旧值**不用清**,`/.env` 每次启动都会盖住它;但反过来,**只要有人绕过 `run.sh`
直接 `docker exec` 起进程,就会退回公网值**,所以别用 `docker exec` 手工重启服务。
- **改后的真实消息已回读**(不是只看连接方向):`10:12:07.553` A `mq published jobId=20831 moduleType=PRICE_TRACK`
→ `10:12:07.921` B `ConsumeMessageThread_2 … jobId=20831 process success`,**跨机投递耗时约 370ms**;
`10:14:10` 的 `jobId=20832`(BRAND)由 A 自己消费并 `finalized success`;B 近 45 分钟消费 9 条、A 消费 3 条,
**publish failed / 熔断 = 0**。改完后两台到 MQ 的对端**只剩** `192.168.0.170:9876` 与 `:10911`,公网那条彻底没了。
- 顺带实测到一条**跨机竞争消费本来就是通的**(改前的公网路径上):A `09:03:16 mq published jobId=20828`
→ B `09:03:16 ConsumeMessageThread_7 … jobId=20828 process success`,`09:10:57/58` 的 20829 同样。
所以 MQ 确实在承载结果文件作业(A 近 12 小时 publish 25 次、两台都有消费线程活动),不是空配置。
- 收益如我先前判断:省的不是带宽而是**耦合** —— 文件流量打满 5 Mbps 时不再把作业通道一起拖死。
重启 A 之前它有 3 个货源作业在 `WAIT_LLM`,重启后 20791/20805/20825 全部继续被 `task-queue-*` 处理,
等于顺手把今晚上线的**重启续跑语义**在真实负载下验了一遍。
### 4.4 VPC 内的实际延迟与"内网对象通道有没有变差"(10:3x 实测)
A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻):
| 对端 | 用途 | rtt | 备注 |
|---|---|---|---|
| `192.168.0.171:3306` | 主库(同机) | 0.033–1.72 ms | minrtt 0.001,本机 |
| `192.168.0.170:16379` | **redis master 在 B** | 0.147–0.319 ms | 哨兵发现的主,A 只留 2 条长连接 |
| `192.168.0.171:9000` | 主 MinIO(内网,今晚新走的路) | 0.334–0.823 ms | 37MB 上传中 `retrans:0/31`、重传字节 41,632/**37,662,303 ≈ 0.11%** |
| `192.168.0.170:9000` | 设备日志 MinIO | 0.28 ms | 累计收 536MB / 发 156MB,`busy 77s`,无重传 |
| `192.168.0.170:9876 / 10911` | namesrv / broker | 0.20–0.63 ms | 今晚切私网后新增 |
| `47.115.192.140:443` | **已认领:`cbu01.alicdn.com`(1688 商品图 CDN)** | **26.1–27.3 ms** | 全场唯一的高 RTT,杭州机 → 阿里深圳 CDN 节点 |
三条结论:
1. **跨机不是问题**:A→B 的 redis/MQ/设备日志全部 0.15–0.63 ms,比 A 到自己 MySQL 的最差那条(1.72 ms)还低。
所以"把 redis 或 MQ 挪回本机"这类改造**没有收益**,不要做。
2. **今晚切的内网对象通道没有变差**:那条 retrans 数字是我自己读错的产物 ——
我第一版 awk 用 `retrans:[0-9/]+` 去抓,命中了 `bytes_retrans:1632` 这个**字节**字段,
看着像 1632 次重传。原始行是 `bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23`,
即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 `TcpRetransSegs` 在 10 秒窗口里**一次都没涨**。
以后从 `ss -ti` 取重传,要么取 `retrans:` 那个字段,要么先把整行贴出来再判。
3. **那个 26 ms 的公网依赖已在 10:5x 认领:`cbu01.alicdn.com`(1688 商品图 CDN),货源链路**。
过程与证据(前一版写"认不出属于哪个业务调用",现在补上):
- 先按 IP 找:在 A 上逐个解析 java 配置里能抽到的外部主机,**没命中**;再换成"在 A 本机解析外部 CDN 域名"
(关键区别:CDN 按就近返回,我工作站上解析 `cbu01.alicdn.com` 拿到的不是这批 IP),
A 的解析结果是 `47.115.192.140 / 47.115.192.141 / 8.141.190.160 / 8.147.229.178 / 8.160.215.133 …` 共 **8 条 A 记录**
—— 目标 IP 是其中第一条。**这同时解释了它为什么时有时无**:我 10:5x 复查时 netns 里 established 共 20 条、
命中这个 IP **0 条**,因为客户端换了一批连接池里的另一个节点。
- 代码侧对得上:`SimilarAsinImageEmbedder.java:80`、`SimilarAsinLlmService.java:549`、`PuzzleImageMerger.java:218`、
`SimilarAsinProperties.java:52` 四处注释都在说 `cbu01.alicdn.com` 是**慢源**("带外站 Referer 稳定 403、
无 Referer 直接 200"、"会一直挂 8s 才进入 retry")→ 就是货源图片下载/内嵌那条路。
- 日志侧对不上是正常的:`grep -c alicdn` 近 20 分钟 java 日志 **0 条**(日志里不打完整图片 URL,只打 jobId/行数),
这条**不能当反证**;同一窗口 `media-amazon` 有 39 条,说明图片下载确实在跑。
- **结论:这不是我们能改造的东西** —— 它是外部 CDN,不存在"切内网"的选项,26 ms 是杭州→深圳节点的物理距离。
真要提速只有两档:图片已在库里的别重下(缓存命中),或把下载并发从 `image-download-pool-size=8` 往上抬
——但**公网出口只有 5–8 Mbps,抬并发只会互相抢带宽**,所以这条归入"不动"。
- 顺带纠正我自己前一版的取数:那组 rtt 写成 `0.405 / 26.104 / 26.303 / 27.314`,其中 `0.405` 与同 IP 的其它三条
差 60 倍,更像是 `ss -tni` 多行记录被我按行抓串了位,**不要拿它当"有一条快连接"的依据**。
## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配
这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。
- **A 上绑在 `0.0.0.0` 的端口一共 18 个**(10:2x 用 `ss -tln` 重数,之前这里只写了 5 个,是漏的):
`22 / 80 / 443 / 3001 / 3010 / 3306 / 6379 / 8085 / 8089 / 9000 / 9001 / 15126 / 16379 / 16890 / 17248 / 18080 / 26379 / 26739`。
其中 `9001` 是 MinIO 控制台、`15126` 是 Flask、`16379/26379/26739/6379` 是 redis 与哨兵,
`3001/3010/8085/8089/17248` 本次**没有逐个认领到具体容器**(别把这条读成"这些都是废弃端口")。
B 侧对照过:replica 的 3306 **只在 docker 网络内**,B 对外只有 443。
- **但"端口开着"不等于"能匿名进",这次逐个验了**:A 上有 4 个 redis 容器
(`shufu-redis-master` 8.6.2、`shufu-redis-sentinel` 7.4.0、`1Panel-redis-NmIe` 8.6.2、`redis_gzpa-redis_GZPa-1` 7.4.0),
对 `127.0.0.1:6379`、`192.168.0.171:6379`、`127.0.0.1:16379`、`127.0.0.1:26379` 各打一次 `PING`,
**四次都是 `NOAUTH Authentication required.`**,没有一次免口令成功 → 这四个口**不用改**,收端口只是为了不给爆破机会。
**`26739` 那口(`redis_gzpa-redis_GZPa-1` 映射到宿主 6379)本次没测**,别把上面这句推广到它。
(顺带纠正:`ss -tln` 会同时列出**共享同一 netns 的容器**的监听口,所以第一版"五个容器都在听 6379"是共享网络的产物,
真实对外映射只有 `1Panel-redis-NmIe → 6379` 和 `redis_gzpa → 26739` 两条,用 `HostConfig.PortBindings` 才数得准。)
- 再加一条:**nacos 的 8080 / 8848 / 9848 也是 `0.0.0.0`,且服务端鉴权是关的**(详见第二节第 9 条)。
这条今晚已经用"停容器"消掉了,但**端口是 docker `-p` 在 iptables 里做的 DNAT,阿里云安全组未必挡得住**:
1Panel 装的这些 app 一旦哪天被人重新 `docker start`,门就又开了。所以安全组入方向要**明确写上这三个端口拒绝**,
而不是只靠"现在没容器在听"。
(停后 8 秒 `tcpdump` 采样里这三个端口已无新 SYNs,历史扫描证据见第 9 条的 access_log 统计。)
- 主库账号表里读到的是 `root@%`、`gitea_dpCCcA@%`、`py_Task@%`、`py_Task_test@%` ——
口令猜不出来也不该猜,但"任意来源主机"这个条件意味着**端口收掉之前,这些账号只靠口令守**。
- **收掉公网 3306 不会打断复制**:副本的 `Source_Host` 已经是 `192.168.0.171`(VPC 私网),
这是本条里唯一"已经确认可以安全收"的部分,我提前把它验掉了。
- 同类:18080 是 Java 的 actuator + 业务端口直连公网,所以第七节里"要不要暴露 `/actuator/prometheus`"
的前提是先把它从公网收掉;9000 是主 MinIO 裸口,公网可直接打 S3 请求。
- 建议动作(一次性、可回滚):阿里云安全组把 A 的入方向限制为 **仅 443(+ 运维来源 IP 的 SSH)**,
先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。
VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 ——
今晚已实测三个私网地址全通。