docs(运维): 记录 RocketMQ 走私网与 Nacos 关停,纠正 brokerIP1 取证错判
MQ 侧 brokerIP1 与 namesrv 两处都改完并回读到真实跨机投递(10:12 的 jobId=20831 A 投 B 收,约 370ms),Nacos 因鉴权关闭 + 三端口绑 0.0.0.0 且零客户端而停掉。 上一版"broker.conf 里没有 brokerIP1"是查错了文件(读的是发行包默认那份而非 bind mount 实际加载那份),已写明正确路径与备份位置。
This commit is contained in:
@@ -23,7 +23,7 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-
|
||||
|
||||
发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。
|
||||
|
||||
### 附:中间件侧今夜已做的三处线上改动(无提交,改的是主机配置,列此便于回滚)
|
||||
### 附:中间件侧今夜已做的五处线上改动(改的是主机配置,列此便于回滚;④⑤另有代码/提交)
|
||||
|
||||
| 改动 | 机器 / 对象 | 前 → 后 | 回滚 |
|
||||
|---|---|---|---|
|
||||
@@ -31,6 +31,8 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-
|
||||
| cgroup 内存上限抬高 | B `aiimage-mysql-replica` | 2 GiB → **3 GiB**(实占 1.67 GiB,已到 84%) | 同上,换数值与容器名 |
|
||||
| cgroup 内存上限抬高 | B `shufu-device-logs-minio` | 2 GiB → **3 GiB**(实占 1.82 GiB,已到 **91%**,再涨就是 OOM) | 同上 |
|
||||
| nginx 请求体上限 | B `git.aishufu.top` 站点 server 段 | 继承 http 级 `50m` → 本站 `1024m` | 同目录留了 `.bak-<时间戳>`,`cp` 回去 + `nginx -s reload` |
|
||||
| OSS 端点拆分 | 两台 `/.env` + jar(提交 `b7ae4478`) | 服务端读写:公网域名 → **`http://192.168.0.171:9000`**;预签名仍公网 | 删 `/.env` 里 `AIIMAGE_OSS_INTERNAL_ENDPOINT` 那行(有 `.bak-…`)+ 重启 java |
|
||||
| RocketMQ 走私网 | B broker.conf + 两台 `/.env` | `brokerIP1` 公网 EIP → **`192.168.0.170`**;namesrv 追加覆盖为 **`192.168.0.170:9876`** | 各自 `.bak-20260928094413` / `.bak-…` 复原 + `docker restart 1Panel-rocketmq-ZnP2-rmqbroker`、`docker restart java-server` |
|
||||
|
||||
三条硬约束,下次改之前先看,否则会踩:
|
||||
|
||||
@@ -194,20 +196,46 @@ main 代码零调用者)。
|
||||
该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。
|
||||
处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。
|
||||
|
||||
### 9. 主机A 的 Nacos:无任何客户端连接,白吃 1.95 GiB
|
||||
### 9. 主机A 的 Nacos:10:13 已停 —— 不只是白吃 2 GiB,它是"鉴权关闭 + 端口对公网开"
|
||||
|
||||
取证链(两条都是今晚重跑的,不是引用旧笔记):
|
||||
|
||||
- 在 **nacos 容器自己的 netns** 里数 8848 的 established = **0**(`nsenter` 后的结果,
|
||||
避开了宿主机 `ss` 看不见容器网络的那个坑)。它自己只有两条到 `172.22.0.2:7848` 的 gRPC 尾巴。
|
||||
- 容器 `1Panel-nacos-dsLA-standalone`:内存**无上限**、实占 `1.952 GiB`、`restarts=0`。
|
||||
- Java 侧 `env` 里没有任何 `NACOS` 变量,进程 cmdline 里没有 `nacos` 字样。
|
||||
避开了宿主机 `ss` 看不见容器网络的那个坑)。它那两条 ESTAB 的对端是 `172.22.0.2` ——
|
||||
**就是它自己的容器 IP**(`nacos_default` 这个网络里只有 nacos 一个成员,`7848` 是它自己的 raft 口),
|
||||
所以是自我连接,不是客户端。
|
||||
- Java 侧 `env` 里没有任何 `NACOS` 变量(键数 0),进程 cmdline 里没有 `nacos` 字样;
|
||||
两台挂载的 `/app/application-server.yml`(271 行)里 nacos 出现 **0 次**;仓库里除了本文档也没有 nacos 引用。
|
||||
- 宿主机 `ss -tn` 到 8848/9848 命中 0 条(A 与 B 都查了)。
|
||||
|
||||
也就是说"停掉它能给 A 腾出近 2 GiB"(A 是 MySQL+MinIO+java+redis 那台,正是最紧的一台)。
|
||||
我**没有停**,因为"现在没人连"不等于"没人配置要连":如果哪个服务是按需启动、或者 1Panel 之外还有别的
|
||||
消费方,停了就是它起不来的时候才被发现。要动的话顺序是
|
||||
先 `docker update --memory 512m --memory-swap 512m` 把它的胃口压下去(可逆、立刻见效),
|
||||
观察几天有没有人报"配置中心连不上",确认没人用再 `docker stop` + 取消自启。
|
||||
**改前漏看、这次补上的一条(比内存更要紧)**:
|
||||
|
||||
- `docker port` 显示 **8080 / 8848 / 9848 全部绑在 `0.0.0.0`**,而 `HostConfig.Memory=0`(无上限)。
|
||||
- 容器里 `NACOS_AUTH_ENABLE=false`、`nacos.core.auth.enabled=false`(同一文件里
|
||||
`nacos.core.auth.admin.enabled=true`、`console.enabled=true` 是 2.3+/3.x 的分层开关,还开着)。
|
||||
- access_log 里近 14 天净是外部扫描:`GET /nacos/v1/cs/configs?...search=blur&pageSize=1000&tenant=*`(配置全量导出的招牌探测)、
|
||||
`GET /nacos/v1/auth/users?pageNo=1&pageSize=9`、还有伪造 `User-Agent: Nacos-Server` 的请求(就是那个老 bypass),
|
||||
来源是 40 个互不相干的公网 IP,`curl`/`python-requests`/浏览器 UA 混杂,**没有一条来自两台内网地址**。
|
||||
- **没有证据表明被读到过东西**:`nacos/v1*` 相关请求近 14 天共 73 条,状态码是 **70 条 500 + 3 条 404,0 条 2xx**。
|
||||
镜像是 `nacos/nacos-server:v3.2.1`,v1 的这批接口在它上面本就不存在,所以探测全落在错误上。
|
||||
(别把这句读成"安全":500 而不是 401 也说明服务端确实**没在鉴权**,只是没有对应的接口可打。)
|
||||
|
||||
**动作(10:13,可一条命令回滚)**:`docker stop 1Panel-nacos-dsLA-standalone`。
|
||||
回滚 = `docker start 1Panel-nacos-dsLA-standalone`。效果与验证:
|
||||
|
||||
- A 的 `MemUsed` 10 GiB → **8 GiB**、`available` 20 → **22 GiB**。
|
||||
- 停后 60 秒:java `health=200`、近 2 分钟 `ERROR` **0 条**(该窗口日志 423 行,自证读到了东西)、
|
||||
货源作业 `[task-file-job] … jobId=20805 stage=WAIT_LLM` 照常推进。
|
||||
- **数据没动**:`/opt/1panel/apps/nacos/nacos/data/data` 2.1G(`derby-data` 建自 5-14,7-29 还在写),
|
||||
所以哪天要用,起来还是原来那套;**别顺手删容器或 app 目录**。
|
||||
|
||||
我选"停"而不是原计划的"压到 512m",理由有两个,都写在这儿免得下次重判:
|
||||
①它的 JVM 是 `-Xms2g -Xmx2g -Xmn1g` 且容器**无限额**,压到 512m 会当场被 cgroup 杀掉,
|
||||
要降必须先改 `JVM_XMS/JVM_XMX` 并重启它 —— 那和停掉的成本一样,收益却小得多;
|
||||
②停掉同时消掉了 8848/9848/8080 这个对公网开的无鉴权面,压内存只解决钱不解决门。
|
||||
|
||||
**遗留给人拍板的**:如果确认这套 nacos 以后也不用于服务发现,就在 1Panel 里把它**卸载或至少改成只绑 127.0.0.1**,
|
||||
并把 §五 的安全组清单加上这三个端口。
|
||||
|
||||
## 三、已解决:Gitea 那 7 个提交推上去了(08:10)
|
||||
|
||||
@@ -265,21 +293,50 @@ GCM 会 warn `no such provider 'basic'` 然后回退自动探测 —— **这个
|
||||
MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `47.110.241.161`(A 的公网 IP)的 established 连接,
|
||||
也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。
|
||||
|
||||
### 4.3 两处改法(一条需要人配合,一条纯配置)
|
||||
### 4.3 两处改法(一条已做完,一条需要人配合)
|
||||
|
||||
- **OSS 端点拆分**(代码改动,已在做):`endpoint` 与 `public-endpoint` 现在是同一个域名,
|
||||
而 `OssStorageService` 刻意让它们一致 —— 预签名 URL 的主机名必须等于浏览器能到达的反代入口
|
||||
(见 `OssStorageService.java:136` 的注释、`:765-766` 的 `firstNonBlank(publicEndpoint, endpoint)` 回退)。
|
||||
所以**不能简单把 `AIIMAGE_OSS_ENDPOINT` 改成内网 IP**:那样服务端自己读写快了,
|
||||
但签给浏览器直传 PUT 的 URL 会变成 `192.168.0.171:9000`,用户侧上传当场全断。
|
||||
正确形状是"服务端 I/O 用内网 client,预签名用公网入口"两把钥匙分开。
|
||||
- **MQ 走私网**:光把 `AIIMAGE_ROCKETMQ_NAME_SERVER` 换成 `192.168.0.170:9876` **不够** ——
|
||||
broker 注册地址由它自己决定,`broker.conf` 和 `conf/2m-noslave/broker-a.properties` 里都**没有** `brokerIP1`,
|
||||
现在 A 能连上公网说明它注册的就是公网可达地址。要真正切私网必须
|
||||
①在 broker 配置里加 `brokerIP1 = 192.168.0.170` 并**重启 broker**,②再把两台 java 的 namesrv 改成私网。
|
||||
风险与收益要一起看:MQ 消息体很小,改它省不了带宽,省的是**"文件流量打满 5 Mbps 时把作业通道一起拖死"的耦合**
|
||||
(结果文件作业有本地兜底,broker 重启期间任务不会丢,但会退化成同机执行)。
|
||||
这条我**没有自行执行**,因为要重启 broker 且收益属于"削峰耦合"而非"提吞吐",先报数给你拍。
|
||||
- **OSS 端点拆分:已上线(提交 `b7ae4478`,两台线上 md5 `02357a89da2100689565319462d9db29`)**。
|
||||
新增 `aiimage.oss.internal-endpoint`(env `AIIMAGE_OSS_INTERNAL_ENDPOINT`,默认空=沿用 `endpoint`,
|
||||
所以不带 env 的环境行为与今天完全一致),只给服务端读写的 client 用;
|
||||
预签名改用 `public-endpoint` 那张 client,浏览器直传 URL 的 host 不变。
|
||||
生产两台的 env 落在 `/opt/1panel/runtime/java/java-server/.env`(`run.sh` 第 3 行 `source /.env`;
|
||||
**该文件里 AIIMAGE_* 全是 `export` 形式,不加 export 传不到 java 子进程**),
|
||||
写前留了 `.env.bak-2026092809285x`,回滚=删掉那一行再 `docker restart java-server`。
|
||||
启动日志新增一行可直接回读生效值:
|
||||
`[oss] 服务端读写端点=http://192.168.0.171:9000(预签名端点=https://oss.aishufu.top)`(两台都已打出)。
|
||||
连接方向也已实测翻转:A 的 java netns 里出现 `192.168.0.171:9000`,原先的 `47.110.241.161:443` 消失。
|
||||
副作用两条要记着:对象流量**不再经过 A 的 nginx**(那一层的访问日志看不到了),
|
||||
服务端到 MinIO 变成明文 HTTP —— 只在 VPC 内,SigV4 不泄露密钥,可接受。
|
||||
- **MQ 走私网:已上线(09:44 改 broker、09:53 改 namesrv,两台都重启过)**。
|
||||
**先纠正我上一版的取证错误**:我写"broker.conf 里没有 `brokerIP1`"是查错了文件 ——
|
||||
容器里 `/home/rocketmq/rocketmq-5.5.0/conf/broker.conf` 是发行包自带的那份,
|
||||
broker 实际加载的是 `-c /opt/rocketmq-5.2.0/conf/broker.conf`(bind 自宿主机
|
||||
`/opt/1panel/apps/rocketmq/rocketmq/data/broker/conf/broker.conf`),它第 8 行**一直写着**
|
||||
`brokerIP1=121.196.149.225`。所以注册地址不是自动探测出来的,是 1Panel 装的时候就写死的公网 EIP。
|
||||
动作与回读:
|
||||
- ① 那行改成 `brokerIP1 = 192.168.0.170`,备份 `broker.conf.bak-20260928094413`,
|
||||
`docker restart 1Panel-rocketmq-ZnP2-rmqbroker` → `mqadmin clusterList` 第 4 列变 `192.168.0.170:10911`,
|
||||
容器 `running / OOM=false`,broker 日志无 error 关键词。**java 不用重启**:客户端每 30 秒刷一次路由表,
|
||||
实测改前遗留的那条 `121.196.149.225:10911` 长连接在约 1 分钟后自行消失,换成 `192.168.0.170:10911`(两台都是)。
|
||||
- ② namesrv:`AIIMAGE_ROCKETMQ_NAME_SERVER` **不在 `/.env` 里**(`/.env` 只有 7 个 AIIMAGE_ 键,
|
||||
其余 34 条来自容器创建期的 `Config.Env`),所以是往 `/.env` **追加**一行
|
||||
`export AIIMAGE_ROCKETMQ_NAME_SERVER="192.168.0.170:9876"` 来覆盖(`run.sh` 第 3 行 `source /.env` 晚于容器 env)。
|
||||
两台各留 `.env.bak-…`,`bash -n` 通过。B 先重启验证,A 随后。
|
||||
启动日志可直接回读:`a producer (aiimage-backend-producer) init on namesrv 192.168.0.170:9876`,
|
||||
consumer 容器 `nameServer='192.168.0.170:9876'`,两台 ERROR 0 / health UP。
|
||||
- **一个反复踩到的读值坑**:`docker inspect -f '{{.State.Pid}}'` 拿到的是**入口进程**(`entrypoint.sh` → `bash /run.sh`),
|
||||
读它的 `/proc/<pid>/environ` 只会看到 `Config.Env` 那层的**旧值**,java 是孙进程。
|
||||
要判生效值,读启动日志里那行 `init on namesrv …` 最可靠。
|
||||
- **改后的真实消息已回读**(不是只看连接方向):`10:12:07.553` A `mq published jobId=20831 moduleType=PRICE_TRACK`
|
||||
→ `10:12:07.921` B `ConsumeMessageThread_2 … jobId=20831 process success`,**跨机投递耗时约 370ms**;
|
||||
`10:14:10` 的 `jobId=20832`(BRAND)由 A 自己消费并 `finalized success`;B 近 45 分钟消费 9 条、A 消费 3 条,
|
||||
**publish failed / 熔断 = 0**。改完后两台到 MQ 的对端**只剩** `192.168.0.170:9876` 与 `:10911`,公网那条彻底没了。
|
||||
- 顺带实测到一条**跨机竞争消费本来就是通的**(改前的公网路径上):A `09:03:16 mq published jobId=20828`
|
||||
→ B `09:03:16 ConsumeMessageThread_7 … jobId=20828 process success`,`09:10:57/58` 的 20829 同样。
|
||||
所以 MQ 确实在承载结果文件作业(A 近 12 小时 publish 25 次、两台都有消费线程活动),不是空配置。
|
||||
- 收益如我先前判断:省的不是带宽而是**耦合** —— 文件流量打满 5 Mbps 时不再把作业通道一起拖死。
|
||||
重启 A 之前它有 3 个货源作业在 `WAIT_LLM`,重启后 20791/20805/20825 全部继续被 `task-queue-*` 处理,
|
||||
等于顺手把今晚上线的**重启续跑语义**在真实负载下验了一遍。
|
||||
|
||||
## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配
|
||||
|
||||
@@ -287,6 +344,11 @@ MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `
|
||||
|
||||
- A 上 `0.0.0.0` 监口的有 **3306 / 6379 / 9000 / 18080 / 16890**(B 侧对照过,replica 的 3306 **只在 docker 网络内**,
|
||||
B 对外只有 443)。
|
||||
- 再加一条:**nacos 的 8080 / 8848 / 9848 也是 `0.0.0.0`,且服务端鉴权是关的**(详见第二节第 9 条)。
|
||||
这条今晚已经用"停容器"消掉了,但**端口是 docker `-p` 在 iptables 里做的 DNAT,阿里云安全组未必挡得住**:
|
||||
1Panel 装的这些 app 一旦哪天被人重新 `docker start`,门就又开了。所以安全组入方向要**明确写上这三个端口拒绝**,
|
||||
而不是只靠"现在没容器在听"。
|
||||
(停后 8 秒 `tcpdump` 采样里这三个端口已无新 SYNs,历史扫描证据见第 9 条的 access_log 统计。)
|
||||
- 主库账号表里读到的是 `root@%`、`gitea_dpCCcA@%`、`py_Task@%`、`py_Task_test@%` ——
|
||||
口令猜不出来也不该猜,但"任意来源主机"这个条件意味着**端口收掉之前,这些账号只靠口令守**。
|
||||
- **收掉公网 3306 不会打断复制**:副本的 `Source_Host` 已经是 `192.168.0.171`(VPC 私网),
|
||||
|
||||
Reference in New Issue
Block a user