From 41af66bb4ce10c780db39356e9d9cfb3110fe0bf Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Mon, 28 Sep 2026 10:20:53 +0800 Subject: [PATCH] =?UTF-8?q?docs(=E8=BF=90=E7=BB=B4):=20=E8=AE=B0=E5=BD=95?= =?UTF-8?q?=20RocketMQ=20=E8=B5=B0=E7=A7=81=E7=BD=91=E4=B8=8E=20Nacos=20?= =?UTF-8?q?=E5=85=B3=E5=81=9C=EF=BC=8C=E7=BA=A0=E6=AD=A3=20brokerIP1=20?= =?UTF-8?q?=E5=8F=96=E8=AF=81=E9=94=99=E5=88=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit MQ 侧 brokerIP1 与 namesrv 两处都改完并回读到真实跨机投递(10:12 的 jobId=20831 A 投 B 收,约 370ms),Nacos 因鉴权关闭 + 三端口绑 0.0.0.0 且零客户端而停掉。 上一版"broker.conf 里没有 brokerIP1"是查错了文件(读的是发行包默认那份而非 bind mount 实际加载那份),已写明正确路径与备份位置。 --- docs/ops/prod-decisions-2026-09-28.md | 110 ++++++++++++++++++++------ 1 file changed, 86 insertions(+), 24 deletions(-) diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md index 6b5823def..5b008a4dd 100644 --- a/docs/ops/prod-decisions-2026-09-28.md +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -23,7 +23,7 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin- 发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。 -### 附:中间件侧今夜已做的三处线上改动(无提交,改的是主机配置,列此便于回滚) +### 附:中间件侧今夜已做的五处线上改动(改的是主机配置,列此便于回滚;④⑤另有代码/提交) | 改动 | 机器 / 对象 | 前 → 后 | 回滚 | |---|---|---|---| @@ -31,6 +31,8 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin- | cgroup 内存上限抬高 | B `aiimage-mysql-replica` | 2 GiB → **3 GiB**(实占 1.67 GiB,已到 84%) | 同上,换数值与容器名 | | cgroup 内存上限抬高 | B `shufu-device-logs-minio` | 2 GiB → **3 GiB**(实占 1.82 GiB,已到 **91%**,再涨就是 OOM) | 同上 | | nginx 请求体上限 | B `git.aishufu.top` 站点 server 段 | 继承 http 级 `50m` → 本站 `1024m` | 同目录留了 `.bak-<时间戳>`,`cp` 回去 + `nginx -s reload` | +| OSS 端点拆分 | 两台 `/.env` + jar(提交 `b7ae4478`) | 服务端读写:公网域名 → **`http://192.168.0.171:9000`**;预签名仍公网 | 删 `/.env` 里 `AIIMAGE_OSS_INTERNAL_ENDPOINT` 那行(有 `.bak-…`)+ 重启 java | +| RocketMQ 走私网 | B broker.conf + 两台 `/.env` | `brokerIP1` 公网 EIP → **`192.168.0.170`**;namesrv 追加覆盖为 **`192.168.0.170:9876`** | 各自 `.bak-20260928094413` / `.bak-…` 复原 + `docker restart 1Panel-rocketmq-ZnP2-rmqbroker`、`docker restart java-server` | 三条硬约束,下次改之前先看,否则会踩: @@ -194,20 +196,46 @@ main 代码零调用者)。 该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。 处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。 -### 9. 主机A 的 Nacos:无任何客户端连接,白吃 1.95 GiB +### 9. 主机A 的 Nacos:10:13 已停 —— 不只是白吃 2 GiB,它是"鉴权关闭 + 端口对公网开" 取证链(两条都是今晚重跑的,不是引用旧笔记): - 在 **nacos 容器自己的 netns** 里数 8848 的 established = **0**(`nsenter` 后的结果, - 避开了宿主机 `ss` 看不见容器网络的那个坑)。它自己只有两条到 `172.22.0.2:7848` 的 gRPC 尾巴。 -- 容器 `1Panel-nacos-dsLA-standalone`:内存**无上限**、实占 `1.952 GiB`、`restarts=0`。 -- Java 侧 `env` 里没有任何 `NACOS` 变量,进程 cmdline 里没有 `nacos` 字样。 + 避开了宿主机 `ss` 看不见容器网络的那个坑)。它那两条 ESTAB 的对端是 `172.22.0.2` —— + **就是它自己的容器 IP**(`nacos_default` 这个网络里只有 nacos 一个成员,`7848` 是它自己的 raft 口), + 所以是自我连接,不是客户端。 +- Java 侧 `env` 里没有任何 `NACOS` 变量(键数 0),进程 cmdline 里没有 `nacos` 字样; + 两台挂载的 `/app/application-server.yml`(271 行)里 nacos 出现 **0 次**;仓库里除了本文档也没有 nacos 引用。 +- 宿主机 `ss -tn` 到 8848/9848 命中 0 条(A 与 B 都查了)。 -也就是说"停掉它能给 A 腾出近 2 GiB"(A 是 MySQL+MinIO+java+redis 那台,正是最紧的一台)。 -我**没有停**,因为"现在没人连"不等于"没人配置要连":如果哪个服务是按需启动、或者 1Panel 之外还有别的 -消费方,停了就是它起不来的时候才被发现。要动的话顺序是 -先 `docker update --memory 512m --memory-swap 512m` 把它的胃口压下去(可逆、立刻见效), -观察几天有没有人报"配置中心连不上",确认没人用再 `docker stop` + 取消自启。 +**改前漏看、这次补上的一条(比内存更要紧)**: + +- `docker port` 显示 **8080 / 8848 / 9848 全部绑在 `0.0.0.0`**,而 `HostConfig.Memory=0`(无上限)。 +- 容器里 `NACOS_AUTH_ENABLE=false`、`nacos.core.auth.enabled=false`(同一文件里 + `nacos.core.auth.admin.enabled=true`、`console.enabled=true` 是 2.3+/3.x 的分层开关,还开着)。 +- access_log 里近 14 天净是外部扫描:`GET /nacos/v1/cs/configs?...search=blur&pageSize=1000&tenant=*`(配置全量导出的招牌探测)、 + `GET /nacos/v1/auth/users?pageNo=1&pageSize=9`、还有伪造 `User-Agent: Nacos-Server` 的请求(就是那个老 bypass), + 来源是 40 个互不相干的公网 IP,`curl`/`python-requests`/浏览器 UA 混杂,**没有一条来自两台内网地址**。 +- **没有证据表明被读到过东西**:`nacos/v1*` 相关请求近 14 天共 73 条,状态码是 **70 条 500 + 3 条 404,0 条 2xx**。 + 镜像是 `nacos/nacos-server:v3.2.1`,v1 的这批接口在它上面本就不存在,所以探测全落在错误上。 + (别把这句读成"安全":500 而不是 401 也说明服务端确实**没在鉴权**,只是没有对应的接口可打。) + +**动作(10:13,可一条命令回滚)**:`docker stop 1Panel-nacos-dsLA-standalone`。 +回滚 = `docker start 1Panel-nacos-dsLA-standalone`。效果与验证: + +- A 的 `MemUsed` 10 GiB → **8 GiB**、`available` 20 → **22 GiB**。 +- 停后 60 秒:java `health=200`、近 2 分钟 `ERROR` **0 条**(该窗口日志 423 行,自证读到了东西)、 + 货源作业 `[task-file-job] … jobId=20805 stage=WAIT_LLM` 照常推进。 +- **数据没动**:`/opt/1panel/apps/nacos/nacos/data/data` 2.1G(`derby-data` 建自 5-14,7-29 还在写), + 所以哪天要用,起来还是原来那套;**别顺手删容器或 app 目录**。 + +我选"停"而不是原计划的"压到 512m",理由有两个,都写在这儿免得下次重判: +①它的 JVM 是 `-Xms2g -Xmx2g -Xmn1g` 且容器**无限额**,压到 512m 会当场被 cgroup 杀掉, +要降必须先改 `JVM_XMS/JVM_XMX` 并重启它 —— 那和停掉的成本一样,收益却小得多; +②停掉同时消掉了 8848/9848/8080 这个对公网开的无鉴权面,压内存只解决钱不解决门。 + +**遗留给人拍板的**:如果确认这套 nacos 以后也不用于服务发现,就在 1Panel 里把它**卸载或至少改成只绑 127.0.0.1**, +并把 §五 的安全组清单加上这三个端口。 ## 三、已解决:Gitea 那 7 个提交推上去了(08:10) @@ -265,21 +293,50 @@ GCM 会 warn `no such provider 'basic'` 然后回退自动探测 —— **这个 MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `47.110.241.161`(A 的公网 IP)的 established 连接, 也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。 -### 4.3 两处改法(一条需要人配合,一条纯配置) +### 4.3 两处改法(一条已做完,一条需要人配合) -- **OSS 端点拆分**(代码改动,已在做):`endpoint` 与 `public-endpoint` 现在是同一个域名, - 而 `OssStorageService` 刻意让它们一致 —— 预签名 URL 的主机名必须等于浏览器能到达的反代入口 - (见 `OssStorageService.java:136` 的注释、`:765-766` 的 `firstNonBlank(publicEndpoint, endpoint)` 回退)。 - 所以**不能简单把 `AIIMAGE_OSS_ENDPOINT` 改成内网 IP**:那样服务端自己读写快了, - 但签给浏览器直传 PUT 的 URL 会变成 `192.168.0.171:9000`,用户侧上传当场全断。 - 正确形状是"服务端 I/O 用内网 client,预签名用公网入口"两把钥匙分开。 -- **MQ 走私网**:光把 `AIIMAGE_ROCKETMQ_NAME_SERVER` 换成 `192.168.0.170:9876` **不够** —— - broker 注册地址由它自己决定,`broker.conf` 和 `conf/2m-noslave/broker-a.properties` 里都**没有** `brokerIP1`, - 现在 A 能连上公网说明它注册的就是公网可达地址。要真正切私网必须 - ①在 broker 配置里加 `brokerIP1 = 192.168.0.170` 并**重启 broker**,②再把两台 java 的 namesrv 改成私网。 - 风险与收益要一起看:MQ 消息体很小,改它省不了带宽,省的是**"文件流量打满 5 Mbps 时把作业通道一起拖死"的耦合** - (结果文件作业有本地兜底,broker 重启期间任务不会丢,但会退化成同机执行)。 - 这条我**没有自行执行**,因为要重启 broker 且收益属于"削峰耦合"而非"提吞吐",先报数给你拍。 +- **OSS 端点拆分:已上线(提交 `b7ae4478`,两台线上 md5 `02357a89da2100689565319462d9db29`)**。 + 新增 `aiimage.oss.internal-endpoint`(env `AIIMAGE_OSS_INTERNAL_ENDPOINT`,默认空=沿用 `endpoint`, + 所以不带 env 的环境行为与今天完全一致),只给服务端读写的 client 用; + 预签名改用 `public-endpoint` 那张 client,浏览器直传 URL 的 host 不变。 + 生产两台的 env 落在 `/opt/1panel/runtime/java/java-server/.env`(`run.sh` 第 3 行 `source /.env`; + **该文件里 AIIMAGE_* 全是 `export` 形式,不加 export 传不到 java 子进程**), + 写前留了 `.env.bak-2026092809285x`,回滚=删掉那一行再 `docker restart java-server`。 + 启动日志新增一行可直接回读生效值: + `[oss] 服务端读写端点=http://192.168.0.171:9000(预签名端点=https://oss.aishufu.top)`(两台都已打出)。 + 连接方向也已实测翻转:A 的 java netns 里出现 `192.168.0.171:9000`,原先的 `47.110.241.161:443` 消失。 + 副作用两条要记着:对象流量**不再经过 A 的 nginx**(那一层的访问日志看不到了), + 服务端到 MinIO 变成明文 HTTP —— 只在 VPC 内,SigV4 不泄露密钥,可接受。 +- **MQ 走私网:已上线(09:44 改 broker、09:53 改 namesrv,两台都重启过)**。 + **先纠正我上一版的取证错误**:我写"broker.conf 里没有 `brokerIP1`"是查错了文件 —— + 容器里 `/home/rocketmq/rocketmq-5.5.0/conf/broker.conf` 是发行包自带的那份, + broker 实际加载的是 `-c /opt/rocketmq-5.2.0/conf/broker.conf`(bind 自宿主机 + `/opt/1panel/apps/rocketmq/rocketmq/data/broker/conf/broker.conf`),它第 8 行**一直写着** + `brokerIP1=121.196.149.225`。所以注册地址不是自动探测出来的,是 1Panel 装的时候就写死的公网 EIP。 + 动作与回读: + - ① 那行改成 `brokerIP1 = 192.168.0.170`,备份 `broker.conf.bak-20260928094413`, + `docker restart 1Panel-rocketmq-ZnP2-rmqbroker` → `mqadmin clusterList` 第 4 列变 `192.168.0.170:10911`, + 容器 `running / OOM=false`,broker 日志无 error 关键词。**java 不用重启**:客户端每 30 秒刷一次路由表, + 实测改前遗留的那条 `121.196.149.225:10911` 长连接在约 1 分钟后自行消失,换成 `192.168.0.170:10911`(两台都是)。 + - ② namesrv:`AIIMAGE_ROCKETMQ_NAME_SERVER` **不在 `/.env` 里**(`/.env` 只有 7 个 AIIMAGE_ 键, + 其余 34 条来自容器创建期的 `Config.Env`),所以是往 `/.env` **追加**一行 + `export AIIMAGE_ROCKETMQ_NAME_SERVER="192.168.0.170:9876"` 来覆盖(`run.sh` 第 3 行 `source /.env` 晚于容器 env)。 + 两台各留 `.env.bak-…`,`bash -n` 通过。B 先重启验证,A 随后。 + 启动日志可直接回读:`a producer (aiimage-backend-producer) init on namesrv 192.168.0.170:9876`, + consumer 容器 `nameServer='192.168.0.170:9876'`,两台 ERROR 0 / health UP。 + - **一个反复踩到的读值坑**:`docker inspect -f '{{.State.Pid}}'` 拿到的是**入口进程**(`entrypoint.sh` → `bash /run.sh`), + 读它的 `/proc//environ` 只会看到 `Config.Env` 那层的**旧值**,java 是孙进程。 + 要判生效值,读启动日志里那行 `init on namesrv …` 最可靠。 + - **改后的真实消息已回读**(不是只看连接方向):`10:12:07.553` A `mq published jobId=20831 moduleType=PRICE_TRACK` + → `10:12:07.921` B `ConsumeMessageThread_2 … jobId=20831 process success`,**跨机投递耗时约 370ms**; + `10:14:10` 的 `jobId=20832`(BRAND)由 A 自己消费并 `finalized success`;B 近 45 分钟消费 9 条、A 消费 3 条, + **publish failed / 熔断 = 0**。改完后两台到 MQ 的对端**只剩** `192.168.0.170:9876` 与 `:10911`,公网那条彻底没了。 + - 顺带实测到一条**跨机竞争消费本来就是通的**(改前的公网路径上):A `09:03:16 mq published jobId=20828` + → B `09:03:16 ConsumeMessageThread_7 … jobId=20828 process success`,`09:10:57/58` 的 20829 同样。 + 所以 MQ 确实在承载结果文件作业(A 近 12 小时 publish 25 次、两台都有消费线程活动),不是空配置。 + - 收益如我先前判断:省的不是带宽而是**耦合** —— 文件流量打满 5 Mbps 时不再把作业通道一起拖死。 + 重启 A 之前它有 3 个货源作业在 `WAIT_LLM`,重启后 20791/20805/20825 全部继续被 `task-queue-*` 处理, + 等于顺手把今晚上线的**重启续跑语义**在真实负载下验了一遍。 ## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配 @@ -287,6 +344,11 @@ MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 ` - A 上 `0.0.0.0` 监口的有 **3306 / 6379 / 9000 / 18080 / 16890**(B 侧对照过,replica 的 3306 **只在 docker 网络内**, B 对外只有 443)。 +- 再加一条:**nacos 的 8080 / 8848 / 9848 也是 `0.0.0.0`,且服务端鉴权是关的**(详见第二节第 9 条)。 + 这条今晚已经用"停容器"消掉了,但**端口是 docker `-p` 在 iptables 里做的 DNAT,阿里云安全组未必挡得住**: + 1Panel 装的这些 app 一旦哪天被人重新 `docker start`,门就又开了。所以安全组入方向要**明确写上这三个端口拒绝**, + 而不是只靠"现在没容器在听"。 + (停后 8 秒 `tcpdump` 采样里这三个端口已无新 SYNs,历史扫描证据见第 9 条的 access_log 统计。) - 主库账号表里读到的是 `root@%`、`gitea_dpCCcA@%`、`py_Task@%`、`py_Task_test@%` —— 口令猜不出来也不该猜,但"任意来源主机"这个条件意味着**端口收掉之前,这些账号只靠口令守**。 - **收掉公网 3306 不会打断复制**:副本的 `Source_Host` 已经是 `192.168.0.171`(VPC 私网),