docs(运维): 补中间件三处线上改动与公网/私网带宽实测
Gitea 七笔已推完(a58dc8a6→ff182acd);cgroup 限额与 nginx body 上限的改法、 回滚值和四个取证坑(docker update 须同给 memory-swap、ss 要看容器 netns 且对端在第 5 列、 1Panel 访问日志真实路径)写进已核区,避免下次重新推一遍。 实测公网 5–8 Mbps 对私网约 1 GB/s 差一千倍,据此把剩下的两处公网依赖(OSS 端点回环、 MQ namesrv/broker)列为待改项,并记下 A 侧 3306/6379/9000/18080/16890 对公网开放且 MySQL 账号为 % 通配——收口需人在阿里云安全组操作,其中复制已确认走 VPC,收公网 3306 不断副本。
This commit is contained in:
@@ -23,6 +23,37 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-
|
||||
|
||||
发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。
|
||||
|
||||
### 附:中间件侧今夜已做的三处线上改动(无提交,改的是主机配置,列此便于回滚)
|
||||
|
||||
| 改动 | 机器 / 对象 | 前 → 后 | 回滚 |
|
||||
|---|---|---|---|
|
||||
| cgroup 内存上限抬高 | A `1Panel-mysql-zbja` | 6 GiB → **10 GiB**(实占 3.14 GiB) | `docker update --memory 6442450944 --memory-swap 6442450944 1Panel-mysql-zbja` |
|
||||
| cgroup 内存上限抬高 | B `aiimage-mysql-replica` | 2 GiB → **3 GiB**(实占 1.67 GiB,已到 84%) | 同上,换数值与容器名 |
|
||||
| cgroup 内存上限抬高 | B `shufu-device-logs-minio` | 2 GiB → **3 GiB**(实占 1.82 GiB,已到 **91%**,再涨就是 OOM) | 同上 |
|
||||
| nginx 请求体上限 | B `git.aishufu.top` 站点 server 段 | 继承 http 级 `50m` → 本站 `1024m` | 同目录留了 `.bak-<时间戳>`,`cp` 回去 + `nginx -s reload` |
|
||||
|
||||
三条硬约束,下次改之前先看,否则会踩:
|
||||
|
||||
1. **`docker update --memory` 必须同时给 `--memory-swap`**。只给 `--memory` 且新值大于旧的 swap 上限时,
|
||||
Docker 直接拒绝(`Memory limit should be smaller than already set memoryswap limit`),
|
||||
而这条错误只在 stderr 里 —— 用 `... 2>&1 | sed 's/^/ /'` 或显式打印 `${PIPESTATUS[0]}` 才看得见,
|
||||
写 `&& echo 成功` 会把它吞成一个假成功。改完必须回读
|
||||
`cat /sys/fs/cgroup/memory/docker/<全ID>/memory.limit_in_bytes` 确认真的落地了。
|
||||
2. **改 nginx 要改宿主机侧的 bind mount 源**,不是容器里的路径。容器 `/usr/local/openresty/nginx/conf/conf.d`
|
||||
的源是 `/opt/1panel/www/conf.d`(用 `docker inspect -f '{{range .Mounts}}…'` 拿,别猜)。
|
||||
改完 `nginx -t` 再 `nginx -s reload`(reload 不断连接,无需重启容器)。
|
||||
3. **宿主机层面的 `ss` 看不到容器 netns 里的连接**。今晚"java 没连 MQ""nacos 无人使用"两个结论都由此产生,
|
||||
都是假的;正确姿势是先 `docker inspect -f '{{.State.Pid}}' <容器>` 再 `nsenter -t <pid> -n ss -tn`。
|
||||
另注意 `ss -tn` 的列序是 `State Recv-Q Send-Q Local Peer`,**对端在第 5 列**(我第一版取了 `$4`,
|
||||
统计出来的全是本端端口,看着像"全连到 172.19.0.2",其实是把本地地址当真了)。
|
||||
4. **1Panel 的 openresty 站点访问日志不在 `/usr/local/openresty/nginx/log/`**。按那个路径 zcat 会得到空结果,
|
||||
而空结果和"确实没有 413"长得一模一样。真实位置是容器 `/www/sites/<站点>/log/access.log`
|
||||
(宿主机 `/opt/1panel/www/sites/<站点>/log/`),另有部分服务写 `/dev/stdout`。
|
||||
凡是"某类错误 0 条"的结论,都要**同时报该文件的总行数**自证读到了东西。
|
||||
|
||||
改完的验证:nginx 侧用 60MB 体打 `git.aishufu.top`(127.0.0.1 回环 + `--resolve` 指站点)得到
|
||||
**405 / 0.113s**(进了 Gitea 应用层,说明代理不再拦),对照未改的 devops 站仍是 **413**。
|
||||
|
||||
### 附:健康评估报告第 6 条(外观/货源"静默降级")已核,不必再追
|
||||
|
||||
报告称 `allRowCount` 读失败 `return 0`、`loadAllRowsByBaseId` 读失败返回空,会把期望行数压低造成"假完成"。
|
||||
@@ -85,33 +116,50 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-
|
||||
紧急回退仍是一个:`aiimage.security.admin-guard-enabled=false` 会把绑定与原有兜底一起关掉。
|
||||
若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。
|
||||
|
||||
### 2. 主机A MySQL:`innodb_buffer_pool_size=8G` 与容器上限 6 GiB 冲突
|
||||
### 2. 主机A MySQL:`8G` buffer pool 与旧 6 GiB 上限的冲突已按"抬上限"解掉,但**A 的生效值仍是空白**
|
||||
|
||||
2026-09-28 02:0x 重新读取:`/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `8G`(instances=8),
|
||||
容器 `1Panel-mysql-zbja` 的 `HostConfig.Memory=6442450944`(6 GiB),当前实占 3.14 GiB,
|
||||
宿主机 30 GiB 里还有 19 GiB available。
|
||||
`/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `innodb_buffer_pool_size=8G`(instances=8),
|
||||
容器上限已从 6 GiB 抬到 **10 GiB**(今夜已生效,回读 `memory.limit_in_bytes=10737418240`;
|
||||
实占 3.14 GiB,宿主机 30 GiB 里还有 19 GiB available)→ OOM 悬崖拆除,`8G` 原样保留。
|
||||
|
||||
冲突点:buffer pool 想长到 8G,cgroup 只给 6G,长期会挤压其它内存并可能触发容器 OOM kill。
|
||||
两条路,都需要重启 mysql 容器:
|
||||
两件事没做掉,需要人:
|
||||
|
||||
- 把 `innodb_buffer_pool_size` 降到 `5G`(留 1G 给连接与运维进程),容器上限不动;
|
||||
- 或把容器上限抬到 `10G`(宿主机有余量),`8G` 保留。
|
||||
- **A 的实际生效值至今没读到**。08:2x 用容器内 `MYSQL_ROOT_PASSWORD` 连 `mysql -uroot` 得到的是
|
||||
`ERROR 1045 (28000): Access denied for user 'root'@'localhost'` —— 也就是宿主机上那份口令**不是**库的口令,
|
||||
之前"生效值待确认"这句话没有被推翻,只是换了失败原因。B 侧三台 MySQL 用同样方法读到了
|
||||
(replica **1.0000 G**、`gateway-new-mysql-1` 0.1250 G、`1Panel-mysql-elmo` 0.1250 G),
|
||||
所以 A 读不到是凭据问题不是方法问题。**下一步**:拿应用账号或运维账号跑一次
|
||||
`SELECT @@innodb_buffer_pool_size/1024/1024/1024, @@innodb_buffer_pool_instances`,
|
||||
确认 8G 没被截断(replica 那台声明值和生效值就差了一截,说明这个截断是真实存在的)。
|
||||
- **docker update 是运行态改动,容器重建就回滚到 6 GiB**。1Panel 的 compose 用的是
|
||||
`memory: ${MEMORY_LIMIT}`,而 A/B 两台每个应用的 `.env` 里都写着 `MEMORY_LIMIT=0`(0=不限),
|
||||
说明这个 6 GiB 不在 `.env` 里、是 1Panel 界面/数据库里配的。**要让它扛得住重建,得在 1Panel 控制台把
|
||||
mysql 容器限额改成 10G**(或者按 `MEMORY_LIMIT=10737418240` 写进 `/opt/1panel/apps/mysql/mysql/.env` 后重建容器)。
|
||||
同一条适用于 B 的 `aiimage-mysql-replica`(2G→3G)和 `shufu-device-logs-minio`(2G→3G)。
|
||||
|
||||
**生效值没能读到**:容器内 `mysql -N` 没有可用凭据,只能确认配置文件写的值。动手前用
|
||||
`SELECT @@innodb_buffer_pool_size/1024/1024/1024` 确认实际生效值与是否被截断。
|
||||
|
||||
同机顺带一条:`innodb_lock_wait_timeout` 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条),
|
||||
同机顺带一条(未动):`innodb_lock_wait_timeout` 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条),
|
||||
这个阈值对业务侧的表现需要一并看一眼是否要调。
|
||||
|
||||
### 3. 主机B 的 `aiimage-mysql-replica`:活着,但没有业务在读
|
||||
### 3. 主机B 的 `aiimage-mysql-replica`:取证已补齐(活着、滞后 0 秒),结论是**先别做读分流**
|
||||
|
||||
今晚取证:B 上有 `aiimage-mysql-replica`(mysql:8.4.8,限额 2 GiB,实占 1.67 GiB),
|
||||
**端口只对 docker 网络内可见**(无 `0.0.0.0:3306` 映射),Java 侧数据源仍指向主机A 内网 `192.168.0.171:3306`。
|
||||
08:2x 直读副本状态(`SHOW REPLICA STATUS`):
|
||||
|
||||
它是"列表页大查询 / 报表 / 导出"这类读分流的现成落点,外观与货源的 LLM 阶段只读库、不依赖本地文件,
|
||||
所以分流前提成立。**先补两件取证再决定**:副本是否仍在追主库(`SHOW REPLICA STATUS` 的滞后秒数、
|
||||
是否 `super_read_only`)、以及 A 的瓶颈是否真的落在读上——上一轮慢日志分析的结论是锁等待为主,
|
||||
把读挪走对锁等待无解。
|
||||
```
|
||||
Source_Host: 192.168.0.171 Source_Port: 3306
|
||||
Replica_IO_Running: Yes Replica_SQL_Running: Yes Seconds_Behind_Source: 0
|
||||
生效 innodb_buffer_pool_size = 1.0000 G(限额已 2 GiB → 3 GiB)
|
||||
```
|
||||
|
||||
也就是"追不追主库"这一条已经解决:**在追,滞后 0 秒,而且走的是 VPC 私网 `192.168.0.171`**
|
||||
(这一条顺带把"公网 3306 能不能收掉"的顾虑排掉了,见第五节第 1 条)。
|
||||
|
||||
第二件取证(A 的瓶颈是否落在读上)**答案是否**:上一轮慢日志拆下来锁等待 581 条 vs 大扫描 44 条,
|
||||
把读挪到副本对锁等待无解,只会新增一层"应用要区分读写源"的复杂度和一套副本专属的故障面。
|
||||
`super_read_only` 是否置位**没读到**,真要启用分流前先确认它,否则分流第一天就可能有人往副本写。
|
||||
|
||||
所以本条从"待取证"降级为**已知可用、暂不接入**。触发重新评估的条件写清楚:
|
||||
当慢日志里大扫描/报表类查询占比明显上升,或者要做"导出全量结果"这类一次性大读时,
|
||||
副本是现成落点(外观与货源的 LLM 阶段只读库、不依赖本地文件,分流前提成立)。
|
||||
|
||||
### 4. 软件版本对象的真删开关仍是 dry-run
|
||||
|
||||
@@ -146,26 +194,106 @@ main 代码零调用者)。
|
||||
该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。
|
||||
处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。
|
||||
|
||||
## 三、遗留:本地已上线,Gitea 远端还差 7 个提交
|
||||
### 9. 主机A 的 Nacos:无任何客户端连接,白吃 1.95 GiB
|
||||
|
||||
`git push` 今夜没落库(远端 `master` 仍是 `56913563`;本地依次为
|
||||
`8536ddb3`、`6a82697a`、`15384358`、`2d33f478`、`eaafd502`、`10dec56e`,加上这份文档的收尾一笔)。
|
||||
用 `GIT_CURL_VERBOSE` 定位到的真实原因不是网络慢,而是**认证弹窗在等人**:
|
||||
取证链(两条都是今晚重跑的,不是引用旧笔记):
|
||||
|
||||
```
|
||||
01:58:27 <= Recv header: Www-Authenticate: Basic realm="Gitea"
|
||||
01:58:27 run_command: 'git credential-helper-selector get' ← 弹"选哪个 helper"
|
||||
01:59:57 run_command: 'git credential-manager get' ← 卡了 90 秒后才走到这里
|
||||
- 在 **nacos 容器自己的 netns** 里数 8848 的 established = **0**(`nsenter` 后的结果,
|
||||
避开了宿主机 `ss` 看不见容器网络的那个坑)。它自己只有两条到 `172.22.0.2:7848` 的 gRPC 尾巴。
|
||||
- 容器 `1Panel-nacos-dsLA-standalone`:内存**无上限**、实占 `1.952 GiB`、`restarts=0`。
|
||||
- Java 侧 `env` 里没有任何 `NACOS` 变量,进程 cmdline 里没有 `nacos` 字样。
|
||||
|
||||
也就是说"停掉它能给 A 腾出近 2 GiB"(A 是 MySQL+MinIO+java+redis 那台,正是最紧的一台)。
|
||||
我**没有停**,因为"现在没人连"不等于"没人配置要连":如果哪个服务是按需启动、或者 1Panel 之外还有别的
|
||||
消费方,停了就是它起不来的时候才被发现。要动的话顺序是
|
||||
先 `docker update --memory 512m --memory-swap 512m` 把它的胃口压下去(可逆、立刻见效),
|
||||
观察几天有没有人报"配置中心连不上",确认没人用再 `docker stop` + 取消自启。
|
||||
|
||||
## 三、已解决:Gitea 那 7 个提交推上去了(08:10)
|
||||
|
||||
远端 `master` `56913563 → 7aa9f3df`,回读 `git rev-list --left-right --count origin/master...HEAD` = `0 0`。
|
||||
|
||||
之前"工作站上没有任何可静默使用的凭据"这句话是**假阴性**,成因是 Git Bash 的路径转换把
|
||||
`cmdkey /list` 变成了别的调用(要写 `cmdkey //list`)。实际凭据管理器里早就有
|
||||
`git:https://gitserver@git.aishufu.top`。可用的静默推送咒语:
|
||||
|
||||
```bash
|
||||
GIT_TERMINAL_PROMPT=0 GCM_INTERACTIVE=never GCM_PROVIDER=basic git push origin master
|
||||
```
|
||||
|
||||
工作站上没有任何可静默使用的凭据(`cmdkey /list` 无 git 条目、无 `~/.netrc`、无 `~/.git-credentials`、
|
||||
各仓库 `.git/config` 的 remote URL 均无内嵌凭据),所以非交互推送必然挂在那里等一次人工输入。
|
||||
GCM 会 warn `no such provider 'basic'` 然后回退自动探测 —— **这个 warn 无害、照样成功**,
|
||||
关键是 `GCM_INTERACTIVE=never` 让它不再弹"选哪个 helper"那 90 秒。
|
||||
退出码必须重定向到文件再看:`git push | tail` 拿到的是 `tail` 的 0,不是 git 的。
|
||||
|
||||
三种解法,任选其一即可把这七笔推上去:
|
||||
## 四、今晚新查出来的:两台之间的流量大量走公网,只有 5–8 Mbps
|
||||
|
||||
- 在有界面的终端里手跑一次 `git push origin master`,凭 GCM 弹窗输入;
|
||||
- 先定住 helper、跳过那 90 秒选择弹窗:`git config --global credential.helperselector.selected manager`;
|
||||
- 或在 Gitea 建一个 access token 写进 `~/.netrc`(`machine git.aishufu.top login <user> password <token>`),
|
||||
之后可全程非交互。
|
||||
这是本轮最有价值的一条,因为它解释了一批"莫名其妙慢/超时"的老问题,而且**修它的代价是配置项级别的**。
|
||||
|
||||
推完用这条回读确认:`git rev-list --left-right --count origin/master...HEAD` 应为 `0 0`。
|
||||
### 4.1 实测带宽差(30MB 测试体,08:3x)
|
||||
|
||||
| 路径 | 结果 | 折算 |
|
||||
|---|---|---|
|
||||
| A → A 公网 `https://oss.aishufu.top`(**Java 现在写对象走的就是这条**) | 3.37 MB / 3.45 s | **≈ 0.98 MB/s** |
|
||||
| B → A 公网同一入口 | 3.23 MB / 3.27 s | ≈ 0.99 MB/s |
|
||||
| A → B 公网 `https://download.aishufu.top` | 27.5 MB / 45 s(撞 max-time) | **≈ 0.61 MB/s** |
|
||||
| A → A 私网 `http://192.168.0.171:9000` | 5.5 MB / 0.006 s | ≈ 900 MB/s |
|
||||
| B → A 私网同一入口 | 6.75 MB / 0.009 s | ≈ 750 MB/s |
|
||||
| A/B → B 私网 `http://192.168.0.170:9000` | ≈ 0.009–0.026 s | 1.1–3.5 GB/s |
|
||||
|
||||
路由已确认 `ip route get 47.110.241.161`(在 A 上)= `via 192.168.0.253 dev eth0` ——
|
||||
**发往自己的公网 IP 也要出 VPC 网关绕一圈**,所以"回环"确实吃公网额度。
|
||||
公网与私网差 **约 1000 倍**。
|
||||
|
||||
对上面 A→A 那两行的诚实注脚:服务端提前回了 400,只发出去 3.3MB,样本里含 TCP 慢启动。
|
||||
但该路径 RTT 只有 11 ms(TLS 首字节实测 `connect=0.000705s tls=0.010896s`),
|
||||
11 ms RTT 下慢启动几百毫秒就能爬到几百 MB/s,3.45 s 发 3.37MB 解释不通,
|
||||
而且跨机那条持续 45 s 的 0.61 MB/s 是干净的持续值 —— 结论(公网 ~5–8 Mbps)不受这个瑕疵影响。
|
||||
|
||||
### 4.2 现在还有哪些地址指公网(A 上 java-server 的 env 逐项对过)
|
||||
|
||||
| 配置 | 当前值 | 走公网? |
|
||||
|---|---|---|
|
||||
| `AIIMAGE_OSS_ENDPOINT` / `public-endpoint` | `https://oss.aishufu.top` | **是**,且是 A 指向自己的回环 |
|
||||
| `AIIMAGE_ROCKETMQ_NAME_SERVER` | `121.196.149.225:9876` | **是**,跨机走公网 |
|
||||
| `AIIMAGE_TRANSIENT_STORAGE_ENDPOINT` | `http://192.168.0.170:9000` | 否 |
|
||||
| `AIIMAGE_DEVICE_LOG_OSS_ENDPOINT` | `http://192.168.0.170:9610` | 否 |
|
||||
| `AIIMAGE_REDIS_HOST` | `192.168.0.172` | 否 |
|
||||
| `AIIMAGE_DB_URL` | `192.168.0.171:3306` | 否 |
|
||||
|
||||
副本复制也已经在私网(`Source_Host: 192.168.0.171`)。所以**剩下的公网依赖只有两处:OSS 端点和 MQ namesrv**。
|
||||
|
||||
MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `47.110.241.161`(A 的公网 IP)的 established 连接,
|
||||
也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。
|
||||
|
||||
### 4.3 两处改法(一条需要人配合,一条纯配置)
|
||||
|
||||
- **OSS 端点拆分**(代码改动,已在做):`endpoint` 与 `public-endpoint` 现在是同一个域名,
|
||||
而 `OssStorageService` 刻意让它们一致 —— 预签名 URL 的主机名必须等于浏览器能到达的反代入口
|
||||
(见 `OssStorageService.java:136` 的注释、`:765-766` 的 `firstNonBlank(publicEndpoint, endpoint)` 回退)。
|
||||
所以**不能简单把 `AIIMAGE_OSS_ENDPOINT` 改成内网 IP**:那样服务端自己读写快了,
|
||||
但签给浏览器直传 PUT 的 URL 会变成 `192.168.0.171:9000`,用户侧上传当场全断。
|
||||
正确形状是"服务端 I/O 用内网 client,预签名用公网入口"两把钥匙分开。
|
||||
- **MQ 走私网**:光把 `AIIMAGE_ROCKETMQ_NAME_SERVER` 换成 `192.168.0.170:9876` **不够** ——
|
||||
broker 注册地址由它自己决定,`broker.conf` 和 `conf/2m-noslave/broker-a.properties` 里都**没有** `brokerIP1`,
|
||||
现在 A 能连上公网说明它注册的就是公网可达地址。要真正切私网必须
|
||||
①在 broker 配置里加 `brokerIP1 = 192.168.0.170` 并**重启 broker**,②再把两台 java 的 namesrv 改成私网。
|
||||
风险与收益要一起看:MQ 消息体很小,改它省不了带宽,省的是**"文件流量打满 5 Mbps 时把作业通道一起拖死"的耦合**
|
||||
(结果文件作业有本地兜底,broker 重启期间任务不会丢,但会退化成同机执行)。
|
||||
这条我**没有自行执行**,因为要重启 broker 且收益属于"削峰耦合"而非"提吞吐",先报数给你拍。
|
||||
|
||||
## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配
|
||||
|
||||
这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。
|
||||
|
||||
- A 上 `0.0.0.0` 监口的有 **3306 / 6379 / 9000 / 18080 / 16890**(B 侧对照过,replica 的 3306 **只在 docker 网络内**,
|
||||
B 对外只有 443)。
|
||||
- 主库账号表里读到的是 `root@%`、`gitea_dpCCcA@%`、`py_Task@%`、`py_Task_test@%` ——
|
||||
口令猜不出来也不该猜,但"任意来源主机"这个条件意味着**端口收掉之前,这些账号只靠口令守**。
|
||||
- **收掉公网 3306 不会打断复制**:副本的 `Source_Host` 已经是 `192.168.0.171`(VPC 私网),
|
||||
这是本条里唯一"已经确认可以安全收"的部分,我提前把它验掉了。
|
||||
- 同类:18080 是 Java 的 actuator + 业务端口直连公网,所以第七节里"要不要暴露 `/actuator/prometheus`"
|
||||
的前提是先把它从公网收掉;9000 是主 MinIO 裸口,公网可直接打 S3 请求。
|
||||
- 建议动作(一次性、可回滚):阿里云安全组把 A 的入方向限制为 **仅 443(+ 运维来源 IP 的 SSH)**,
|
||||
先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。
|
||||
VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 ——
|
||||
今晚已实测三个私网地址全通。
|
||||
|
||||
Reference in New Issue
Block a user