docs(运维): 补 MySQL 生效值与 VPC 内 RTT 实测,修正端口暴露面清单
A 的 MySQL 生效值终于读到(bp=8192MB、命中 99.99994%、连接峰值 45/500), 结论是这台不该再动内存/连接数;A 绑 0.0.0.0 的端口实为 18 个而非 5 个, 四个 redis 口实测均要求鉴权。同时记下一个 ss -ti 字段误读:retrans 抓到的是 bytes_retrans(字节)而非重传次数,内网对象通道 37MB 上传仅 0.11% 字节重传。
This commit is contained in:
@@ -118,7 +118,7 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-
|
||||
紧急回退仍是一个:`aiimage.security.admin-guard-enabled=false` 会把绑定与原有兜底一起关掉。
|
||||
若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。
|
||||
|
||||
### 2. 主机A MySQL:`8G` buffer pool 与旧 6 GiB 上限的冲突已按"抬上限"解掉,但**A 的生效值仍是空白**
|
||||
### 2. 主机A MySQL:`8G` 上限冲突已按"抬上限"解掉,生效值 10:2x 也读到了 —— 结论是这台不用调
|
||||
|
||||
`/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `innodb_buffer_pool_size=8G`(instances=8),
|
||||
容器上限已从 6 GiB 抬到 **10 GiB**(今夜已生效,回读 `memory.limit_in_bytes=10737418240`;
|
||||
@@ -126,13 +126,20 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-
|
||||
|
||||
两件事没做掉,需要人:
|
||||
|
||||
- **A 的实际生效值至今没读到**。08:2x 用容器内 `MYSQL_ROOT_PASSWORD` 连 `mysql -uroot` 得到的是
|
||||
`ERROR 1045 (28000): Access denied for user 'root'@'localhost'` —— 也就是宿主机上那份口令**不是**库的口令,
|
||||
之前"生效值待确认"这句话没有被推翻,只是换了失败原因。B 侧三台 MySQL 用同样方法读到了
|
||||
(replica **1.0000 G**、`gateway-new-mysql-1` 0.1250 G、`1Panel-mysql-elmo` 0.1250 G),
|
||||
所以 A 读不到是凭据问题不是方法问题。**下一步**:拿应用账号或运维账号跑一次
|
||||
`SELECT @@innodb_buffer_pool_size/1024/1024/1024, @@innodb_buffer_pool_instances`,
|
||||
确认 8G 没被截断(replica 那台声明值和生效值就差了一截,说明这个截断是真实存在的)。
|
||||
- **A 的生效值 10:2x 读到了**:`bp_mb=8192 / max_conn=500 / lock_wait=50 / ver=8.4.8 / trx_commit=1`
|
||||
→ 8G **没有被截断**,实占 RSS 3.145 GiB(池是懒加载,还没涨满,上限已是 10 GiB 所以涨满也不会被杀)。
|
||||
失败原因确认了:容器里 `MYSQL_ROOT_PASSWORD` 那份**不是库的 root 口令**(`ERROR 1045 … using password: YES`),
|
||||
而 `docker exec … sh -c '…$MYSQL_ROOT_PASSWORD…'` 在 Python 侧的单引号里又根本不会展开 —— 两次"读不到"是两回事。
|
||||
读到的这次走的是**业务账号 + `--defaults-extra-file`(容器内 600 权限临时文件,用完 `shred -u`,容器内外各查过 0 残留)**,
|
||||
口令全程不落到输出里。顺带确认 `performance_schema` 对 `aiimage_backend` 依旧是 1142 拒(和旧笔记一致),
|
||||
但 `SELECT @@…` 和 `SHOW GLOBAL STATUS` 不需要它,所以"读不到生效值"这件事本来就不必等人。
|
||||
- **同一批读数说明这台没有可调的点**,别照着"buffer pool 可能太小"去动它:
|
||||
`Innodb_buffer_pool_read_requests` 53,799,770,917 对 `Innodb_buffer_pool_reads` 31,531
|
||||
→ **命中 99.99994%**,物理读基本不存在;`Max_used_connections` 历史峰值 **45**(上限 500),
|
||||
当前 `Threads_connected=13`、`Threads_running=3`;Hikari 两台各 `max=30 / min-idle=5`(合计 60),
|
||||
远没顶到 MySQL 上限;`Innodb_row_lock_waits` 累计 354,326 次但 `time_avg=7ms`。
|
||||
也就是说这台的时间花在**锁的尾部**(本节末那条以及第一版健康评估里的 581 条锁等待统计),不在内存、不在连接数、不在 IO。
|
||||
`Aborted_connects` 3,250 与 `TcpExtListenDrops=6` 都是累计值、10 秒窗口内 `TcpRetransSegs` 无增长,不构成信号。
|
||||
- **docker update 是运行态改动,容器重建就回滚到 6 GiB**。1Panel 的 compose 用的是
|
||||
`memory: ${MEMORY_LIMIT}`,而 A/B 两台每个应用的 `.env` 里都写着 `MEMORY_LIMIT=0`(0=不限),
|
||||
说明这个 6 GiB 不在 `.env` 里、是 1Panel 界面/数据库里配的。**要让它扛得住重建,得在 1Panel 控制台把
|
||||
@@ -338,12 +345,50 @@ MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `
|
||||
重启 A 之前它有 3 个货源作业在 `WAIT_LLM`,重启后 20791/20805/20825 全部继续被 `task-queue-*` 处理,
|
||||
等于顺手把今晚上线的**重启续跑语义**在真实负载下验了一遍。
|
||||
|
||||
### 4.4 VPC 内的实际延迟与"内网对象通道有没有变差"(10:3x 实测)
|
||||
|
||||
A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻):
|
||||
|
||||
| 对端 | 用途 | rtt | 备注 |
|
||||
|---|---|---|---|
|
||||
| `192.168.0.171:3306` | 主库(同机) | 0.033–1.72 ms | minrtt 0.001,本机 |
|
||||
| `192.168.0.170:16379` | **redis master 在 B** | 0.147–0.319 ms | 哨兵发现的主,A 只留 2 条长连接 |
|
||||
| `192.168.0.171:9000` | 主 MinIO(内网,今晚新走的路) | 0.334–0.823 ms | 37MB 上传中 `retrans:0/31`、重传字节 41,632/**37,662,303 ≈ 0.11%** |
|
||||
| `192.168.0.170:9000` | 设备日志 MinIO | 0.28 ms | 累计收 536MB / 发 156MB,`busy 77s`,无重传 |
|
||||
| `192.168.0.170:9876 / 10911` | namesrv / broker | 0.20–0.63 ms | 今晚切私网后新增 |
|
||||
| `47.115.192.140:443` | 某个外部 HTTPS 依赖 | **26.1–27.3 ms** | 全场唯一的高 RTT,跨region 出公网 |
|
||||
|
||||
三条结论:
|
||||
|
||||
1. **跨机不是问题**:A→B 的 redis/MQ/设备日志全部 0.15–0.63 ms,比 A 到自己 MySQL 的最差那条(1.72 ms)还低。
|
||||
所以"把 redis 或 MQ 挪回本机"这类改造**没有收益**,不要做。
|
||||
2. **今晚切的内网对象通道没有变差**:那条 retrans 数字是我自己读错的产物 ——
|
||||
我第一版 awk 用 `retrans:[0-9/]+` 去抓,命中了 `bytes_retrans:1632` 这个**字节**字段,
|
||||
看着像 1632 次重传。原始行是 `bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23`,
|
||||
即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 `TcpRetransSegs` 在 10 秒窗口里**一次都没涨**。
|
||||
以后从 `ss -ti` 取重传,要么取 `retrans:` 那个字段,要么先把整行贴出来再判。
|
||||
3. 唯一值得记的是那个 **26 ms 的公网依赖**:`ss -tni` 里 A 的 java 到 `47.115.192.140:443` 同时有 **4 条 established**
|
||||
(rtt 0.405 / 26.104 / 26.303 / 27.314 ms,只有一条是刚握完手),是整张表里唯一跳出亚毫秒的。
|
||||
但在近 30 分钟的 java 日志里 grep 这个 IP 是 **0 条**,**所以本次没认出它属于哪个业务调用,
|
||||
不下"它就是 LLM 代理"的结论**。下次查外部调用慢时从这条线认领(把 `printenv` 里逐个 URL 值对上去,
|
||||
或用 `ss -tnp` 看属主进程再回到代码)。
|
||||
|
||||
## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配
|
||||
|
||||
这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。
|
||||
|
||||
- A 上 `0.0.0.0` 监口的有 **3306 / 6379 / 9000 / 18080 / 16890**(B 侧对照过,replica 的 3306 **只在 docker 网络内**,
|
||||
B 对外只有 443)。
|
||||
- **A 上绑在 `0.0.0.0` 的端口一共 18 个**(10:2x 用 `ss -tln` 重数,之前这里只写了 5 个,是漏的):
|
||||
`22 / 80 / 443 / 3001 / 3010 / 3306 / 6379 / 8085 / 8089 / 9000 / 9001 / 15126 / 16379 / 16890 / 17248 / 18080 / 26379 / 26739`。
|
||||
其中 `9001` 是 MinIO 控制台、`15126` 是 Flask、`16379/26379/26739/6379` 是 redis 与哨兵,
|
||||
`3001/3010/8085/8089/17248` 本次**没有逐个认领到具体容器**(别把这条读成"这些都是废弃端口")。
|
||||
B 侧对照过:replica 的 3306 **只在 docker 网络内**,B 对外只有 443。
|
||||
- **但"端口开着"不等于"能匿名进",这次逐个验了**:A 上有 4 个 redis 容器
|
||||
(`shufu-redis-master` 8.6.2、`shufu-redis-sentinel` 7.4.0、`1Panel-redis-NmIe` 8.6.2、`redis_gzpa-redis_GZPa-1` 7.4.0),
|
||||
对 `127.0.0.1:6379`、`192.168.0.171:6379`、`127.0.0.1:16379`、`127.0.0.1:26379` 各打一次 `PING`,
|
||||
**四次都是 `NOAUTH Authentication required.`**,没有一次免口令成功 → 这四个口**不用改**,收端口只是为了不给爆破机会。
|
||||
**`26739` 那口(`redis_gzpa-redis_GZPa-1` 映射到宿主 6379)本次没测**,别把上面这句推广到它。
|
||||
(顺带纠正:`ss -tln` 会同时列出**共享同一 netns 的容器**的监听口,所以第一版"五个容器都在听 6379"是共享网络的产物,
|
||||
真实对外映射只有 `1Panel-redis-NmIe → 6379` 和 `redis_gzpa → 26739` 两条,用 `HostConfig.PortBindings` 才数得准。)
|
||||
- 再加一条:**nacos 的 8080 / 8848 / 9848 也是 `0.0.0.0`,且服务端鉴权是关的**(详见第二节第 9 条)。
|
||||
这条今晚已经用"停容器"消掉了,但**端口是 docker `-p` 在 iptables 里做的 DNAT,阿里云安全组未必挡得住**:
|
||||
1Panel 装的这些 app 一旦哪天被人重新 `docker start`,门就又开了。所以安全组入方向要**明确写上这三个端口拒绝**,
|
||||
|
||||
Reference in New Issue
Block a user