From 55d7f2c544a7b27369aa37b4eb4415c4d9a23aa0 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Mon, 28 Sep 2026 10:30:03 +0800 Subject: [PATCH] =?UTF-8?q?docs(=E8=BF=90=E7=BB=B4):=20=E8=A1=A5=20MySQL?= =?UTF-8?q?=20=E7=94=9F=E6=95=88=E5=80=BC=E4=B8=8E=20VPC=20=E5=86=85=20RTT?= =?UTF-8?q?=20=E5=AE=9E=E6=B5=8B=EF=BC=8C=E4=BF=AE=E6=AD=A3=E7=AB=AF?= =?UTF-8?q?=E5=8F=A3=E6=9A=B4=E9=9C=B2=E9=9D=A2=E6=B8=85=E5=8D=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit A 的 MySQL 生效值终于读到(bp=8192MB、命中 99.99994%、连接峰值 45/500), 结论是这台不该再动内存/连接数;A 绑 0.0.0.0 的端口实为 18 个而非 5 个, 四个 redis 口实测均要求鉴权。同时记下一个 ss -ti 字段误读:retrans 抓到的是 bytes_retrans(字节)而非重传次数,内网对象通道 37MB 上传仅 0.11% 字节重传。 --- docs/ops/prod-decisions-2026-09-28.md | 65 ++++++++++++++++++++++----- 1 file changed, 55 insertions(+), 10 deletions(-) diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md index 5b008a4dd..9a511c10d 100644 --- a/docs/ops/prod-decisions-2026-09-28.md +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -118,7 +118,7 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin- 紧急回退仍是一个:`aiimage.security.admin-guard-enabled=false` 会把绑定与原有兜底一起关掉。 若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。 -### 2. 主机A MySQL:`8G` buffer pool 与旧 6 GiB 上限的冲突已按"抬上限"解掉,但**A 的生效值仍是空白** +### 2. 主机A MySQL:`8G` 上限冲突已按"抬上限"解掉,生效值 10:2x 也读到了 —— 结论是这台不用调 `/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `innodb_buffer_pool_size=8G`(instances=8), 容器上限已从 6 GiB 抬到 **10 GiB**(今夜已生效,回读 `memory.limit_in_bytes=10737418240`; @@ -126,13 +126,20 @@ instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin- 两件事没做掉,需要人: -- **A 的实际生效值至今没读到**。08:2x 用容器内 `MYSQL_ROOT_PASSWORD` 连 `mysql -uroot` 得到的是 - `ERROR 1045 (28000): Access denied for user 'root'@'localhost'` —— 也就是宿主机上那份口令**不是**库的口令, - 之前"生效值待确认"这句话没有被推翻,只是换了失败原因。B 侧三台 MySQL 用同样方法读到了 - (replica **1.0000 G**、`gateway-new-mysql-1` 0.1250 G、`1Panel-mysql-elmo` 0.1250 G), - 所以 A 读不到是凭据问题不是方法问题。**下一步**:拿应用账号或运维账号跑一次 - `SELECT @@innodb_buffer_pool_size/1024/1024/1024, @@innodb_buffer_pool_instances`, - 确认 8G 没被截断(replica 那台声明值和生效值就差了一截,说明这个截断是真实存在的)。 +- **A 的生效值 10:2x 读到了**:`bp_mb=8192 / max_conn=500 / lock_wait=50 / ver=8.4.8 / trx_commit=1` + → 8G **没有被截断**,实占 RSS 3.145 GiB(池是懒加载,还没涨满,上限已是 10 GiB 所以涨满也不会被杀)。 + 失败原因确认了:容器里 `MYSQL_ROOT_PASSWORD` 那份**不是库的 root 口令**(`ERROR 1045 … using password: YES`), + 而 `docker exec … sh -c '…$MYSQL_ROOT_PASSWORD…'` 在 Python 侧的单引号里又根本不会展开 —— 两次"读不到"是两回事。 + 读到的这次走的是**业务账号 + `--defaults-extra-file`(容器内 600 权限临时文件,用完 `shred -u`,容器内外各查过 0 残留)**, + 口令全程不落到输出里。顺带确认 `performance_schema` 对 `aiimage_backend` 依旧是 1142 拒(和旧笔记一致), + 但 `SELECT @@…` 和 `SHOW GLOBAL STATUS` 不需要它,所以"读不到生效值"这件事本来就不必等人。 +- **同一批读数说明这台没有可调的点**,别照着"buffer pool 可能太小"去动它: + `Innodb_buffer_pool_read_requests` 53,799,770,917 对 `Innodb_buffer_pool_reads` 31,531 + → **命中 99.99994%**,物理读基本不存在;`Max_used_connections` 历史峰值 **45**(上限 500), + 当前 `Threads_connected=13`、`Threads_running=3`;Hikari 两台各 `max=30 / min-idle=5`(合计 60), + 远没顶到 MySQL 上限;`Innodb_row_lock_waits` 累计 354,326 次但 `time_avg=7ms`。 + 也就是说这台的时间花在**锁的尾部**(本节末那条以及第一版健康评估里的 581 条锁等待统计),不在内存、不在连接数、不在 IO。 + `Aborted_connects` 3,250 与 `TcpExtListenDrops=6` 都是累计值、10 秒窗口内 `TcpRetransSegs` 无增长,不构成信号。 - **docker update 是运行态改动,容器重建就回滚到 6 GiB**。1Panel 的 compose 用的是 `memory: ${MEMORY_LIMIT}`,而 A/B 两台每个应用的 `.env` 里都写着 `MEMORY_LIMIT=0`(0=不限), 说明这个 6 GiB 不在 `.env` 里、是 1Panel 界面/数据库里配的。**要让它扛得住重建,得在 1Panel 控制台把 @@ -338,12 +345,50 @@ MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 ` 重启 A 之前它有 3 个货源作业在 `WAIT_LLM`,重启后 20791/20805/20825 全部继续被 `task-queue-*` 处理, 等于顺手把今晚上线的**重启续跑语义**在真实负载下验了一遍。 +### 4.4 VPC 内的实际延迟与"内网对象通道有没有变差"(10:3x 实测) + +A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻): + +| 对端 | 用途 | rtt | 备注 | +|---|---|---|---| +| `192.168.0.171:3306` | 主库(同机) | 0.033–1.72 ms | minrtt 0.001,本机 | +| `192.168.0.170:16379` | **redis master 在 B** | 0.147–0.319 ms | 哨兵发现的主,A 只留 2 条长连接 | +| `192.168.0.171:9000` | 主 MinIO(内网,今晚新走的路) | 0.334–0.823 ms | 37MB 上传中 `retrans:0/31`、重传字节 41,632/**37,662,303 ≈ 0.11%** | +| `192.168.0.170:9000` | 设备日志 MinIO | 0.28 ms | 累计收 536MB / 发 156MB,`busy 77s`,无重传 | +| `192.168.0.170:9876 / 10911` | namesrv / broker | 0.20–0.63 ms | 今晚切私网后新增 | +| `47.115.192.140:443` | 某个外部 HTTPS 依赖 | **26.1–27.3 ms** | 全场唯一的高 RTT,跨region 出公网 | + +三条结论: + +1. **跨机不是问题**:A→B 的 redis/MQ/设备日志全部 0.15–0.63 ms,比 A 到自己 MySQL 的最差那条(1.72 ms)还低。 + 所以"把 redis 或 MQ 挪回本机"这类改造**没有收益**,不要做。 +2. **今晚切的内网对象通道没有变差**:那条 retrans 数字是我自己读错的产物 —— + 我第一版 awk 用 `retrans:[0-9/]+` 去抓,命中了 `bytes_retrans:1632` 这个**字节**字段, + 看着像 1632 次重传。原始行是 `bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23`, + 即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 `TcpRetransSegs` 在 10 秒窗口里**一次都没涨**。 + 以后从 `ss -ti` 取重传,要么取 `retrans:` 那个字段,要么先把整行贴出来再判。 +3. 唯一值得记的是那个 **26 ms 的公网依赖**:`ss -tni` 里 A 的 java 到 `47.115.192.140:443` 同时有 **4 条 established** + (rtt 0.405 / 26.104 / 26.303 / 27.314 ms,只有一条是刚握完手),是整张表里唯一跳出亚毫秒的。 + 但在近 30 分钟的 java 日志里 grep 这个 IP 是 **0 条**,**所以本次没认出它属于哪个业务调用, + 不下"它就是 LLM 代理"的结论**。下次查外部调用慢时从这条线认领(把 `printenv` 里逐个 URL 值对上去, + 或用 `ss -tnp` 看属主进程再回到代码)。 + ## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配 这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。 -- A 上 `0.0.0.0` 监口的有 **3306 / 6379 / 9000 / 18080 / 16890**(B 侧对照过,replica 的 3306 **只在 docker 网络内**, - B 对外只有 443)。 +- **A 上绑在 `0.0.0.0` 的端口一共 18 个**(10:2x 用 `ss -tln` 重数,之前这里只写了 5 个,是漏的): + `22 / 80 / 443 / 3001 / 3010 / 3306 / 6379 / 8085 / 8089 / 9000 / 9001 / 15126 / 16379 / 16890 / 17248 / 18080 / 26379 / 26739`。 + 其中 `9001` 是 MinIO 控制台、`15126` 是 Flask、`16379/26379/26739/6379` 是 redis 与哨兵, + `3001/3010/8085/8089/17248` 本次**没有逐个认领到具体容器**(别把这条读成"这些都是废弃端口")。 + B 侧对照过:replica 的 3306 **只在 docker 网络内**,B 对外只有 443。 +- **但"端口开着"不等于"能匿名进",这次逐个验了**:A 上有 4 个 redis 容器 + (`shufu-redis-master` 8.6.2、`shufu-redis-sentinel` 7.4.0、`1Panel-redis-NmIe` 8.6.2、`redis_gzpa-redis_GZPa-1` 7.4.0), + 对 `127.0.0.1:6379`、`192.168.0.171:6379`、`127.0.0.1:16379`、`127.0.0.1:26379` 各打一次 `PING`, + **四次都是 `NOAUTH Authentication required.`**,没有一次免口令成功 → 这四个口**不用改**,收端口只是为了不给爆破机会。 + **`26739` 那口(`redis_gzpa-redis_GZPa-1` 映射到宿主 6379)本次没测**,别把上面这句推广到它。 + (顺带纠正:`ss -tln` 会同时列出**共享同一 netns 的容器**的监听口,所以第一版"五个容器都在听 6379"是共享网络的产物, + 真实对外映射只有 `1Panel-redis-NmIe → 6379` 和 `redis_gzpa → 26739` 两条,用 `HostConfig.PortBindings` 才数得准。) - 再加一条:**nacos 的 8080 / 8848 / 9848 也是 `0.0.0.0`,且服务端鉴权是关的**(详见第二节第 9 条)。 这条今晚已经用"停容器"消掉了,但**端口是 docker `-p` 在 iptables 里做的 DNAT,阿里云安全组未必挡得住**: 1Panel 装的这些 app 一旦哪天被人重新 `docker start`,门就又开了。所以安全组入方向要**明确写上这三个端口拒绝**,