Files
crawler-plugin/docs/ops/prod-decisions-2026-09-28.md
T
huangzd1997 6d53fd6e6e docs(运维): 把 env 三层读值坑补成可复跑配方(含 11:1x 三层实测值)
收尾体检时用 pgrep 拿到 java 子进程 PID 回读,确认 /.env 的两行覆盖真吃到了:
Config.Env 与容器入口进程 environ 都还是公网 121.196.149.225:9876,只有 java 子进程是
192.168.0.170:9876 —— 原因是 /proc/pid/environ 只反映最后一次 execve,shell 之后 source
不回写。顺带记下一条禁令:不要用 docker exec 手工起服务,那条路会绕过 run.sh 退回公网值。
2026-09-28 10:48:59 +08:00

36 KiB
Raw Blame History

生产待人工决策清单(2026-09-28 夜)

本轮已上线的改动列在第一节,后面每一条都是代码里做不掉、需要人拍一次的动作。 条目按"建议处理顺序"排,不按发现顺序。

一、今夜已完成(无需再决策,列出便于核对)

提交 改动 状态
8536ddb3 外观专利行重发加轮次上限,超限就地判失败并写明原因 已上线
6a82697a MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min 已上线
2d33f478 用户态接口的 user_id 归属改由令牌身份判定(只绑定、暂不要求凭据) 已上线
10dec56e 外观专利:完成标记只打在真正落库的行上(少回的行撤销重发) 已上线

线上产物:162,590,216 B / md5 b834d489c8640fd1f6cc9d51238f4606,两台一致。 (今夜此前两版:e97fd273473db849b705a766b7b505c7 → e0854c23cc99344a6ddadbf2019e08bf。) 发版后回读(重启后 5–15 分钟窗口,A 4780 行 / B 530 行日志):健康 200、Flyway 137 up to date、 instanceId server-110/server-121、ERROR 0 条、绑定 403 0 条、[admin-guard] rejected 0 条、 重发轮次已达上限 0 条(无误杀)、本批结果未全部落库 0 条。 A 上重启时确有一批外观 LLM 在飞(03:15:36 发出 5 品请求),03:20:52 该任务 llm batch done taskId=29447 jobId=20802 rows=10 —— 中断后自行续跑并交付了一批, 本轮未出现开机自回收日志(ready 时没有心跳已停的遗留 RUNNING,属正常分支)。

发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。

附:中间件侧今夜已做的五处线上改动(改的是主机配置,列此便于回滚;④⑤另有代码/提交)

改动 机器 / 对象 前 → 后 回滚
cgroup 内存上限抬高 A 1Panel-mysql-zbja 6 GiB → 10 GiB(实占 3.14 GiB) docker update --memory 6442450944 --memory-swap 6442450944 1Panel-mysql-zbja
cgroup 内存上限抬高 B aiimage-mysql-replica 2 GiB → 3 GiB(实占 1.67 GiB,已到 84%) 同上,换数值与容器名
cgroup 内存上限抬高 B shufu-device-logs-minio 2 GiB → 3 GiB(实占 1.82 GiB,已到 91%,再涨就是 OOM) 同上
nginx 请求体上限 B git.aishufu.top 站点 server 段 继承 http 级 50m → 本站 1024m 同目录留了 .bak-<时间戳>,cp 回去 + nginx -s reload
OSS 端点拆分 两台 /.env + jar(提交 b7ae4478) 服务端读写:公网域名 → http://192.168.0.171:9000;预签名仍公网 删 /.env 里 AIIMAGE_OSS_INTERNAL_ENDPOINT 那行(有 .bak-…)+ 重启 java
RocketMQ 走私网 B broker.conf + 两台 /.env brokerIP1 公网 EIP → 192.168.0.170;namesrv 追加覆盖为 192.168.0.170:9876 各自 .bak-20260928094413 / .bak-… 复原 + docker restart 1Panel-rocketmq-ZnP2-rmqbroker、docker restart java-server

三条硬约束,下次改之前先看,否则会踩:

  1. docker update --memory 必须同时给 --memory-swap。只给 --memory 且新值大于旧的 swap 上限时, Docker 直接拒绝(Memory limit should be smaller than already set memoryswap limit), 而这条错误只在 stderr 里 —— 用 ... 2>&1 | sed 's/^/ /' 或显式打印 ${PIPESTATUS[0]} 才看得见, 写 && echo 成功 会把它吞成一个假成功。改完必须回读 cat /sys/fs/cgroup/memory/docker/<全ID>/memory.limit_in_bytes 确认真的落地了。
  2. 改 nginx 要改宿主机侧的 bind mount 源,不是容器里的路径。容器 /usr/local/openresty/nginx/conf/conf.d 的源是 /opt/1panel/www/conf.d(用 docker inspect -f '{{range .Mounts}}…' 拿,别猜)。 改完 nginx -t 再 nginx -s reload(reload 不断连接,无需重启容器)。
  3. 宿主机层面的 ss 看不到容器 netns 里的连接。今晚"java 没连 MQ""nacos 无人使用"两个结论都由此产生, 都是假的;正确姿势是先 docker inspect -f '{{.State.Pid}}' <容器> 再 nsenter -t <pid> -n ss -tn。 另注意 ss -tn 的列序是 State Recv-Q Send-Q Local Peer,对端在第 5 列(我第一版取了 $4, 统计出来的全是本端端口,看着像"全连到 172.19.0.2",其实是把本地地址当真了)。
  4. 1Panel 的 openresty 站点访问日志不在 /usr/local/openresty/nginx/log/。按那个路径 zcat 会得到空结果, 而空结果和"确实没有 413"长得一模一样。真实位置是容器 /www/sites/<站点>/log/access.log (宿主机 /opt/1panel/www/sites/<站点>/log/),另有部分服务写 /dev/stdout。 凡是"某类错误 0 条"的结论,都要同时报该文件的总行数自证读到了东西。

改完的验证:nginx 侧用 60MB 体打 git.aishufu.top(127.0.0.1 回环 + --resolve 指站点)得到 405 / 0.113s(进了 Gitea 应用层,说明代理不再拦),对照未改的 devops 站仍是 413。

附:健康评估报告第 6 条(外观/货源"静默降级")已核,不必再追

报告称 allRowCount 读失败 return 0、loadAllRowsByBaseId 读失败返回空,会把期望行数压低造成"假完成"。 逐个调用点读完后的结论是不成立,记录在此免得再查一遍:

  • allRowCount 的返回值只喂两处:FileResultEntity.row_count(列表页显示的"共 N 条")和进度分母。 两处都写了"0 不覆盖已有非零值"(finalizeTask 的 rowCount > 0 ? rowCount : result.getRowCount()、 货源 resolvePythonUploadProgress 的 totalRows <= 0 && uploadedRows > 0 兜底), 而 createResultRecordForAssembly 的兜底分支自己会重读载荷,读不动时异常照常上抛。 没有任何成功/失败判定吃这个数。
  • 真正的完成判定是 validateCompleteLlmCoverage,它的分母来自 assembleResultWorkbook 里 不带 try/catch 的 readParsedPayload(task)——载荷坏了会直接抛,不会静按 0 行放行; 覆盖率低于 llm-coverage-min-ratio(默认 0.5)时抛"LLM 结果不完整"。
  • loadAllRowsByBaseId 返回空只影响 expandRows 的同组兄弟回填,不影响发不发检测 (候选行来自分片自身的 readChunkRows),落库匹配也不看它。所以后果是"兄弟行各发一次、多扣几次", 而不是丢行。
  • 顺着这条链查到的是另一个口子,已在 10dec56e 修掉:整批完成标记此前不区分"结果有没有真的写进分片"。

二、需人工决策

1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据"

现状(今晚重新取证,非引用旧笔记):

  • 数据归属由请求参数 user_id 决定:controller 层共 19 个文件出现 user_id,其中只有 2 个文件里 出现过任何身份调用(requireUser / requireUserOrInternal / currentUser)。这是文件级统计, 端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。
  • aiimage.security.user-tool-guard-enabled 默认 false,生产未覆盖 → query-asin / similar-asin / appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。
  • 桌面客户端 app_client 对这 14 个前缀共 15 个调用文件,其中只有 4 个文件里出现过任何凭据头 (collect-data 2、price-track 1、shop-match 1)。文件级统计是上界——同一文件里也可能只有一部分 请求带抬头。
  • AdminApiGuardFilterTest(HEAD 版,20 个用例)对当前代码全绿。

两个可分开的动作:

动作 效果 代价 状态
A. 绑定:请求带 JWT 时,校验 user_id 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 已登录用户不能再互相冒读,19 个 controller 文件不用逐个改 对匿名与内部令牌调用零影响 已实现(见下"绑定的落地依据")
B. 要求凭据:把上述前缀纳入兜底鉴权(开关置 true) 未登录直接 401 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 等客户端普遍携带凭据之后再开

绑定的落地依据(今晚逐条查证,不是推断):

  • 角色词汇表只有三态:DeviceSessionPolicy.resolveRole 只会返回 super_admin / admin / null, 没有第三种"员工"角色;生产 users 表 135 个账号分布为 normal 子账号 120、admin 子账号 13、 admin 1、super_admin 1 → 管理员豁免面闭合。
  • 网页端 getCurrentUserId() 读 localStorage['uid'],而 uid 由登录响应 data.userId 写入; AuthService.buildResult 里 vo.setUserId(user.getId()) 与 jwtService.issue(user.getId(), …) 同源 → 诚实客户端的参数恒等于令牌主体,正常用户不会撞 403。
  • frontend-vue 各 tab 一律传 getCurrentUserId() / uidForStorage();只有 admin-frontend-vue 传任意 user_id,而它是管理员身份 → 落在豁免里。
  • 带凭据的 4 个桌面模块(price_match_new / search_spider / tool / log_uploader)用的都是 X-Internal-Token,在 shouldNotFilter 里由 isTrustedInternalToken 提前整体放行,不参与绑定。
  • 实现范围刻意收窄到 USER_TOOL_PREFIXES:/api/admin、/debug、自助接口仍只做"有没有身份", 不做参数比对,避免误伤后台里合法传他人 id 的流程。
  • 代价:每个带 user_id 的用户态请求会多走一次 requireUserOrInternal。匿名请求在 resolveToken 处即抛 BusinessException(未登录)返回,不查库,但会构造一个带栈异常。按现网这个接口的 轮询频率,量级可忽略,若日后要省掉,可加"仅在带了凭据线索时才解析"的短路。

紧急回退仍是一个:aiimage.security.admin-guard-enabled=false 会把绑定与原有兜底一起关掉。 若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。

2. 主机A MySQL:8G 上限冲突已按"抬上限"解掉,生效值 10:2x 也读到了 —— 结论是这台不用调

/opt/1panel/apps/mysql/mysql/conf/my.cnf 写 innodb_buffer_pool_size=8G(instances=8), 容器上限已从 6 GiB 抬到 10 GiB(今夜已生效,回读 memory.limit_in_bytes=10737418240; 实占 3.14 GiB,宿主机 30 GiB 里还有 19 GiB available)→ OOM 悬崖拆除,8G 原样保留。

两件事没做掉,需要人:

  • A 的生效值 10:2x 读到了:bp_mb=8192 / max_conn=500 / lock_wait=50 / ver=8.4.8 / trx_commit=1 → 8G 没有被截断,实占 RSS 3.145 GiB(池是懒加载,还没涨满,上限已是 10 GiB 所以涨满也不会被杀)。 失败原因确认了:容器里 MYSQL_ROOT_PASSWORD 那份不是库的 root 口令(ERROR 1045 … using password: YES), 而 docker exec … sh -c '…$MYSQL_ROOT_PASSWORD…' 在 Python 侧的单引号里又根本不会展开 —— 两次"读不到"是两回事。 读到的这次走的是业务账号 + --defaults-extra-file(容器内 600 权限临时文件,用完 shred -u,容器内外各查过 0 残留), 口令全程不落到输出里。顺带确认 performance_schema 对 aiimage_backend 依旧是 1142 拒(和旧笔记一致), 但 SELECT @@… 和 SHOW GLOBAL STATUS 不需要它,所以"读不到生效值"这件事本来就不必等人。
  • 同一批读数说明这台没有可调的点,别照着"buffer pool 可能太小"去动它: Innodb_buffer_pool_read_requests 53,799,770,917 对 Innodb_buffer_pool_reads 31,531 → 命中 99.99994%,物理读基本不存在;Max_used_connections 历史峰值 45(上限 500), 当前 Threads_connected=13、Threads_running=3;Hikari 两台各 max=30 / min-idle=5(合计 60), 远没顶到 MySQL 上限;Innodb_row_lock_waits 累计 354,326 次但 time_avg=7ms。 也就是说这台的时间花在锁的尾部(本节末那条以及第一版健康评估里的 581 条锁等待统计),不在内存、不在连接数、不在 IO。 Aborted_connects 3,250 与 TcpExtListenDrops=6 都是累计值、10 秒窗口内 TcpRetransSegs 无增长,不构成信号。
  • docker update 是运行态改动,容器重建就回滚到 6 GiB。1Panel 的 compose 用的是 memory: ${MEMORY_LIMIT},而 A/B 两台每个应用的 .env 里都写着 MEMORY_LIMIT=0(0=不限), 说明这个 6 GiB 不在 .env 里、是 1Panel 界面/数据库里配的。要让它扛得住重建,得在 1Panel 控制台把 mysql 容器限额改成 10G(或者按 MEMORY_LIMIT=10737418240 写进 /opt/1panel/apps/mysql/mysql/.env 后重建容器)。 同一条适用于 B 的 aiimage-mysql-replica(2G→3G)和 shufu-device-logs-minio(2G→3G)。

同机顺带一条(未动):innodb_lock_wait_timeout 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条), 这个阈值对业务侧的表现需要一并看一眼是否要调。

3. 主机B 的 aiimage-mysql-replica:取证已补齐(活着、滞后 0 秒),结论是先别做读分流

08:2x 直读副本状态(SHOW REPLICA STATUS):

Source_Host: 192.168.0.171   Source_Port: 3306
Replica_IO_Running: Yes      Replica_SQL_Running: Yes   Seconds_Behind_Source: 0
生效 innodb_buffer_pool_size = 1.0000 G(限额已 2 GiB → 3 GiB)

也就是"追不追主库"这一条已经解决:在追,滞后 0 秒,而且走的是 VPC 私网 192.168.0.171 (这一条顺带把"公网 3306 能不能收掉"的顾虑排掉了,见第五节第 1 条)。

第二件取证(A 的瓶颈是否落在读上)答案是否:上一轮慢日志拆下来锁等待 581 条 vs 大扫描 44 条, 把读挪到副本对锁等待无解,只会新增一层"应用要区分读写源"的复杂度和一套副本专属的故障面。 super_read_only 是否置位没读到,真要启用分流前先确认它,否则分流第一天就可能有人往副本写。

所以本条从"待取证"降级为已知可用、暂不接入。触发重新评估的条件写清楚: 当慢日志里大扫描/报表类查询占比明显上升,或者要做"导出全量结果"这类一次性大读时, 副本是现成落点(外观与货源的 LLM 阶段只读库、不依赖本地文件,分流前提成立)。

4. 软件版本对象的真删开关仍是 dry-run

aiimage.software-version.retention-dry-run 默认 true(只记日志不删对象)。要启用真删, 先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。

5. V137 的 20 个冗余索引还只是 INVISIBLE

V137 只把它们置为不可见,观察 1~2 周慢日志无退化后要追加 V138 执行 DROP,否则索引仍占空间、 仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。

6. 后台「LLM 使用」的次数口径变了,要提前打招呼

外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,统计次数约掉到 1/6.7。 这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多 (约 30–45%),且走的是用户自己的 apiKey 额度。

7. 监控指标:端点根本不存在,告警无从挂起

backend-java/pom.xml 只有 spring-boot-starter-actuator,没有 micrometer-registry-prometheus; 线上 GET 127.0.0.1:18080/actuator/prometheus = 404,/actuator 只列 health。 仓库里那 49 个 aiimage.* 指标名从未被任何面板抓到过(TaskObservabilityMetrics 无 @Component、 main 代码零调用者)。

要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 18080 在主机A 是公网直连, 一旦暴露 /actuator/prometheus 就等于公网可读的运行指标,需要同步把它从公网收掉 (只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的 taskId= / stage= / jobId= / costMs= / moduleType= 字段做告警。

8. backend/config.py 里的平台自身明文凭据

该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。 处置是轮换 + 改走 env + 清历史,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。

9. 主机A 的 Nacos:10:13 已停 —— 不只是白吃 2 GiB,它是"鉴权关闭 + 端口对公网开"

取证链(两条都是今晚重跑的,不是引用旧笔记):

  • 在 nacos 容器自己的 netns 里数 8848 的 established = 0(nsenter 后的结果, 避开了宿主机 ss 看不见容器网络的那个坑)。它那两条 ESTAB 的对端是 172.22.0.2 —— 就是它自己的容器 IP(nacos_default 这个网络里只有 nacos 一个成员,7848 是它自己的 raft 口), 所以是自我连接,不是客户端。
  • Java 侧 env 里没有任何 NACOS 变量(键数 0),进程 cmdline 里没有 nacos 字样; 两台挂载的 /app/application-server.yml(271 行)里 nacos 出现 0 次;仓库里除了本文档也没有 nacos 引用。
  • 宿主机 ss -tn 到 8848/9848 命中 0 条(A 与 B 都查了)。

改前漏看、这次补上的一条(比内存更要紧):

  • docker port 显示 8080 / 8848 / 9848 全部绑在 0.0.0.0,而 HostConfig.Memory=0(无上限)。
  • 容器里 NACOS_AUTH_ENABLE=false、nacos.core.auth.enabled=false(同一文件里 nacos.core.auth.admin.enabled=true、console.enabled=true 是 2.3+/3.x 的分层开关,还开着)。
  • access_log 里近 14 天净是外部扫描:GET /nacos/v1/cs/configs?...search=blur&pageSize=1000&tenant=*(配置全量导出的招牌探测)、 GET /nacos/v1/auth/users?pageNo=1&pageSize=9、还有伪造 User-Agent: Nacos-Server 的请求(就是那个老 bypass), 来源是 40 个互不相干的公网 IP,curl/python-requests/浏览器 UA 混杂,没有一条来自两台内网地址。
  • 没有证据表明被读到过东西:nacos/v1* 相关请求近 14 天共 73 条,状态码是 70 条 500 + 3 条 404,0 条 2xx。 镜像是 nacos/nacos-server:v3.2.1,v1 的这批接口在它上面本就不存在,所以探测全落在错误上。 (别把这句读成"安全":500 而不是 401 也说明服务端确实没在鉴权,只是没有对应的接口可打。)

动作(10:13,可一条命令回滚):docker stop 1Panel-nacos-dsLA-standalone。 回滚 = docker start 1Panel-nacos-dsLA-standalone。效果与验证:

  • A 的 MemUsed 10 GiB → 8 GiB、available 20 → 22 GiB。
  • 停后 60 秒:java health=200、近 2 分钟 ERROR 0 条(该窗口日志 423 行,自证读到了东西)、 货源作业 [task-file-job] … jobId=20805 stage=WAIT_LLM 照常推进。
  • 数据没动:/opt/1panel/apps/nacos/nacos/data/data 2.1G(derby-data 建自 5-14,7-29 还在写), 所以哪天要用,起来还是原来那套;别顺手删容器或 app 目录。

我选"停"而不是原计划的"压到 512m",理由有两个,都写在这儿免得下次重判: ①它的 JVM 是 -Xms2g -Xmx2g -Xmn1g 且容器无限额,压到 512m 会当场被 cgroup 杀掉, 要降必须先改 JVM_XMS/JVM_XMX 并重启它 —— 那和停掉的成本一样,收益却小得多; ②停掉同时消掉了 8848/9848/8080 这个对公网开的无鉴权面,压内存只解决钱不解决门。

遗留给人拍板的:如果确认这套 nacos 以后也不用于服务发现,就在 1Panel 里把它卸载或至少改成只绑 127.0.0.1, 并把 §五 的安全组清单加上这三个端口。

三、已解决:Gitea 那 7 个提交推上去了(08:10)

远端 master 56913563 → 7aa9f3df,回读 git rev-list --left-right --count origin/master...HEAD = 0 0。

之前"工作站上没有任何可静默使用的凭据"这句话是假阴性,成因是 Git Bash 的路径转换把 cmdkey /list 变成了别的调用(要写 cmdkey //list)。实际凭据管理器里早就有 git:https://gitserver@git.aishufu.top。可用的静默推送咒语:

GIT_TERMINAL_PROMPT=0 GCM_INTERACTIVE=never GCM_PROVIDER=basic git push origin master

GCM 会 warn no such provider 'basic' 然后回退自动探测 —— 这个 warn 无害、照样成功, 关键是 GCM_INTERACTIVE=never 让它不再弹"选哪个 helper"那 90 秒。 退出码必须重定向到文件再看:git push | tail 拿到的是 tail 的 0,不是 git 的。

四、今晚新查出来的:两台之间的流量大量走公网,只有 5–8 Mbps

这是本轮最有价值的一条,因为它解释了一批"莫名其妙慢/超时"的老问题,而且修它的代价是配置项级别的。

4.1 实测带宽差(30MB 测试体,08:3x)

路径 结果 折算
A → A 公网 https://oss.aishufu.top(Java 现在写对象走的就是这条) 3.37 MB / 3.45 s ≈ 0.98 MB/s
B → A 公网同一入口 3.23 MB / 3.27 s ≈ 0.99 MB/s
A → B 公网 https://download.aishufu.top 27.5 MB / 45 s(撞 max-time) ≈ 0.61 MB/s
A → A 私网 http://192.168.0.171:9000 5.5 MB / 0.006 s ≈ 900 MB/s
B → A 私网同一入口 6.75 MB / 0.009 s ≈ 750 MB/s
A/B → B 私网 http://192.168.0.170:9000 ≈ 0.009–0.026 s 1.1–3.5 GB/s

路由已确认 ip route get 47.110.241.161(在 A 上)= via 192.168.0.253 dev eth0 —— 发往自己的公网 IP 也要出 VPC 网关绕一圈,所以"回环"确实吃公网额度。 公网与私网差 约 1000 倍。

对上面 A→A 那两行的诚实注脚:服务端提前回了 400,只发出去 3.3MB,样本里含 TCP 慢启动。 但该路径 RTT 只有 11 ms(TLS 首字节实测 connect=0.000705s tls=0.010896s), 11 ms RTT 下慢启动几百毫秒就能爬到几百 MB/s,3.45 s 发 3.37MB 解释不通, 而且跨机那条持续 45 s 的 0.61 MB/s 是干净的持续值 —— 结论(公网 ~5–8 Mbps)不受这个瑕疵影响。

4.2 现在还有哪些地址指公网(A 上 java-server 的 env 逐项对过)

配置 当前值 走公网?
AIIMAGE_OSS_ENDPOINT / public-endpoint https://oss.aishufu.top 是,且是 A 指向自己的回环
AIIMAGE_ROCKETMQ_NAME_SERVER 121.196.149.225:9876 是,跨机走公网
AIIMAGE_TRANSIENT_STORAGE_ENDPOINT http://192.168.0.170:9000 否
AIIMAGE_DEVICE_LOG_OSS_ENDPOINT http://192.168.0.170:9610 否
AIIMAGE_REDIS_HOST 192.168.0.172 否
AIIMAGE_DB_URL 192.168.0.171:3306 否

副本复制也已经在私网(Source_Host: 192.168.0.171)。所以剩下的公网依赖只有两处:OSS 端点和 MQ namesrv。

MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 47.110.241.161(A 的公网 IP)的 established 连接, 也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。

4.3 两处改法(一条已做完,一条需要人配合)

  • OSS 端点拆分:已上线(提交 b7ae4478,两台线上 md5 02357a89da2100689565319462d9db29)。 新增 aiimage.oss.internal-endpoint(env AIIMAGE_OSS_INTERNAL_ENDPOINT,默认空=沿用 endpoint, 所以不带 env 的环境行为与今天完全一致),只给服务端读写的 client 用; 预签名改用 public-endpoint 那张 client,浏览器直传 URL 的 host 不变。 生产两台的 env 落在 /opt/1panel/runtime/java/java-server/.env(run.sh 第 3 行 source /.env; 该文件里 AIIMAGE_ 全是 export 形式,不加 export 传不到 java 子进程*), 写前留了 .env.bak-2026092809285x,回滚=删掉那一行再 docker restart java-server。 启动日志新增一行可直接回读生效值: [oss] 服务端读写端点=http://192.168.0.171:9000(预签名端点=https://oss.aishufu.top)(两台都已打出)。 连接方向也已实测翻转:A 的 java netns 里出现 192.168.0.171:9000,原先的 47.110.241.161:443 消失。 副作用两条要记着:对象流量不再经过 A 的 nginx(那一层的访问日志看不到了), 服务端到 MinIO 变成明文 HTTP —— 只在 VPC 内,SigV4 不泄露密钥,可接受。
  • MQ 走私网:已上线(09:44 改 broker、09:53 改 namesrv,两台都重启过)。 先纠正我上一版的取证错误:我写"broker.conf 里没有 brokerIP1"是查错了文件 —— 容器里 /home/rocketmq/rocketmq-5.5.0/conf/broker.conf 是发行包自带的那份, broker 实际加载的是 -c /opt/rocketmq-5.2.0/conf/broker.conf(bind 自宿主机 /opt/1panel/apps/rocketmq/rocketmq/data/broker/conf/broker.conf),它第 8 行一直写着 brokerIP1=121.196.149.225。所以注册地址不是自动探测出来的,是 1Panel 装的时候就写死的公网 EIP。 动作与回读:
    • ① 那行改成 brokerIP1 = 192.168.0.170,备份 broker.conf.bak-20260928094413, docker restart 1Panel-rocketmq-ZnP2-rmqbroker → mqadmin clusterList 第 4 列变 192.168.0.170:10911, 容器 running / OOM=false,broker 日志无 error 关键词。java 不用重启:客户端每 30 秒刷一次路由表, 实测改前遗留的那条 121.196.149.225:10911 长连接在约 1 分钟后自行消失,换成 192.168.0.170:10911(两台都是)。
    • ② namesrv:AIIMAGE_ROCKETMQ_NAME_SERVER 不在 /.env 里(/.env 只有 7 个 AIIMAGE_ 键, 其余 34 条来自容器创建期的 Config.Env),所以是往 /.env 追加一行 export AIIMAGE_ROCKETMQ_NAME_SERVER="192.168.0.170:9876" 来覆盖(run.sh 第 3 行 source /.env 晚于容器 env)。 两台各留 .env.bak-…,bash -n 通过。B 先重启验证,A 随后。 启动日志可直接回读:a producer (aiimage-backend-producer) init on namesrv 192.168.0.170:9876, consumer 容器 nameServer='192.168.0.170:9876',两台 ERROR 0 / health UP。
    • 一个反复踩到的读值坑:docker inspect -f '{{.State.Pid}}' 拿到的是入口进程(entrypoint.sh → bash /run.sh), 读它的 /proc/<pid>/environ 只会看到 Config.Env 那层的旧值,java 是孙进程。 /proc/<pid>/environ 只反映该进程最后一次 execve 时的环境,shell 之后 source /.env 的内容不会回写进去 —— 所以读覆盖后的真值要在宿主机上 JP=$(pgrep -f 'aiimage-backend.*jar' | head -1),再 tr '\0' '\n' < /proc/$JP/environ | grep AIIMAGE_ROCKETMQ。 11:1x 用这条把同一个键的三层读全了(两台结果一致): Config.Env = 121.196.149.225:9876(创建期旧值)→ 入口进程 environ = 同上旧值(这就是那个假象的来源)→ java 子进程 environ = 192.168.0.170:9876(真值,/.env 的 export 赢了,因为 source 发生在 java 启动之前)。 两条推论:① 判生效值最省事的还是读启动日志那行 init on namesrv …,或者直接看 netns 里 ss -tn 的对端 IP; ② Config.Env 里那条公网旧值不用清,/.env 每次启动都会盖住它;但反过来,只要有人绕过 run.sh 直接 docker exec 起进程,就会退回公网值,所以别用 docker exec 手工重启服务。
    • 改后的真实消息已回读(不是只看连接方向):10:12:07.553 A mq published jobId=20831 moduleType=PRICE_TRACK → 10:12:07.921 B ConsumeMessageThread_2 … jobId=20831 process success,跨机投递耗时约 370ms; 10:14:10 的 jobId=20832(BRAND)由 A 自己消费并 finalized success;B 近 45 分钟消费 9 条、A 消费 3 条, publish failed / 熔断 = 0。改完后两台到 MQ 的对端只剩 192.168.0.170:9876 与 :10911,公网那条彻底没了。
    • 顺带实测到一条跨机竞争消费本来就是通的(改前的公网路径上):A 09:03:16 mq published jobId=20828 → B 09:03:16 ConsumeMessageThread_7 … jobId=20828 process success,09:10:57/58 的 20829 同样。 所以 MQ 确实在承载结果文件作业(A 近 12 小时 publish 25 次、两台都有消费线程活动),不是空配置。
    • 收益如我先前判断:省的不是带宽而是耦合 —— 文件流量打满 5 Mbps 时不再把作业通道一起拖死。 重启 A 之前它有 3 个货源作业在 WAIT_LLM,重启后 20791/20805/20825 全部继续被 task-queue-* 处理, 等于顺手把今晚上线的重启续跑语义在真实负载下验了一遍。

4.4 VPC 内的实际延迟与"内网对象通道有没有变差"(10:3x 实测)

A 的 java 到每个依赖的 ss -tni 读数(同一台、同一时刻):

对端 用途 rtt 备注
192.168.0.171:3306 主库(同机) 0.033–1.72 ms minrtt 0.001,本机
192.168.0.170:16379 redis master 在 B 0.147–0.319 ms 哨兵发现的主,A 只留 2 条长连接
192.168.0.171:9000 主 MinIO(内网,今晚新走的路) 0.334–0.823 ms 37MB 上传中 retrans:0/31、重传字节 41,632/37,662,303 ≈ 0.11%
192.168.0.170:9000 设备日志 MinIO 0.28 ms 累计收 536MB / 发 156MB,busy 77s,无重传
192.168.0.170:9876 / 10911 namesrv / broker 0.20–0.63 ms 今晚切私网后新增
47.115.192.140:443 已认领:cbu01.alicdn.com(1688 商品图 CDN) 26.1–27.3 ms 全场唯一的高 RTT,杭州机 → 阿里深圳 CDN 节点

三条结论:

  1. 跨机不是问题:A→B 的 redis/MQ/设备日志全部 0.15–0.63 ms,比 A 到自己 MySQL 的最差那条(1.72 ms)还低。 所以"把 redis 或 MQ 挪回本机"这类改造没有收益,不要做。
  2. 今晚切的内网对象通道没有变差:那条 retrans 数字是我自己读错的产物 —— 我第一版 awk 用 retrans:[0-9/]+ 去抓,命中了 bytes_retrans:1632 这个字节字段, 看着像 1632 次重传。原始行是 bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23, 即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 TcpRetransSegs 在 10 秒窗口里一次都没涨。 以后从 ss -ti 取重传,要么取 retrans: 那个字段,要么先把整行贴出来再判。
  3. 那个 26 ms 的公网依赖已在 10:5x 认领:cbu01.alicdn.com(1688 商品图 CDN),货源链路。 过程与证据(前一版写"认不出属于哪个业务调用",现在补上):
    • 先按 IP 找:在 A 上逐个解析 java 配置里能抽到的外部主机,没命中;再换成"在 A 本机解析外部 CDN 域名" (关键区别:CDN 按就近返回,我工作站上解析 cbu01.alicdn.com 拿到的不是这批 IP), A 的解析结果是 47.115.192.140 / 47.115.192.141 / 8.141.190.160 / 8.147.229.178 / 8.160.215.133 … 共 8 条 A 记录 —— 目标 IP 是其中第一条。这同时解释了它为什么时有时无:我 10:5x 复查时 netns 里 established 共 20 条、 命中这个 IP 0 条,因为客户端换了一批连接池里的另一个节点。
    • 代码侧对得上:SimilarAsinImageEmbedder.java:80、SimilarAsinLlmService.java:549、PuzzleImageMerger.java:218、 SimilarAsinProperties.java:52 四处注释都在说 cbu01.alicdn.com 是慢源("带外站 Referer 稳定 403、 无 Referer 直接 200"、"会一直挂 8s 才进入 retry")→ 就是货源图片下载/内嵌那条路。
    • 日志侧对不上是正常的:grep -c alicdn 近 20 分钟 java 日志 0 条(日志里不打完整图片 URL,只打 jobId/行数), 这条不能当反证;同一窗口 media-amazon 有 39 条,说明图片下载确实在跑。
    • 结论:这不是我们能改造的东西 —— 它是外部 CDN,不存在"切内网"的选项,26 ms 是杭州→深圳节点的物理距离。 真要提速只有两档:图片已在库里的别重下(缓存命中),或把下载并发从 image-download-pool-size=8 往上抬 ——但公网出口只有 5–8 Mbps,抬并发只会互相抢带宽,所以这条归入"不动"。
    • 顺带纠正我自己前一版的取数:那组 rtt 写成 0.405 / 26.104 / 26.303 / 27.314,其中 0.405 与同 IP 的其它三条 差 60 倍,更像是 ss -tni 多行记录被我按行抓串了位,不要拿它当"有一条快连接"的依据。

五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 % 主机通配

这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。

  • A 上绑在 0.0.0.0 的端口一共 18 个(10:2x 用 ss -tln 重数,之前这里只写了 5 个,是漏的): 22 / 80 / 443 / 3001 / 3010 / 3306 / 6379 / 8085 / 8089 / 9000 / 9001 / 15126 / 16379 / 16890 / 17248 / 18080 / 26379 / 26739。 其中 9001 是 MinIO 控制台、15126 是 Flask、16379/26379/26739/6379 是 redis 与哨兵, 3001/3010/8085/8089/17248 本次没有逐个认领到具体容器(别把这条读成"这些都是废弃端口")。 B 侧对照过:replica 的 3306 只在 docker 网络内,B 对外只有 443。
  • 但"端口开着"不等于"能匿名进",这次逐个验了:A 上有 4 个 redis 容器 (shufu-redis-master 8.6.2、shufu-redis-sentinel 7.4.0、1Panel-redis-NmIe 8.6.2、redis_gzpa-redis_GZPa-1 7.4.0), 对 127.0.0.1:6379、192.168.0.171:6379、127.0.0.1:16379、127.0.0.1:26379 各打一次 PING, 四次都是 NOAUTH Authentication required.,没有一次免口令成功 → 这四个口不用改,收端口只是为了不给爆破机会。 26739 那口(redis_gzpa-redis_GZPa-1 映射到宿主 6379)本次没测,别把上面这句推广到它。 (顺带纠正:ss -tln 会同时列出共享同一 netns 的容器的监听口,所以第一版"五个容器都在听 6379"是共享网络的产物, 真实对外映射只有 1Panel-redis-NmIe → 6379 和 redis_gzpa → 26739 两条,用 HostConfig.PortBindings 才数得准。)
  • 再加一条:nacos 的 8080 / 8848 / 9848 也是 0.0.0.0,且服务端鉴权是关的(详见第二节第 9 条)。 这条今晚已经用"停容器"消掉了,但端口是 docker -p 在 iptables 里做的 DNAT,阿里云安全组未必挡得住: 1Panel 装的这些 app 一旦哪天被人重新 docker start,门就又开了。所以安全组入方向要明确写上这三个端口拒绝, 而不是只靠"现在没容器在听"。 (停后 8 秒 tcpdump 采样里这三个端口已无新 SYNs,历史扫描证据见第 9 条的 access_log 统计。)
  • 主库账号表里读到的是 root@%、gitea_dpCCcA@%、py_Task@%、py_Task_test@% —— 口令猜不出来也不该猜,但"任意来源主机"这个条件意味着端口收掉之前,这些账号只靠口令守。
  • 收掉公网 3306 不会打断复制:副本的 Source_Host 已经是 192.168.0.171(VPC 私网), 这是本条里唯一"已经确认可以安全收"的部分,我提前把它验掉了。
  • 同类:18080 是 Java 的 actuator + 业务端口直连公网,所以第七节里"要不要暴露 /actuator/prometheus" 的前提是先把它从公网收掉;9000 是主 MinIO 裸口,公网可直接打 S3 请求。
  • 建议动作(一次性、可回滚):阿里云安全组把 A 的入方向限制为 仅 443(+ 运维来源 IP 的 SSH), 先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。 VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 —— 今晚已实测三个私网地址全通。