# 生产待人工决策清单(2026-09-28 夜) 本轮已上线的改动列在第一节,后面每一条都是**代码里做不掉、需要人拍一次**的动作。 条目按"建议处理顺序"排,不按发现顺序。 ## 一、今夜已完成(无需再决策,列出便于核对) | 提交 | 改动 | 状态 | |---|---|---| | `8536ddb3` | 外观专利行重发加轮次上限,超限就地判失败并写明原因 | 已上线 | | `6a82697a` | MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min | 已上线 | | `2d33f478` | 用户态接口的 `user_id` 归属改由令牌身份判定(只绑定、暂不要求凭据) | 已上线 | | `10dec56e` | 外观专利:完成标记只打在真正落库的行上(少回的行撤销重发) | 已上线 | | `dd06a1cf` | 货源主图转存:连接级失败做有界重试,失败行日志带上真实原因 | 已上线(实测见 §6.1) | | `a6e4a589` | 货源主图重试改走备用域名,绕开被钉死的坏 CDN 节点 | 已上线(实测见 §6.3) | 线上产物:`162,590,216 B` / md5 `b834d489c8640fd1f6cc9d51238f4606`,两台一致。 (当前线上已推进到 `162,592,865 B` / md5 `0c941fc78f64a39676e22fe9c301a01c`,12:32 发 B、12:33 发 A,两台一致; 中间那版是 `03eb1049c19ff58f3d8df423aeb6d0e9`。) (今夜此前两版:`e97fd273473db849b705a766b7b505c7` → `e0854c23cc99344a6ddadbf2019e08bf`。) 发版后回读(重启后 5–15 分钟窗口,A 4780 行 / B 530 行日志):健康 200、Flyway 137 up to date、 instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-guard] rejected` 0 条、 `重发轮次已达上限` 0 条(无误杀)、`本批结果未全部落库` 0 条。 **A 上重启时确有一批外观 LLM 在飞**(03:15:36 发出 5 品请求),03:20:52 该任务 `llm batch done taskId=29447 jobId=20802 rows=10` —— 中断后自行续跑并交付了一批, 本轮未出现开机自回收日志(ready 时没有心跳已停的遗留 RUNNING,属正常分支)。 发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。 ### 附:中间件侧今夜已做的五处线上改动(改的是主机配置,列此便于回滚;④⑤另有代码/提交) | 改动 | 机器 / 对象 | 前 → 后 | 回滚 | |---|---|---|---| | cgroup 内存上限抬高 | A `1Panel-mysql-zbja` | 6 GiB → **10 GiB**(实占 3.14 GiB) | `docker update --memory 6442450944 --memory-swap 6442450944 1Panel-mysql-zbja` | | cgroup 内存上限抬高 | B `aiimage-mysql-replica` | 2 GiB → **3 GiB**(实占 1.67 GiB,已到 84%) | 同上,换数值与容器名 | | cgroup 内存上限抬高 | B `shufu-device-logs-minio` | 2 GiB → **3 GiB**(实占 1.82 GiB,已到 **91%**,再涨就是 OOM) | 同上 | | nginx 请求体上限 | B `git.aishufu.top` 站点 server 段 | 继承 http 级 `50m` → 本站 `1024m` | 同目录留了 `.bak-<时间戳>`,`cp` 回去 + `nginx -s reload` | | OSS 端点拆分 | 两台 `/.env` + jar(提交 `b7ae4478`) | 服务端读写:公网域名 → **`http://192.168.0.171:9000`**;预签名仍公网 | 删 `/.env` 里 `AIIMAGE_OSS_INTERNAL_ENDPOINT` 那行(有 `.bak-…`)+ 重启 java | | RocketMQ 走私网 | B broker.conf + 两台 `/.env` | `brokerIP1` 公网 EIP → **`192.168.0.170`**;namesrv 追加覆盖为 **`192.168.0.170:9876`** | 各自 `.bak-20260928094413` / `.bak-…` 复原 + `docker restart 1Panel-rocketmq-ZnP2-rmqbroker`、`docker restart java-server` | 三条硬约束,下次改之前先看,否则会踩: 1. **`docker update --memory` 必须同时给 `--memory-swap`**。只给 `--memory` 且新值大于旧的 swap 上限时, Docker 直接拒绝(`Memory limit should be smaller than already set memoryswap limit`), 而这条错误只在 stderr 里 —— 用 `... 2>&1 | sed 's/^/ /'` 或显式打印 `${PIPESTATUS[0]}` 才看得见, 写 `&& echo 成功` 会把它吞成一个假成功。改完必须回读 `cat /sys/fs/cgroup/memory/docker/<全ID>/memory.limit_in_bytes` 确认真的落地了。 2. **改 nginx 要改宿主机侧的 bind mount 源**,不是容器里的路径。容器 `/usr/local/openresty/nginx/conf/conf.d` 的源是 `/opt/1panel/www/conf.d`(用 `docker inspect -f '{{range .Mounts}}…'` 拿,别猜)。 改完 `nginx -t` 再 `nginx -s reload`(reload 不断连接,无需重启容器)。 3. **宿主机层面的 `ss` 看不到容器 netns 里的连接**。今晚"java 没连 MQ""nacos 无人使用"两个结论都由此产生, 都是假的;正确姿势是先 `docker inspect -f '{{.State.Pid}}' <容器>` 再 `nsenter -t -n ss -tn`。 另注意 `ss -tn` 的列序是 `State Recv-Q Send-Q Local Peer`,**对端在第 5 列**(我第一版取了 `$4`, 统计出来的全是本端端口,看着像"全连到 172.19.0.2",其实是把本地地址当真了)。 4. **1Panel 的 openresty 站点访问日志不在 `/usr/local/openresty/nginx/log/`**。按那个路径 zcat 会得到空结果, 而空结果和"确实没有 413"长得一模一样。真实位置是容器 `/www/sites/<站点>/log/access.log` (宿主机 `/opt/1panel/www/sites/<站点>/log/`),另有部分服务写 `/dev/stdout`。 凡是"某类错误 0 条"的结论,都要**同时报该文件的总行数**自证读到了东西。 改完的验证:nginx 侧用 60MB 体打 `git.aishufu.top`(127.0.0.1 回环 + `--resolve` 指站点)得到 **405 / 0.113s**(进了 Gitea 应用层,说明代理不再拦),对照未改的 devops 站仍是 **413**。 ### 附:健康评估报告第 6 条(外观/货源"静默降级")已核,不必再追 报告称 `allRowCount` 读失败 `return 0`、`loadAllRowsByBaseId` 读失败返回空,会把期望行数压低造成"假完成"。 逐个调用点读完后的结论是**不成立**,记录在此免得再查一遍: - `allRowCount` 的返回值只喂两处:`FileResultEntity.row_count`(列表页显示的"共 N 条")和进度分母。 两处都写了"0 不覆盖已有非零值"(`finalizeTask` 的 `rowCount > 0 ? rowCount : result.getRowCount()`、 货源 `resolvePythonUploadProgress` 的 `totalRows <= 0 && uploadedRows > 0` 兜底), 而 `createResultRecordForAssembly` 的兜底分支自己会重读载荷,读不动时异常照常上抛。 **没有任何成功/失败判定吃这个数**。 - 真正的完成判定是 `validateCompleteLlmCoverage`,它的分母来自 `assembleResultWorkbook` 里 **不带 try/catch 的** `readParsedPayload(task)`——载荷坏了会直接抛,不会静按 0 行放行; 覆盖率低于 `llm-coverage-min-ratio`(默认 0.5)时抛"LLM 结果不完整"。 - `loadAllRowsByBaseId` 返回空只影响 `expandRows` 的同组兄弟回填,**不影响发不发检测** (候选行来自分片自身的 `readChunkRows`),落库匹配也不看它。所以后果是"兄弟行各发一次、多扣几次", 而不是丢行。 - 顺着这条链查到的是另一个口子,已在 `10dec56e` 修掉:整批完成标记此前不区分"结果有没有真的写进分片"。 ## 二、需人工决策 ### 1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据" 现状(今晚重新取证,非引用旧笔记): - 数据归属由请求参数 `user_id` 决定:controller 层共 **19 个文件**出现 `user_id`,其中只有 **2 个**文件里 出现过任何身份调用(`requireUser` / `requireUserOrInternal` / `currentUser`)。这是文件级统计, 端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。 - `aiimage.security.user-tool-guard-enabled` 默认 **false**,生产未覆盖 → query-asin / similar-asin / appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。 - 桌面客户端 `app_client` 对这 14 个前缀共 **15 个调用文件**,其中只有 **4 个**文件里出现过任何凭据头 (collect-data 2、price-track 1、shop-match 1)。文件级统计是**上界**——同一文件里也可能只有一部分 请求带抬头。 - `AdminApiGuardFilterTest`(HEAD 版,20 个用例)对当前代码全绿。 两个可分开的动作: | 动作 | 效果 | 代价 | 状态 | |---|---|---|---| | **A. 绑定**:请求带 JWT 时,校验 `user_id` 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 | 已登录用户不能再互相冒读,19 个 controller 文件不用逐个改 | 对匿名与内部令牌调用零影响 | **已实现**(见下"绑定的落地依据") | | **B. 要求凭据**:把上述前缀纳入兜底鉴权(开关置 true) | 未登录直接 401 | 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 | **等客户端普遍携带凭据之后再开** | 绑定的落地依据(今晚逐条查证,不是推断): - 角色词汇表只有三态:`DeviceSessionPolicy.resolveRole` 只会返回 `super_admin` / `admin` / `null`, 没有第三种"员工"角色;生产 `users` 表 135 个账号分布为 `normal` 子账号 120、`admin` 子账号 13、 `admin` 1、`super_admin` 1 → 管理员豁免面闭合。 - 网页端 `getCurrentUserId()` 读 `localStorage['uid']`,而 `uid` 由登录响应 `data.userId` 写入; `AuthService.buildResult` 里 `vo.setUserId(user.getId())` 与 `jwtService.issue(user.getId(), …)` 同源 → 诚实客户端的参数**恒等于**令牌主体,正常用户不会撞 403。 - `frontend-vue` 各 tab 一律传 `getCurrentUserId()` / `uidForStorage()`;只有 `admin-frontend-vue` 传任意 `user_id`,而它是管理员身份 → 落在豁免里。 - 带凭据的 4 个桌面模块(`price_match_new` / `search_spider` / `tool` / `log_uploader`)用的都是 `X-Internal-Token`,在 `shouldNotFilter` 里由 `isTrustedInternalToken` 提前整体放行,**不参与绑定**。 - 实现范围刻意收窄到 `USER_TOOL_PREFIXES`:`/api/admin`、`/debug`、自助接口仍只做"有没有身份", 不做参数比对,避免误伤后台里合法传他人 id 的流程。 - 代价:每个带 `user_id` 的用户态请求会多走一次 `requireUserOrInternal`。匿名请求在 `resolveToken` 处即抛 `BusinessException`(未登录)返回,**不查库**,但会构造一个带栈异常。按现网这个接口的 轮询频率,量级可忽略,若日后要省掉,可加"仅在带了凭据线索时才解析"的短路。 紧急回退仍是一个:`aiimage.security.admin-guard-enabled=false` 会把绑定与原有兜底一起关掉。 若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。 ### 2. 主机A MySQL:`8G` 上限冲突已按"抬上限"解掉,生效值 10:2x 也读到了 —— 结论是这台不用调 `/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `innodb_buffer_pool_size=8G`(instances=8), 容器上限已从 6 GiB 抬到 **10 GiB**(今夜已生效,回读 `memory.limit_in_bytes=10737418240`; 实占 3.14 GiB,宿主机 30 GiB 里还有 19 GiB available)→ OOM 悬崖拆除,`8G` 原样保留。 两件事没做掉,需要人: - **A 的生效值 10:2x 读到了**:`bp_mb=8192 / max_conn=500 / lock_wait=50 / ver=8.4.8 / trx_commit=1` → 8G **没有被截断**,实占 RSS 3.145 GiB(池是懒加载,还没涨满,上限已是 10 GiB 所以涨满也不会被杀)。 失败原因确认了:容器里 `MYSQL_ROOT_PASSWORD` 那份**不是库的 root 口令**(`ERROR 1045 … using password: YES`), 而 `docker exec … sh -c '…$MYSQL_ROOT_PASSWORD…'` 在 Python 侧的单引号里又根本不会展开 —— 两次"读不到"是两回事。 读到的这次走的是**业务账号 + `--defaults-extra-file`(容器内 600 权限临时文件,用完 `shred -u`,容器内外各查过 0 残留)**, 口令全程不落到输出里。顺带确认 `performance_schema` 对 `aiimage_backend` 依旧是 1142 拒(和旧笔记一致), 但 `SELECT @@…` 和 `SHOW GLOBAL STATUS` 不需要它,所以"读不到生效值"这件事本来就不必等人。 - **同一批读数说明这台没有可调的点**,别照着"buffer pool 可能太小"去动它: `Innodb_buffer_pool_read_requests` 53,799,770,917 对 `Innodb_buffer_pool_reads` 31,531 → **命中 99.99994%**,物理读基本不存在;`Max_used_connections` 历史峰值 **45**(上限 500), 当前 `Threads_connected=13`、`Threads_running=3`;Hikari 两台各 `max=30 / min-idle=5`(合计 60), 远没顶到 MySQL 上限;`Innodb_row_lock_waits` 累计 354,326 次但 `time_avg=7ms`。 也就是说这台的时间花在**锁的尾部**(本节末那条以及第一版健康评估里的 581 条锁等待统计),不在内存、不在连接数、不在 IO。 `Aborted_connects` 3,250 与 `TcpExtListenDrops=6` 都是累计值、10 秒窗口内 `TcpRetransSegs` 无增长,不构成信号。 - **docker update 是运行态改动,容器重建就回滚到 6 GiB**。1Panel 的 compose 用的是 `memory: ${MEMORY_LIMIT}`,而 A/B 两台每个应用的 `.env` 里都写着 `MEMORY_LIMIT=0`(0=不限), 说明这个 6 GiB 不在 `.env` 里、是 1Panel 界面/数据库里配的。**要让它扛得住重建,得在 1Panel 控制台把 mysql 容器限额改成 10G**(或者按 `MEMORY_LIMIT=10737418240` 写进 `/opt/1panel/apps/mysql/mysql/.env` 后重建容器)。 同一条适用于 B 的 `aiimage-mysql-replica`(2G→3G)和 `shufu-device-logs-minio`(2G→3G)。 同机顺带一条(未动):`innodb_lock_wait_timeout` 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条), 这个阈值对业务侧的表现需要一并看一眼是否要调。 ### 3. 主机B 的 `aiimage-mysql-replica`:取证已补齐(活着、滞后 0 秒),结论是**先别做读分流** 08:2x 直读副本状态(`SHOW REPLICA STATUS`): ``` Source_Host: 192.168.0.171 Source_Port: 3306 Replica_IO_Running: Yes Replica_SQL_Running: Yes Seconds_Behind_Source: 0 生效 innodb_buffer_pool_size = 1.0000 G(限额已 2 GiB → 3 GiB) ``` 也就是"追不追主库"这一条已经解决:**在追,滞后 0 秒,而且走的是 VPC 私网 `192.168.0.171`** (这一条顺带把"公网 3306 能不能收掉"的顾虑排掉了,见第五节第 1 条)。 第二件取证(A 的瓶颈是否落在读上)**答案是否**:上一轮慢日志拆下来锁等待 581 条 vs 大扫描 44 条, 把读挪到副本对锁等待无解,只会新增一层"应用要区分读写源"的复杂度和一套副本专属的故障面。 `super_read_only` 是否置位**没读到**,真要启用分流前先确认它,否则分流第一天就可能有人往副本写。 所以本条从"待取证"降级为**已知可用、暂不接入**。触发重新评估的条件写清楚: 当慢日志里大扫描/报表类查询占比明显上升,或者要做"导出全量结果"这类一次性大读时, 副本是现成落点(外观与货源的 LLM 阶段只读库、不依赖本地文件,分流前提成立)。 ### 4. 软件版本对象的真删开关仍是 dry-run `aiimage.software-version.retention-dry-run` 默认 true(只记日志不删对象)。要启用真删, 先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。 ### 5. V137 的 20 个冗余索引还只是 INVISIBLE V137 只把它们置为不可见,**观察 1~2 周慢日志无退化后要追加 V138 执行 DROP**,否则索引仍占空间、 仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。 ### 6. 后台「LLM 使用」的次数口径变了,要提前打招呼 外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,**统计次数约掉到 1/6.7**。 这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多 (约 30–45%),且走的是用户自己的 apiKey 额度。 ### 7. 监控指标:端点根本不存在,告警无从挂起 `backend-java/pom.xml` 只有 `spring-boot-starter-actuator`,没有 `micrometer-registry-prometheus`; 线上 `GET 127.0.0.1:18080/actuator/prometheus` = 404,`/actuator` 只列 health。 仓库里那 49 个 `aiimage.*` 指标名从未被任何面板抓到过(`TaskObservabilityMetrics` 无 `@Component`、 main 代码零调用者)。 要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 **18080 在主机A 是公网直连**, 一旦暴露 `/actuator/prometheus` 就等于公网可读的运行指标,需要同步把它从公网收掉 (只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的 `taskId= / stage= / jobId= / costMs= / moduleType=` 字段做告警。 ### 8. `backend/config.py` 里的平台自身明文凭据 该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。 处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。 ### 9. 主机A 的 Nacos:10:13 已停 —— 不只是白吃 2 GiB,它是"鉴权关闭 + 端口对公网开" 取证链(两条都是今晚重跑的,不是引用旧笔记): - 在 **nacos 容器自己的 netns** 里数 8848 的 established = **0**(`nsenter` 后的结果, 避开了宿主机 `ss` 看不见容器网络的那个坑)。它那两条 ESTAB 的对端是 `172.22.0.2` —— **就是它自己的容器 IP**(`nacos_default` 这个网络里只有 nacos 一个成员,`7848` 是它自己的 raft 口), 所以是自我连接,不是客户端。 - Java 侧 `env` 里没有任何 `NACOS` 变量(键数 0),进程 cmdline 里没有 `nacos` 字样; 两台挂载的 `/app/application-server.yml`(271 行)里 nacos 出现 **0 次**;仓库里除了本文档也没有 nacos 引用。 - 宿主机 `ss -tn` 到 8848/9848 命中 0 条(A 与 B 都查了)。 **改前漏看、这次补上的一条(比内存更要紧)**: - `docker port` 显示 **8080 / 8848 / 9848 全部绑在 `0.0.0.0`**,而 `HostConfig.Memory=0`(无上限)。 - 容器里 `NACOS_AUTH_ENABLE=false`、`nacos.core.auth.enabled=false`(同一文件里 `nacos.core.auth.admin.enabled=true`、`console.enabled=true` 是 2.3+/3.x 的分层开关,还开着)。 - access_log 里近 14 天净是外部扫描:`GET /nacos/v1/cs/configs?...search=blur&pageSize=1000&tenant=*`(配置全量导出的招牌探测)、 `GET /nacos/v1/auth/users?pageNo=1&pageSize=9`、还有伪造 `User-Agent: Nacos-Server` 的请求(就是那个老 bypass), 来源是 40 个互不相干的公网 IP,`curl`/`python-requests`/浏览器 UA 混杂,**没有一条来自两台内网地址**。 - **没有证据表明被读到过东西**:`nacos/v1*` 相关请求近 14 天共 73 条,状态码是 **70 条 500 + 3 条 404,0 条 2xx**。 镜像是 `nacos/nacos-server:v3.2.1`,v1 的这批接口在它上面本就不存在,所以探测全落在错误上。 (别把这句读成"安全":500 而不是 401 也说明服务端确实**没在鉴权**,只是没有对应的接口可打。) **动作(10:13,可一条命令回滚)**:`docker stop 1Panel-nacos-dsLA-standalone`。 回滚 = `docker start 1Panel-nacos-dsLA-standalone`。效果与验证: - A 的 `MemUsed` 10 GiB → **8 GiB**、`available` 20 → **22 GiB**。 - 停后 60 秒:java `health=200`、近 2 分钟 `ERROR` **0 条**(该窗口日志 423 行,自证读到了东西)、 货源作业 `[task-file-job] … jobId=20805 stage=WAIT_LLM` 照常推进。 - **数据没动**:`/opt/1panel/apps/nacos/nacos/data/data` 2.1G(`derby-data` 建自 5-14,7-29 还在写), 所以哪天要用,起来还是原来那套;**别顺手删容器或 app 目录**。 我选"停"而不是原计划的"压到 512m",理由有两个,都写在这儿免得下次重判: ①它的 JVM 是 `-Xms2g -Xmx2g -Xmn1g` 且容器**无限额**,压到 512m 会当场被 cgroup 杀掉, 要降必须先改 `JVM_XMS/JVM_XMX` 并重启它 —— 那和停掉的成本一样,收益却小得多; ②停掉同时消掉了 8848/9848/8080 这个对公网开的无鉴权面,压内存只解决钱不解决门。 **遗留给人拍板的**:如果确认这套 nacos 以后也不用于服务发现,就在 1Panel 里把它**卸载或至少改成只绑 127.0.0.1**, 并把 §五 的安全组清单加上这三个端口。 ## 三、已解决:Gitea 那 7 个提交推上去了(08:10) 远端 `master` `56913563 → 7aa9f3df`,回读 `git rev-list --left-right --count origin/master...HEAD` = `0 0`。 之前"工作站上没有任何可静默使用的凭据"这句话是**假阴性**,成因是 Git Bash 的路径转换把 `cmdkey /list` 变成了别的调用(要写 `cmdkey //list`)。实际凭据管理器里早就有 `git:https://gitserver@git.aishufu.top`。可用的静默推送咒语: ```bash GIT_TERMINAL_PROMPT=0 GCM_INTERACTIVE=never GCM_PROVIDER=basic git push origin master ``` GCM 会 warn `no such provider 'basic'` 然后回退自动探测 —— **这个 warn 无害、照样成功**, 关键是 `GCM_INTERACTIVE=never` 让它不再弹"选哪个 helper"那 90 秒。 退出码必须重定向到文件再看:`git push | tail` 拿到的是 `tail` 的 0,不是 git 的。 ## 四、今晚新查出来的:两台之间的流量大量走公网,只有 5–8 Mbps 这是本轮最有价值的一条,因为它解释了一批"莫名其妙慢/超时"的老问题,而且**修它的代价是配置项级别的**。 ### 4.1 实测带宽差(30MB 测试体,08:3x) | 路径 | 结果 | 折算 | |---|---|---| | A → A 公网 `https://oss.aishufu.top`(**Java 现在写对象走的就是这条**) | 3.37 MB / 3.45 s | **≈ 0.98 MB/s** | | B → A 公网同一入口 | 3.23 MB / 3.27 s | ≈ 0.99 MB/s | | A → B 公网 `https://download.aishufu.top` | 27.5 MB / 45 s(撞 max-time) | **≈ 0.61 MB/s** | | A → A 私网 `http://192.168.0.171:9000` | 5.5 MB / 0.006 s | ≈ 900 MB/s | | B → A 私网同一入口 | 6.75 MB / 0.009 s | ≈ 750 MB/s | | A/B → B 私网 `http://192.168.0.170:9000` | ≈ 0.009–0.026 s | 1.1–3.5 GB/s | 路由已确认 `ip route get 47.110.241.161`(在 A 上)= `via 192.168.0.253 dev eth0` —— **发往自己的公网 IP 也要出 VPC 网关绕一圈**,所以"回环"确实吃公网额度。 公网与私网差 **约 1000 倍**。 对上面 A→A 那两行的诚实注脚:服务端提前回了 400,只发出去 3.3MB,样本里含 TCP 慢启动。 但该路径 RTT 只有 11 ms(TLS 首字节实测 `connect=0.000705s tls=0.010896s`), 11 ms RTT 下慢启动几百毫秒就能爬到几百 MB/s,3.45 s 发 3.37MB 解释不通, 而且跨机那条持续 45 s 的 0.61 MB/s 是干净的持续值 —— 结论(公网 ~5–8 Mbps)不受这个瑕疵影响。 ### 4.2 现在还有哪些地址指公网(A 上 java-server 的 env 逐项对过) | 配置 | 当前值 | 走公网? | |---|---|---| | `AIIMAGE_OSS_ENDPOINT` / `public-endpoint` | `https://oss.aishufu.top` | **是**,且是 A 指向自己的回环 | | `AIIMAGE_ROCKETMQ_NAME_SERVER` | `121.196.149.225:9876` | **是**,跨机走公网 | | `AIIMAGE_TRANSIENT_STORAGE_ENDPOINT` | `http://192.168.0.170:9000` | 否 | | `AIIMAGE_DEVICE_LOG_OSS_ENDPOINT` | `http://192.168.0.170:9610` | 否 | | `AIIMAGE_REDIS_HOST` | `192.168.0.172` | 否 | | `AIIMAGE_DB_URL` | `192.168.0.171:3306` | 否 | 副本复制也已经在私网(`Source_Host: 192.168.0.171`)。所以**剩下的公网依赖只有两处:OSS 端点和 MQ namesrv**。 MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 `47.110.241.161`(A 的公网 IP)的 established 连接, 也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。 ### 4.3 两处改法(一条已做完,一条需要人配合) - **OSS 端点拆分:已上线(提交 `b7ae4478`,两台线上 md5 `02357a89da2100689565319462d9db29`)**。 新增 `aiimage.oss.internal-endpoint`(env `AIIMAGE_OSS_INTERNAL_ENDPOINT`,默认空=沿用 `endpoint`, 所以不带 env 的环境行为与今天完全一致),只给服务端读写的 client 用; 预签名改用 `public-endpoint` 那张 client,浏览器直传 URL 的 host 不变。 生产两台的 env 落在 `/opt/1panel/runtime/java/java-server/.env`(`run.sh` 第 3 行 `source /.env`; **该文件里 AIIMAGE_* 全是 `export` 形式,不加 export 传不到 java 子进程**), 写前留了 `.env.bak-2026092809285x`,回滚=删掉那一行再 `docker restart java-server`。 启动日志新增一行可直接回读生效值: `[oss] 服务端读写端点=http://192.168.0.171:9000(预签名端点=https://oss.aishufu.top)`(两台都已打出)。 连接方向也已实测翻转:A 的 java netns 里出现 `192.168.0.171:9000`,原先的 `47.110.241.161:443` 消失。 副作用两条要记着:对象流量**不再经过 A 的 nginx**(那一层的访问日志看不到了), 服务端到 MinIO 变成明文 HTTP —— 只在 VPC 内,SigV4 不泄露密钥,可接受。 - **MQ 走私网:已上线(09:44 改 broker、09:53 改 namesrv,两台都重启过)**。 **先纠正我上一版的取证错误**:我写"broker.conf 里没有 `brokerIP1`"是查错了文件 —— 容器里 `/home/rocketmq/rocketmq-5.5.0/conf/broker.conf` 是发行包自带的那份, broker 实际加载的是 `-c /opt/rocketmq-5.2.0/conf/broker.conf`(bind 自宿主机 `/opt/1panel/apps/rocketmq/rocketmq/data/broker/conf/broker.conf`),它第 8 行**一直写着** `brokerIP1=121.196.149.225`。所以注册地址不是自动探测出来的,是 1Panel 装的时候就写死的公网 EIP。 动作与回读: - ① 那行改成 `brokerIP1 = 192.168.0.170`,备份 `broker.conf.bak-20260928094413`, `docker restart 1Panel-rocketmq-ZnP2-rmqbroker` → `mqadmin clusterList` 第 4 列变 `192.168.0.170:10911`, 容器 `running / OOM=false`,broker 日志无 error 关键词。**java 不用重启**:客户端每 30 秒刷一次路由表, 实测改前遗留的那条 `121.196.149.225:10911` 长连接在约 1 分钟后自行消失,换成 `192.168.0.170:10911`(两台都是)。 - ② namesrv:`AIIMAGE_ROCKETMQ_NAME_SERVER` **不在 `/.env` 里**(`/.env` 只有 7 个 AIIMAGE_ 键, 其余 34 条来自容器创建期的 `Config.Env`),所以是往 `/.env` **追加**一行 `export AIIMAGE_ROCKETMQ_NAME_SERVER="192.168.0.170:9876"` 来覆盖(`run.sh` 第 3 行 `source /.env` 晚于容器 env)。 两台各留 `.env.bak-…`,`bash -n` 通过。B 先重启验证,A 随后。 启动日志可直接回读:`a producer (aiimage-backend-producer) init on namesrv 192.168.0.170:9876`, consumer 容器 `nameServer='192.168.0.170:9876'`,两台 ERROR 0 / health UP。 - **一个反复踩到的读值坑**:`docker inspect -f '{{.State.Pid}}'` 拿到的是**入口进程**(`entrypoint.sh` → `bash /run.sh`), 读它的 `/proc//environ` 只会看到 `Config.Env` 那层的**旧值**,java 是孙进程。 **`/proc//environ` 只反映该进程最后一次 `execve` 时的环境,shell 之后 `source /.env` 的内容不会回写进去** —— 所以读覆盖后的真值要在宿主机上 `JP=$(pgrep -f 'aiimage-backend.*jar' | head -1)`,再 `tr '\0' '\n' < /proc/$JP/environ | grep AIIMAGE_ROCKETMQ`。 11:1x 用这条把同一个键的三层读全了(两台结果一致): `Config.Env` = `121.196.149.225:9876`(创建期旧值)→ 入口进程 environ = **同上旧值**(这就是那个假象的来源)→ java 子进程 environ = **`192.168.0.170:9876`**(真值,`/.env` 的 export 赢了,因为 source 发生在 java 启动之前)。 两条推论:① 判生效值最省事的还是读启动日志那行 `init on namesrv …`,或者直接看 netns 里 `ss -tn` 的对端 IP; ② `Config.Env` 里那条公网旧值**不用清**,`/.env` 每次启动都会盖住它;但反过来,**只要有人绕过 `run.sh` 直接 `docker exec` 起进程,就会退回公网值**,所以别用 `docker exec` 手工重启服务。 - **改后的真实消息已回读**(不是只看连接方向):`10:12:07.553` A `mq published jobId=20831 moduleType=PRICE_TRACK` → `10:12:07.921` B `ConsumeMessageThread_2 … jobId=20831 process success`,**跨机投递耗时约 370ms**; `10:14:10` 的 `jobId=20832`(BRAND)由 A 自己消费并 `finalized success`;B 近 45 分钟消费 9 条、A 消费 3 条, **publish failed / 熔断 = 0**。改完后两台到 MQ 的对端**只剩** `192.168.0.170:9876` 与 `:10911`,公网那条彻底没了。 - 顺带实测到一条**跨机竞争消费本来就是通的**(改前的公网路径上):A `09:03:16 mq published jobId=20828` → B `09:03:16 ConsumeMessageThread_7 … jobId=20828 process success`,`09:10:57/58` 的 20829 同样。 所以 MQ 确实在承载结果文件作业(A 近 12 小时 publish 25 次、两台都有消费线程活动),不是空配置。 - 收益如我先前判断:省的不是带宽而是**耦合** —— 文件流量打满 5 Mbps 时不再把作业通道一起拖死。 重启 A 之前它有 3 个货源作业在 `WAIT_LLM`,重启后 20791/20805/20825 全部继续被 `task-queue-*` 处理, 等于顺手把今晚上线的**重启续跑语义**在真实负载下验了一遍。 ### 4.4 VPC 内的实际延迟与"内网对象通道有没有变差"(10:3x 实测) A 的 java 到每个依赖的 `ss -tni` 读数(同一台、同一时刻): | 对端 | 用途 | rtt | 备注 | |---|---|---|---| | `192.168.0.171:3306` | 主库(同机) | 0.033–1.72 ms | minrtt 0.001,本机 | | `192.168.0.170:16379` | **redis master 在 B** | 0.147–0.319 ms | 哨兵发现的主,A 只留 2 条长连接 | | `192.168.0.171:9000` | 主 MinIO(内网,今晚新走的路) | 0.334–0.823 ms | 37MB 上传中 `retrans:0/31`、重传字节 41,632/**37,662,303 ≈ 0.11%** | | `192.168.0.170:9000` | 设备日志 MinIO | 0.28 ms | 累计收 536MB / 发 156MB,`busy 77s`,无重传 | | `192.168.0.170:9876 / 10911` | namesrv / broker | 0.20–0.63 ms | 今晚切私网后新增 | | `47.115.192.140:443` | **已认领:`cbu01.alicdn.com`(1688 商品图 CDN)** | **26.1–27.3 ms** | 全场唯一的高 RTT,杭州机 → 阿里深圳 CDN 节点 | 三条结论: 1. **跨机不是问题**:A→B 的 redis/MQ/设备日志全部 0.15–0.63 ms,比 A 到自己 MySQL 的最差那条(1.72 ms)还低。 所以"把 redis 或 MQ 挪回本机"这类改造**没有收益**,不要做。 2. **今晚切的内网对象通道没有变差**:那条 retrans 数字是我自己读错的产物 —— 我第一版 awk 用 `retrans:[0-9/]+` 去抓,命中了 `bytes_retrans:1632` 这个**字节**字段, 看着像 1632 次重传。原始行是 `bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23`, 即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 `TcpRetransSegs` 在 10 秒窗口里**一次都没涨**。 以后从 `ss -ti` 取重传,要么取 `retrans:` 那个字段,要么先把整行贴出来再判。 3. **那个 26 ms 的公网依赖已在 10:5x 认领:`cbu01.alicdn.com`(1688 商品图 CDN),货源链路**。 过程与证据(前一版写"认不出属于哪个业务调用",现在补上): - 先按 IP 找:在 A 上逐个解析 java 配置里能抽到的外部主机,**没命中**;再换成"在 A 本机解析外部 CDN 域名" (关键区别:CDN 按就近返回,我工作站上解析 `cbu01.alicdn.com` 拿到的不是这批 IP), A 的解析结果是 `47.115.192.140 / 47.115.192.141 / 8.141.190.160 / 8.147.229.178 / 8.160.215.133 …` 共 **8 条 A 记录** —— 目标 IP 是其中第一条。**这同时解释了它为什么时有时无**:我 10:5x 复查时 netns 里 established 共 20 条、 命中这个 IP **0 条**,因为客户端换了一批连接池里的另一个节点。 - 代码侧对得上:`SimilarAsinImageEmbedder.java:80`、`SimilarAsinLlmService.java:549`、`PuzzleImageMerger.java:218`、 `SimilarAsinProperties.java:52` 四处注释都在说 `cbu01.alicdn.com` 是**慢源**("带外站 Referer 稳定 403、 无 Referer 直接 200"、"会一直挂 8s 才进入 retry")→ 就是货源图片下载/内嵌那条路。 - 日志侧对不上是正常的:`grep -c alicdn` 近 20 分钟 java 日志 **0 条**(日志里不打完整图片 URL,只打 jobId/行数), 这条**不能当反证**;同一窗口 `media-amazon` 有 39 条,说明图片下载确实在跑。 - **结论:这不是我们能改造的东西** —— 它是外部 CDN,不存在"切内网"的选项,26 ms 是杭州→深圳节点的物理距离。 真要提速只有两档:图片已在库里的别重下(缓存命中),或把下载并发从 `image-download-pool-size=8` 往上抬 ——但**公网出口只有 5–8 Mbps,抬并发只会互相抢带宽**,所以这条归入"不动"。 - 顺带纠正我自己前一版的取数:那组 rtt 写成 `0.405 / 26.104 / 26.303 / 27.314`,其中 `0.405` 与同 IP 的其它三条 差 60 倍,更像是 `ss -tni` 多行记录被我按行抓串了位,**不要拿它当"有一条快连接"的依据**。 ## 五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 `%` 主机通配 这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。 - **A 上绑在 `0.0.0.0` 的端口一共 18 个**(10:2x 用 `ss -tln` 重数,之前这里只写了 5 个,是漏的): `22 / 80 / 443 / 3001 / 3010 / 3306 / 6379 / 8085 / 8089 / 9000 / 9001 / 15126 / 16379 / 16890 / 17248 / 18080 / 26379 / 26739`。 其中 `9001` 是 MinIO 控制台、`15126` 是 Flask、`16379/26379/26739/6379` 是 redis 与哨兵, `3001/3010/8085/8089/17248` 本次**没有逐个认领到具体容器**(别把这条读成"这些都是废弃端口")。 B 侧对照过:replica 的 3306 **只在 docker 网络内**,B 对外只有 443。 - **但"端口开着"不等于"能匿名进",这次逐个验了**:A 上有 4 个 redis 容器 (`shufu-redis-master` 8.6.2、`shufu-redis-sentinel` 7.4.0、`1Panel-redis-NmIe` 8.6.2、`redis_gzpa-redis_GZPa-1` 7.4.0), 对 `127.0.0.1:6379`、`192.168.0.171:6379`、`127.0.0.1:16379`、`127.0.0.1:26379` 各打一次 `PING`, **四次都是 `NOAUTH Authentication required.`**,没有一次免口令成功 → 这四个口**不用改**,收端口只是为了不给爆破机会。 **`26739` 那口(`redis_gzpa-redis_GZPa-1` 映射到宿主 6379)本次没测**,别把上面这句推广到它。 (顺带纠正:`ss -tln` 会同时列出**共享同一 netns 的容器**的监听口,所以第一版"五个容器都在听 6379"是共享网络的产物, 真实对外映射只有 `1Panel-redis-NmIe → 6379` 和 `redis_gzpa → 26739` 两条,用 `HostConfig.PortBindings` 才数得准。) - 再加一条:**nacos 的 8080 / 8848 / 9848 也是 `0.0.0.0`,且服务端鉴权是关的**(详见第二节第 9 条)。 这条今晚已经用"停容器"消掉了,但**端口是 docker `-p` 在 iptables 里做的 DNAT,阿里云安全组未必挡得住**: 1Panel 装的这些 app 一旦哪天被人重新 `docker start`,门就又开了。所以安全组入方向要**明确写上这三个端口拒绝**, 而不是只靠"现在没容器在听"。 (停后 8 秒 `tcpdump` 采样里这三个端口已无新 SYNs,历史扫描证据见第 9 条的 access_log 统计。) - 主库账号表里读到的是 `root@%`、`gitea_dpCCcA@%`、`py_Task@%`、`py_Task_test@%` —— 口令猜不出来也不该猜,但"任意来源主机"这个条件意味着**端口收掉之前,这些账号只靠口令守**。 - **收掉公网 3306 不会打断复制**:副本的 `Source_Host` 已经是 `192.168.0.171`(VPC 私网), 这是本条里唯一"已经确认可以安全收"的部分,我提前把它验掉了。 - 同类:18080 是 Java 的 actuator + 业务端口直连公网,所以第七节里"要不要暴露 `/actuator/prometheus`" 的前提是先把它从公网收掉;9000 是主 MinIO 裸口,公网可直接打 S3 请求。 - 建议动作(一次性、可回滚):阿里云安全组把 A 的入方向限制为 **仅 443(+ 运维来源 IP 的 SSH)**, 先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。 VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 —— 今晚已实测三个私网地址全通。 ## 六、货源主图转存:252 条失败全是瞬时 TLS 重置(11:3x 查出并已修) 这条不是"中间件调优",是查别的东西时撞出来的**真在掉数据的口子**,所以记全取证链。 - **现象与量级**(主机A,`docker logs --since 180m java-server`,窗口内总行数 20,846 行): `main download fail` **252 条**、`row failed asin=` **247 条**;失败原因 252 条**全是同一句** `Remote host terminated the handshake`;源分布 **247 条全部是 `m.media-amazon.com`**(其它源 0 条), 且 `main download http `(非 200)**0 条** —— 也就是没有任何一次是源站正常答复的错。 - **失败是按批整片出现的**:按分钟分桶是 `08:21=10 / 08:26=10 / 08:31=20 / 08:33=10 …10:01=10 / 10:43=20 / 10:49=10`, 一批 10 行一起挂,同批三条时间戳 `10:01:12.805 / .852 / .993` 相差不到 200ms。 - **证明是瞬时的**:把当时失败的 8 条 URL 原样再取一次,**7 条 200(9.6KB–22KB 不等)**、 1 条 `000`(curl 也连不上,那条多半是真死了)。 - **三个假说逐个验掉**: 1. "出口 IP 被 Amazon 封了" —— 同机 `curl` HTTP/1.1 与 HTTP/2 都 200、`openssl s_client` 完成 TLSv1.3 握手(`TLS_AES_128_GCM_SHA256`),解析到的节点 `54.192.34.54`;B 机同样 200。 2. "JDK 21 的 TLS 栈有问题" —— 在 A 的容器里直接跑单文件程序 `java /tmp/TlsProbe.java`: HTTP/1.1 串行 200、复用同一 client 再发 200、HTTP/2 200、**共享 client 24 并发 `{OK=24}`**、 每请求新建 client 12 并发 `{OK=12}`、低频 4 并发 8 条全 200(jdk=21.0.7)。 3. "并发打爆了 CDN" —— 配置上峰值只有 `llmRowConcurrency=5` 路主图 + 拼图池 `imageDownloadPoolSize=8`, 而我 24 并发都一次没失败。 → 落到第四点:**旧实现一次都不重试**。`SimilarAsinLlmService.downloadBytes` 单发,握手被 RST 就 `return null`, `prepareImages` 随即抛 `主图转存失败: `,**真实异常被丢掉**(我为了知道原因只能去翻紧邻的上一行日志)。 - **代价的准确形状**(别夸大也别缩小):`prepareImages` 是 `inspectRowInternal` 的**第 1 步**, 在类目匹配/合规/图片对比这些 LLM 调用**之前** → 失败**不烧 token**; 但整行被 `markFailed` → 按现在的重发语义下一轮再来,**白占一轮行位**,最终在结果 Excel 里就是一行失败。 - **改动**:`downloadBytes` 加有界重试。 - 新键 `aiimage.similar-asin.llm-image-download-retry-times`,默认 **2(额外次数,总 3 次尝试)**;置 **0 即完全退回旧行为**。 - **只重试连接级异常**;非 200 直接返回 null 不重试(源站的确定答复,重试只是白等超时)。 - 加 25 秒总预算常量护栏:慢源 hang 住时不放大尾延迟(同模块 alicdn 已被这件事咬过, 见 `SimilarAsinImageEmbedder` 里"8s + retry=1 → 改回 5s + retry=2"那条注释)。 - 重试成功打 `main download retry-success url=… attempt=n/N`;耗尽后抛 `IOException("主图下载失败(<真实原因>)")`, `prepareImages` 再拼成 `主图转存失败: 原因: <真实原因>` → **行失败日志从此自带原因**。 - **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例全绿(抖动两次第三次成功 / 耗尽后异常里带真实原因 / 403 只发一次 / retryTimes=0 退回单次 / 线程中断立刻停止重试且标志回设 / 空 URL 不抛), 原有 `SimilarAsinLlmServiceTest` 8 例未受影响。 - **回滚不用回退 jar**:`/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES="0"` 后重启 java 即可。 该键已按本仓库惯例写进 `application.yml:380`(`llm-image-download-retry-times: ${AIIMAGE_..._RETRY_TIMES:2}`), 所以运维在 yml 里就能看见它,回滚走的是 **yml 占位符**而不是 relaxed binding —— 这条是确定性的。 (补记:第一版我只把默认值写在 Java 字段里,yml 没这一行,那样 env 覆盖就只能靠命名松散绑定;打包后自查发现 `yml has retry key: False` 才补上, 补完必须重打包,因为 yml 在 jar 内。) - **发版后要看的数**:`main download retry-success` 与 `main download fail` 的比值。 若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的, 那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。 ### 6.1 发版后实测(11:57 上线,取到 12:02 的数)—— **结论与上面的预期相反,照实记** 发版:`dd06a1cf`,两台线上 jar 同为 `03eb1049c19ff58f3d8df423aeb6d0e9`(162,591,773 B), health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SERVER=192.168.0.170:9876` 重启后仍是私网值。 主机A 按日志行首本地时间戳切窗口(`docker logs --tail 300000` 落文件后 `substr($0,1,19)` 过滤): | 窗口 | 行数 | 货源行处理 | 行失败 | `main download fail` 行数 | 带 `attempt=` | retry 救回 | 三次耗尽 | |---|---|---|---|---|---|---|---| | 旧代码 11:00–11:56 | 21,583(含下行) | 514 | 75 | 75 | 0 | — | — | | 新代码 11:57–12:02 | 1,581 | 107 | 15 | 49(=18 段重试 ×次数) | 49 | **3** | **15** | - **重试只救回 3/18 = 17%**,另外 15 段三次全耗尽;`err=` 全是同一句 `Remote host terminated the handshake`,非 200 仍是 0 条。 - **行失败率几乎没动**:14.0%(15/107) vs 旧代码 14.6%(75/514)。 - 所以第五节/第六节开头那个"瞬时抖动、重试就能救"的判断**只对了一半**: 它确实是瞬时的(事后几十分钟再取就 200),但**恢复窗口比秒长**—— 250ms/500ms 这种 backoff 撞上的还是同一阵重置,因此只有少数踩在窗口边界上的行被救回。 - **确定拿到的收益**是另外两条,不是重试本身: ① 15/15 条 `row failed` 现在都带 `原因: Remote host terminated the handshake`(旧代码 0 条带原因, `grep -c '主图转存失败: .* 原因: '` 在旧窗口是 0),以后不用再去翻紧邻的上一行; ② 非 200 与连接级失败被分开了(`main download http` 独立计数),不会再混成一个数。 - **剩下的杠杆只有两类**,都需要先量准"恢复窗口到底多长"再决定,本轮没有动: (a) 把 backoff 抬到秒级以上(如 2s/5s,预算 25s 装得下)——但代价是**占住行 worker**, 货源行并发只有 5,每行多挂 7 秒会直接压吞吐; (b) 不加重试、改为**让现有的"整轮重发"去接**(分钟级天然对齐恢复窗口), 代价就是现在这个形状:白占一轮行位。 现在的数据只够说明"秒级重试≈聊胜于无",**不够说明 (a) 有用**—— 要做 (a) 得先按 ASIN 关联"同一 URL 第一次失败 → 后来成功"的时间差分布,这个还没测。 ### 6.2 真根因:解析到的 CDN 边缘不认 `m.media-amazon.com` 这个 SNI,直接 RST(已修:备用域名) 12:08 回读时它**还在掉数据**(窗口总行数 7,029 自证,不是"翻到几条算几条"): `main download fail` 109 条、`retry-success` 只有 3 条、`row failed asin=` 35 条、非 200 仍是 0 条, 失败 host **109/109 全是 `m.media-amazon.com`**。往下查了四层,结论是第五节开头那句"瞬时抖动"只对了一半。 - **第一层:按节点固定 IP 打(`curl --resolve`,每节点 5 次)** —— 失败不是均匀分布,是**整族失败**: `184.27.207.231` 0/5、`184.27.207.245` 0/5(Akamai 系,全 `code=000`,0.2s 内被重置); `3.161.83.53` 5/5、`65.8.31.143` 5/5、`99.84.157.65` 5/5、`18.245.30.82`/`18.64.1.220`/`54.192.34.54` 200(CloudFront 系)。 - **第二层:是不是节点本身死了 / 被墙了?都不是。** 同一个坏 IP 上: 带 SNI `m.media-amazon.com` → `openssl s_client` 3/3 `write:errno=104`; **不带 SNI → 3/3 握手成功**(`TLSv1.3 / TLS_AES_256_GCM_SHA384`); **换 SNI 为 `images-na.ssl-images-amazon.com` → 同一 IP 直接 200**。 TCP 443 两边都能连(`/dev/tcp` 都 yes)→ 复位发生在 ClientHello 之后 = **这台边缘没配这个虚拟主机名**, 不是封禁、不是限流、不是 TLS 版本/套件问题。 - **第三层:为什么会"整批一起挂"** —— 解析本身在抽奖:宿主机 24 次查询里 **15 次(62%)**给的是坏族、 容器内 12 次里 **4 次(33%)**;而 JVM 的正向 DNS 缓存会把抽到的节点钉住一段时间 (`java.security:347` 那行是注释态 → 无 SecurityManager 时按 JDK 默认 30 秒,**这个 30s 没实测**, 但"至少钉住一整批"是被数据证明的:同批 10 行在同一 200ms 内全挂、秒级重试 3/3 同败)。 → §6.1 那 17% 就此得到机械解释:**250ms/500ms 的三次重试全打在同一个坏节点上**, 只有踩在换期边界上的 3 段被救回;把 backoff 抬到 30s 以上确实能行,但要占住并发只有 5 的行 worker,不划算。 - **改法(本次上线)**:连接级失败后的第 2、3 次尝试改用**备用域名** `images-na.ssl-images-amazon.com`, 首试仍用原 URL;只换 host,端口/path/query 逐字符保留。换名等于换一批解析结果,**不等待、不占 worker**。 - 为什么是这个名字:最近 20 条失败 URL 走它 **20/20 成功**,且与原域名取到的字节 **md5 零不一致(20 次比对)**; 反例 `images-amazon.com` **6/6 全 000** —— 所以这是**白名单映射**,不是"随便换个 amazon 域名"。 - 新键 `aiimage.similar-asin.llm-image-host-alias-map`(`application.yml:381`, 默认 `m.media-amazon.com=images-na.ssl-images-amazon.com`,多组用 `;` 分隔), **置空即关掉这条**、退回 §6.1 那版行为;回滚同样是 `/.env` 追加 `export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_HOST_ALIAS_MAP=""` 后重启 java。 - 日志可分辨:救回来的那条会长成 `main download retry-success url=https://images-na.ssl-images-amazon.com/...`。 - **测试**:`SimilarAsinMainImageDownloadRetryTest` 6 例 → **10 例**(首试必须原域名+二次换域名且路径不变 / 映射置空完全退回 / 映射外域名(alicdn)不受影响 / 带端口与 query 的 URL 只换 host),原 6 例语义未改仍全绿。 - **发版后要看的数**:`row failed asin=` 的占比应从 ~14% 往下走;`retry-success` 里 host=images-na 的占比 就是这条的命中量。若失败仍高,说明坏的不止这一族或不止这一个名字,再按同一套逐节点方法复查, 不要直接加 retry 次数。 ### 6.3 §6.2 发版后实测(A 12:33:30 起,约 7 分钟窗口)—— **26/26 全救回,行失败 0** 同一台、同一套计数,只换时间窗(`docker logs --since 95m` 落文件后按 `substr($0,12,8)` 切窗,窗口内总行数一并报出): | 窗口 | 窗口行数 | `main download fail` | 救回(换域名) | 救回(原域名) | 非200 | `row failed asin=` | flush 出的 totalRows | |---|---|---|---|---|---|---|---| | 旧代码 11:00:00–11:56:00 | 17,995 | 60 | 0 | 0 | 0 | **60** | 160(16 次 flush) | | 新代码 12:33:30–12:40:45 | 1,832 | 26 | **26** | 0 | 0 | **0** | 20(2 次 flush) | - **旧代码是 1:1**:60 次握手失败 = 60 行判失败(一次都没救回)。 **新代码是 26 次失败全部由备用域名救回,行失败 0** —— 换域名这条路是成立的, 而 §6.1 那 17% 正是因为三次秒级重试打在同一个坏节点上。 - 别把这张表读成"行失败率归零":新窗口只有 20 行样本(货源任务是间歇的), 能证的是**"连接级失败 → 行失败"这条因果被切断了**(26/26), 行级占比要等攒够几百行再按 §6.1 的口径复测。 - `resc_same=0` 也是有效信息:原域名上再试一次**一次都没救回来**, 与"被钉住的是节点不是时刻"完全一致。 ## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板) - 实测 `du -m /var/lib/docker/containers/*/*-json.log` 的前几名**及归属**(id 取目录名,别用 `basename $f -- '-json.log'`, 那写法会把 id 取空、`docker inspect` 报错,然后被我自己的兜底文案伪装成"残留目录"这个假结论): | 主机 | 当前体积 | 容器 | 容器创建时间 | **实测日均**(近 2 万行的时间跨度折算) | |---|---|---|---|---| | B | **3591 MB** | `1Panel-openresty-iXP2` | 2026-04-09 | **184 MB/天**(619,577 行/天) | | A | **2666 MB** | `java-server` | 2026-09-16 | **180 MB/天**(385,887 行/天) | | B | 1063 MB | `1Panel-gitea-AgMc` | 2026-08-12 | 53 MB/天(158,025 行/天) | | B | 318 MB | `java-server` | 2026-09-16 | 41 MB/天(144,687 行/天) | | A | 1820 MB | `1Panel-openresty-8XvI` | 2026-04-09 | 9 MB/天(31,926 行/天) | | A | 1684 MB | `shufu-redis-master` | 2026-08-25 | **0.2 MB/天(1,742 行/天)** | ⚠ **第一版这张表我是拿"体积 ÷ 存活天数"摊的,几乎每行都错**(redis 摊出 "~50 MB/天"、B openresty 摊出 "~21 MB/天")。 正确做法是 `tail -n 20000` 的首尾两条 `"time"` 求跨度,再用 `tail -n 20000 | wc -c` 求字节量 —— 摊出来的平均会把 历史上的突发当成常态,还会把"最近才变快的"(B openresty)压平。 - **redis 那 1.68GB 已经查清了,不是"速率异常",是一次 9 分钟的重连风暴**: 全文共 10,617,262 行 / 平均行长 165 字节,而按行号采样时间戳, **第 1 行 = `2026-08-25T05:34:16`(容器刚创建)、第 10,070,001 行 = `2026-08-25T05:43:27`** → 95% 的体积是**创建后头 9 分钟**写出来的,之后到 09-18 才又爬了 53 万行。 那 9 分钟在刷什么:`Master replied to PING, replica…` / `Non blocking connect for SYNC fa…` / `Retrying with SYNC…` / `(Non critical) Master does not …` / `Trying a partial resynchroniz…` / `Unexpected reply to PSYNC from …` / `MASTER aborted replication with…` / `Reconnecting to MASTER 192.168.…` —— 典型的**副本对主库的 PSYNC 被拒 → 立刻重连**紧循环(10.07M 行 ÷ 551 秒 ≈ **1.8 万行/秒**),不是 crash。 当前这台的实际写入量是 **2.9 字节/秒 ≈ 0.25 MB/天**(就是每 5 分钟一次 BGSAVE 那三行), 所以这条从"值得单独取证"降级为"历史一次性事件,止血时随别的一起 truncate 即可"。 - **但顺带查到一条会误导人的事实:redis 容器名与实际角色是反的**(`docker logs | grep -oE '[0-9]+:[SMX] [0-9]{2} [A-Za-z]{3}' | tail -1` 实测): A 上叫 **`shufu-redis-master`** 的容器今天的前缀是 **`1:S`(slave)**,B 上叫 **`shufu-redis-replica`** 的容器是 **`1:M`(master)**, 两边 sentinel 日志里都留着 `25 Aug 06:32:56 +switch-master mymaster 192.168.0.171 16379 → 192.168.0.170 16379` —— 也就是 8-25 那次故障切换之后角色就固定在"名字相反"的状态了(上面那场 SYNC 风暴正是那次切换前后发生的)。 **看名字判断主从会判反**,要认角色读日志前缀或 `INFO replication`。这也和第六节 java 侧实测一致:数据连接落在 `.170`。 - **B openresty 为什么涨到 193 MB/天 —— 已定性,是客户端轮询而不是攻击**: 按行号采样时间戳看增长曲线,`2026-04-09` 到 `2026-09-11` 才写到第 90 万行(约 6 千行/天), 之后每 90 万行只花 1~2 天 → **9-11 前后涨了约 100 倍**。近 2 万行的构成: `/newApi/api/collect-data/tasks/progress/light` 5,073 + `price-track` 1,471 + `appearance-patent` 1,325 + 其余各 `progress/light` 合计约 8,400 行(**42%**)、`/api/tasks/pull-pending` 3,201(16%)、 `/newApi/api/notifications/summary` 2,947(15%)→ **约 73% 的访问日志是这三个轮询接口**。 状态码:20,000 行里匹配到状态码的有 19,878 条,其中 **200 = 19,784、304 = 94,4xx/5xx = 0** (剩 122 行是 nginx 自己的 notice/error 行,不带状态码)→ 不是被打,是自己人在轮询。 **可选的低成本止血**(本轮没做,属要人拍板:会损失这些接口的访问记录): 在 B 的 openresty 站点配置里对 `progress/light`、`pull-pending`、`notifications/summary` 三条 location 加 `access_log off;`(或单独降级到一个可轮转的日志文件),按上面的占比**能砍掉约 7 成的 193 MB/天**, 且 `nginx -s reload` 是 graceful、**不重启容器、不断长连接**。 反过来说:如果以后要靠访问日志查"某次轮询有没有返回过 304/401",这条就查不到了 —— 所以先问要不要留样。 - **来源构成(同一批 20,000 行里数 `{"log":"` 后面的 IP,注意宿主机 `ss` 与 `grep '^[0-9]'` 两种写法都取不到,因为每行以 JSON 开头)**: 一共只有 **10 个来源 IP**,`8.149.69.98` 一个占 **12,843 行(64%)**,`8.139.247.224` 2,875、`8.139.195.39` 2,201、 `183.253.114.241` 441、`8.139.170.222` 413、`183.220.59.30` 407、`120.33.224.243` 296、`121.205.250.173` 166、 **`47.110.241.161` 68(= 主机A 自己的 EIP)**。UA 分布:`Mozilla/5.0 Windows` 12,904、`python-requests/2.32.5` 6,698、 `python-requests/2.32.3` 153、`Mozilla WOW64` 35(合计 19,790,其余是 nginx 自己的 notice 行)。 `python-requests` 那批打的是 `/api/tasks/pull-pending`(3,203) + `/api/internal/device-logs/upload`(834) + `device-logs/config`(658) + `user-secret-usage`(136) + `similar-asin/tasks//result` + `tasks//heartbeat` → **是采集端在领任务/回报,不是外部扫描**,所以 193 MB/天是"自家轮询设计"的账单,要降量得从轮询频率/日志策略两侧挑一边。 - **顺带发现一条真实的公网绕行,但调用方没认领到(不要当成已定性)**:`47.110.241.161`(主机A 的 EIP)作为**客户端**出现了 68 次, UA 是 `axios/1.20.0`,打的是 `GET /newApi/check_login` 和 `POST /newApi/login`(10:59:48–49 连续一串,全 200)。 那一刻 A 宿主机与各容器 netns 里到 `121.196.149.225` 的 ESTAB 都是 **0 条**(短连接,采样撞不上)。 A 上常驻两个 node 进程(`/www/wwwroot/jlyj.ditiansui.online/server/video-api.js` 跑了 18 天、`dist/server/main.js` 跑了 5 天) **只是候选,我没证到是它俩之一** —— 想认领就在 A 上 `tcpdump -i eth0 -nn host 121.196.149.225 and port 443 -c 3` 拿源端口, 再 `ss -tnp 'sport = :<端口>'` 取 pid。**注意这是 Node 侧发出的 axios(浏览器发的 axios 会带 Mozilla UA)**, 所以是服务器上的脚本在按域名登录自己的 API,不是用户在刷页面。 量级 68/20,000 = 0.34%,**不是性能问题**,本轮没动。 它给 §4.4 那句"两台之间业务链路无公网残留"划了个边界:**那句的范围是 java↔MySQL/redis/MQ/OSS**(已实测走私网), 不含"A 上还可能有别的进程按 `api.aishufu.top` 域名绕回 B"。 - **磁盘不紧张**(A 用 33% 剩 317G、B 用 18% 剩 388G),真正的代价是**取证速度**,而且我一开始把这条判错了: 实测同一台 A 上 `docker logs --tail 5` = **12 ms**(docker 从文件尾部反向取), 而 `docker logs --since 1m` = **19,631 ms**、`docker logs`(全量 6,286,829 行)= 22,063 ms → **`--since` 一点都省不了,它仍然从头解析整个 2.6GB 文件**;省的是输出量,不是时间。 本轮我所有探测都用 `--since`,等于每次白付 ~20 秒。 **以后探测一律优先 `--tail N` + 本地按时间戳过滤**,只有真的要看"某个绝对时间点之后"才用 `--since`。 - 想加 `log-opts: {max-size, max-file}` 要改 `/etc/docker/daemon.json` 并 `systemctl restart docker`,而 **两台的 daemon.json 里只有 `registry-mirrors`、没有 `live-restore`**(docker 默认 false)→ **重启 dockerd 会把该机上所有容器一起重启**,包括 MySQL 主库、MinIO、redis 四件套、两台 java。这是本条没做的直接原因。 - 还有一层:`log-opts` 只对**新建容器**生效,现有容器得 recreate 才吃到 —— 而 recreate 又会把今晚 `docker update` 抬的三处内存限额打回(见第一节附的表)。 - 所以顺序建议:① 先把三处限额写进 1Panel 控制台(持久化)→ ② 开 `live-restore: true`(这一次重启仍会连带重启容器, 但**之后**重启 dockerd 就不再影响业务)→ ③ 最后逐台加 `log-opts` 并按 recreate 窗口滚动生效。 - 期间可以做的**低风险止血**(不需要决策,但要写文件,本轮没动):把已经确认不需要的历史 json.log 用 `truncate -s 0` 清零(docker 以 O_APPEND 持有 fd,清零后继续写、不会破坏文件), 一次能回收 2.6GB/1.7GB/3.6GB。**代价是那段历史读不回来了** —— 今晚的取证全靠这些日志, 所以我倾向于先给 java 的日志降量或先把关键窗口 dump 出来,再清零。这条留给用户定。 - **如果只做一次 `truncate`,先做 A 的 `shufu-redis-master`**:它的文件 17.65 亿字节里有 **10.07M/10.62M 行(95%)是 2026-08-25 05:34:16–05:43:27 那 9 分钟的一次性风暴**, 当前只写 0.25 MB/天 —— 清掉它几乎不损失任何"以后可能还要看"的东西,一次回收 1.7GB。 相比之下 java/B-openresty 那两坨是**持续的**(180–193 MB/天),清完三天就长回来,属于必须配 `log-opts` 才解决的那类。 清的顺序按**实测增速**而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级; redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。 ### 7.1 增速与保留期都改成"实测值"(12:44 复测,方法可复跑) 上面那张日均表是用 `--tail` 首尾时间戳算的;这次换个更省的做法,一次拿全**体积、保留期、增速**: `head -c 3000` / `tail -c 3000` 各取一条记录里的 `"time":"…Z"`(json-file 的 `time` 字段是 **UTC**, 比行内那个本地时间戳好认),体积差用 **60 秒 `stat -c %s` 取 delta**,不用整文件扫。 | 主机 | 容器 | 体积 | 现存最早一条 | 最新一条 | 实测增速 | |---|---|---|---|---|---| | B | `1Panel-openresty-iXP2` | 3,776,044,511 | 2026-04-09T15:53Z | 09-28T04:44Z | **186 MB/天** | | B | `1Panel-gitea-AgMc` | 1,117,366,739 | 2026-08-12T05:09Z | 09-28T04:44Z | **58 MB/天** | | B | `java-server` | 335,763,998 | 2026-09-16T16:27Z | 09-28T04:44Z | **78 MB/天** | | A | `java-server` | 2,806,448,699 | 2026-09-16T16:27Z | 09-28T04:45Z | **219 MB/天** | | A | `1Panel-openresty-8XvI` | 1,907,609,884 | 2026-04-09T16:23Z | 09-28T04:38Z | 0(60s 内没写) | | A | `shufu-redis-master` | 1,765,409,908 | 2026-08-25T05:34Z | 09-28T04:42Z | 0 | - 两台合计 **11.7 GB**,稳态增速 **~540 MB/天**;磁盘 A 用 34%(316G 空)、B 用 18%(389G 空) → **按稳态算根本不紧急,几年都填不满**。所以"要不要配 `log-opts`"的理由不是省磁盘。 - 真正的理由是这两条: ① **风暴型写入没有上限**:redis 那 1.77GB 里 95% 是 2026-08-25 那 9 分钟写进去的(§七), 一次事件就能顶掉一个月的稳态量,`max-size/max-file` 是唯一能兜住它的东西; ② **读日志本身变贵**:`docker logs --since 3h` 在这台是 19.6 秒(要从头扫 2.8GB), `--tail N` 才是 12ms —— 今晚取证全程只能绕着 `--since` 走。 - 注意 `java-server` 的"最早一条"两台都是 `2026-09-16T16:27Z`:那是容器重建时间,不是保留策略。 现在**没有任何轮转**,文件只跟随容器存活期长,重建才清零 → 别把"只留了 11 天"当成配置过 retention。 ## 八、品牌检测现在是坏的:代理 IP 供应商回「套餐不存在」(需人掏钱/换供应商) 发版 A 之后做启动异常采样时撞出来的,量级比 §六 那条更大,但**根因不在我们代码里**。 - **java 侧现象**(主机A,`--since 60m`,窗口总行数 20,590 行自证): `[brand-check]` 告警 **2,859 条 = 全机日志的 13.9%**,其中 `服务端返回查询失败将重试` 2,062、`整批耗时预算用尽` 341、`重试耗尽判定查询失败` **402**(涉及 **270 个品牌名/小时**), `请求异常将重试` 只有 21 条(全是 `HTTP/1.1 header parser received no bytes`)。 → 也就是说**服务在正常应答,但每次都把品牌放进 `query_faild_data`**。 - **归因到服务自己**(16890 = 宿主机进程 `python api.py`,cwd `/root/BrandTesting`,pid 324327,已连续跑 59 天): 读它自己的 `/root/BrandTesting/nohup.out` 尾部 400KB(5,580 行)做形状统计: - `获取代理失败: 'NoneType' object has no attribute 'get'` × **286** - `代理请求结果->: {"code":-1,"data":null,"status":…,"message":"套餐不存在"}` × **285** - 紧接着 `json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)` × **280**(把非 JSON 响应喂进 `json.loads`) - 同期 `INFO: 127.0.0.1:xxx - "POST /brand_check HTTP/1.1" … OK` × 310 → HTTP 层一直是好的 → **代理商那边的套餐不存在/已到期**,不是限流、不是网络、不是 java 超时、也不是 §四 那条公网带宽问题。 钱或新供应商是唯一的入口,代码侧调不动。 - **别顺手砍 java 的重试**:进入重试的品牌直方图是 `attempt=1/10 → 401`、2→311、3→289、4→267、5→230、6→177、7→164、8→127、9→96, **每档还在救回 7–22%**,砍 `AIIMAGE_BRAND_CHECK_RETRY_TIMES` 等于把可恢复的品牌直接写成"查询失败"给客户看。 真正的浪费点是 90 秒整批预算(`total-timeout-millis:90000`)每小时用尽 341 次 —— 分片回传的时延上界就是它, 历史上曾有一次被拖到 103.5s 导致客户端中止整轮采集(taskId 28599,代码注释里记着)。 **等套餐恢复后这两个数要重新量**,现在做的任何调参都是在坏上游上调。 - **附带把一条旧判断证伪**:A 上访问自己的公网 EIP 并不慢(对小请求而言)。 同一秒内各打 3 次 `GET :16890/`:`47.110.241.161` → `time_connect=0.27/0.35/0.27 ms`, `192.168.0.171` → `0.066/0.065/0.061 ms`。差 4 倍但**绝对值都可忽略**; §四 说的 5–8 Mbps 只在**大块传输**(下载图片/上传对象)时咬人,别拿它去解释小 POST 的失败。 - **另一个纯运维项**(我没擅动,属可执行清单):`/root/BrandTesting/nohup.out` 已 **941,635,295 B**, 实测 30 秒长 27,021 B ≈ **1.1 GB/天**,比 §七 里任何容器日志都快;磁盘 492G 用了 156G(34%)暂时不致命。 进程是 `nohup` 追加写、不能发信号重启 → 只能 `logrotate` 配 `copytruncate`(保留几轮 + 压缩)。 这是客户排障唯一的日志来源,保留策略要人点头,所以先记命令不执行。