docs(运维): 记下落域修复的实测(26/26 救回、行失败 0)与品牌检测坏上游

品牌检测现在整小时 270 个品牌被判"查询失败",根因在 16890 自己的日志里:
代理 IP 供应商回「套餐不存在」——java 侧调参救不了,砍重试只会把可恢复的品牌写死。
顺带把容器日志的增速/保留期换成可复跑的实测法,并纠正"A 访问自己 EIP 很慢"这条:
小请求握手只差 0.2ms,5–8Mbps 只咬大块传输。
This commit is contained in:
2026-09-28 12:47:03 +08:00
parent e5b79b71e1
commit d70c472cab
+79
View File
@@ -11,8 +11,12 @@
| `6a82697a` | MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min | 已上线 |
| `2d33f478` | 用户态接口的 `user_id` 归属改由令牌身份判定(只绑定、暂不要求凭据) | 已上线 |
| `10dec56e` | 外观专利:完成标记只打在真正落库的行上(少回的行撤销重发) | 已上线 |
| `dd06a1cf` | 货源主图转存:连接级失败做有界重试,失败行日志带上真实原因 | 已上线(实测见 §6.1) |
| `a6e4a589` | 货源主图重试改走备用域名,绕开被钉死的坏 CDN 节点 | 已上线(实测见 §6.3) |
线上产物:`162,590,216 B` / md5 `b834d489c8640fd1f6cc9d51238f4606`,两台一致。
(当前线上已推进到 `162,592,865 B` / md5 `0c941fc78f64a39676e22fe9c301a01c`,12:32 发 B、12:33 发 A,两台一致;
中间那版是 `03eb1049c19ff58f3d8df423aeb6d0e9`。)
(今夜此前两版:`e97fd273473db849b705a766b7b505c7` → `e0854c23cc99344a6ddadbf2019e08bf`。)
发版后回读(重启后 5–15 分钟窗口,A 4780 行 / B 530 行日志):健康 200、Flyway 137 up to date、
instanceId `server-110`/`server-121`、ERROR 0 条、绑定 403 0 条、`[admin-guard] rejected` 0 条、
@@ -533,6 +537,24 @@ health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SE
就是这条的命中量。若失败仍高,说明坏的不止这一族或不止这一个名字,再按同一套逐节点方法复查,
不要直接加 retry 次数。
### 6.3 §6.2 发版后实测(A 12:33:30 起,约 7 分钟窗口)—— **26/26 全救回,行失败 0**
同一台、同一套计数,只换时间窗(`docker logs --since 95m` 落文件后按 `substr($0,12,8)` 切窗,窗口内总行数一并报出):
| 窗口 | 窗口行数 | `main download fail` | 救回(换域名) | 救回(原域名) | 非200 | `row failed asin=` | flush 出的 totalRows |
|---|---|---|---|---|---|---|---|
| 旧代码 11:00:00–11:56:00 | 17,995 | 60 | 0 | 0 | 0 | **60** | 160(16 次 flush) |
| 新代码 12:33:30–12:40:45 | 1,832 | 26 | **26** | 0 | 0 | **0** | 20(2 次 flush) |
- **旧代码是 1:1**:60 次握手失败 = 60 行判失败(一次都没救回)。
**新代码是 26 次失败全部由备用域名救回,行失败 0** —— 换域名这条路是成立的,
而 §6.1 那 17% 正是因为三次秒级重试打在同一个坏节点上。
- 别把这张表读成"行失败率归零":新窗口只有 20 行样本(货源任务是间歇的),
能证的是**"连接级失败 → 行失败"这条因果被切断了**(26/26),
行级占比要等攒够几百行再按 §6.1 的口径复测。
- `resc_same=0` 也是有效信息:原域名上再试一次**一次都没救回来**,
与"被钉住的是节点不是时刻"完全一致。
## 七、容器 json 日志已长到 2.7–3.6GB,`daemon.json` 里没有任何 log-opts(需人拍板)
@@ -621,3 +643,60 @@ health 200、Flyway 137 无新迁移、`ERROR` 0 条、`AIIMAGE_ROCKETMQ_NAME_SE
清的顺序按**实测增速**而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级;
redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。
### 7.1 增速与保留期都改成"实测值"(12:44 复测,方法可复跑)
上面那张日均表是用 `--tail` 首尾时间戳算的;这次换个更省的做法,一次拿全**体积、保留期、增速**:
`head -c 3000` / `tail -c 3000` 各取一条记录里的 `"time":"…Z"`(json-file 的 `time` 字段是 **UTC**,
比行内那个本地时间戳好认),体积差用 **60 秒 `stat -c %s` 取 delta**,不用整文件扫。
| 主机 | 容器 | 体积 | 现存最早一条 | 最新一条 | 实测增速 |
|---|---|---|---|---|---|
| B | `1Panel-openresty-iXP2` | 3,776,044,511 | 2026-04-09T15:53Z | 09-28T04:44Z | **186 MB/天** |
| B | `1Panel-gitea-AgMc` | 1,117,366,739 | 2026-08-12T05:09Z | 09-28T04:44Z | **58 MB/天** |
| B | `java-server` | 335,763,998 | 2026-09-16T16:27Z | 09-28T04:44Z | **78 MB/天** |
| A | `java-server` | 2,806,448,699 | 2026-09-16T16:27Z | 09-28T04:45Z | **219 MB/天** |
| A | `1Panel-openresty-8XvI` | 1,907,609,884 | 2026-04-09T16:23Z | 09-28T04:38Z | 0(60s 内没写) |
| A | `shufu-redis-master` | 1,765,409,908 | 2026-08-25T05:34Z | 09-28T04:42Z | 0 |
- 两台合计 **11.7 GB**,稳态增速 **~540 MB/天**;磁盘 A 用 34%(316G 空)、B 用 18%(389G 空)
→ **按稳态算根本不紧急,几年都填不满**。所以"要不要配 `log-opts`"的理由不是省磁盘。
- 真正的理由是这两条:
① **风暴型写入没有上限**:redis 那 1.77GB 里 95% 是 2026-08-25 那 9 分钟写进去的(§七),
一次事件就能顶掉一个月的稳态量,`max-size/max-file` 是唯一能兜住它的东西;
② **读日志本身变贵**:`docker logs --since 3h` 在这台是 19.6 秒(要从头扫 2.8GB),
`--tail N` 才是 12ms —— 今晚取证全程只能绕着 `--since` 走。
- 注意 `java-server` 的"最早一条"两台都是 `2026-09-16T16:27Z`:那是容器重建时间,不是保留策略。
现在**没有任何轮转**,文件只跟随容器存活期长,重建才清零 → 别把"只留了 11 天"当成配置过 retention。
## 八、品牌检测现在是坏的:代理 IP 供应商回「套餐不存在」(需人掏钱/换供应商)
发版 A 之后做启动异常采样时撞出来的,量级比 §六 那条更大,但**根因不在我们代码里**。
- **java 侧现象**(主机A,`--since 60m`,窗口总行数 20,590 行自证):
`[brand-check]` 告警 **2,859 条 = 全机日志的 13.9%**,其中
`服务端返回查询失败将重试` 2,062、`整批耗时预算用尽` 341、`重试耗尽判定查询失败` **402**(涉及 **270 个品牌名/小时**),
`请求异常将重试` 只有 21 条(全是 `HTTP/1.1 header parser received no bytes`)。
→ 也就是说**服务在正常应答,但每次都把品牌放进 `query_faild_data`**。
- **归因到服务自己**(16890 = 宿主机进程 `python api.py`,cwd `/root/BrandTesting`,pid 324327,已连续跑 59 天):
读它自己的 `/root/BrandTesting/nohup.out` 尾部 400KB(5,580 行)做形状统计:
- `获取代理失败: 'NoneType' object has no attribute 'get'` × **286**
- `代理请求结果->: {"code":-1,"data":null,"status":…,"message":"套餐不存在"}` × **285**
- 紧接着 `json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)` × **280**(把非 JSON 响应喂进 `json.loads`)
- 同期 `INFO: 127.0.0.1:xxx - "POST /brand_check HTTP/1.1" … OK` × 310 → HTTP 层一直是好的
→ **代理商那边的套餐不存在/已到期**,不是限流、不是网络、不是 java 超时、也不是 §四 那条公网带宽问题。
钱或新供应商是唯一的入口,代码侧调不动。
- **别顺手砍 java 的重试**:进入重试的品牌直方图是 `attempt=1/10 → 401`、2→311、3→289、4→267、5→230、6→177、7→164、8→127、9→96,
**每档还在救回 7–22%**,砍 `AIIMAGE_BRAND_CHECK_RETRY_TIMES` 等于把可恢复的品牌直接写成"查询失败"给客户看。
真正的浪费点是 90 秒整批预算(`total-timeout-millis:90000`)每小时用尽 341 次 —— 分片回传的时延上界就是它,
历史上曾有一次被拖到 103.5s 导致客户端中止整轮采集(taskId 28599,代码注释里记着)。
**等套餐恢复后这两个数要重新量**,现在做的任何调参都是在坏上游上调。
- **附带把一条旧判断证伪**:A 上访问自己的公网 EIP 并不慢(对小请求而言)。
同一秒内各打 3 次 `GET :16890/`:`47.110.241.161` → `time_connect=0.27/0.35/0.27 ms`,
`192.168.0.171` → `0.066/0.065/0.061 ms`。差 4 倍但**绝对值都可忽略**;
§四 说的 5–8 Mbps 只在**大块传输**(下载图片/上传对象)时咬人,别拿它去解释小 POST 的失败。
- **另一个纯运维项**(我没擅动,属可执行清单):`/root/BrandTesting/nohup.out` 已 **941,635,295 B**,
实测 30 秒长 27,021 B ≈ **1.1 GB/天**,比 §七 里任何容器日志都快;磁盘 492G 用了 156G(34%)暂时不致命。
进程是 `nohup` 追加写、不能发信号重启 → 只能 `logrotate` 配 `copytruncate`(保留几轮 + 压缩)。
这是客户排障唯一的日志来源,保留策略要人点头,所以先记命令不执行。