huangzd1997
|
6df20ff5c6
|
docs(运维): §九 补齐 110 秒锁等待的持锁方取证与两处修法
上一版写"持锁方仍未定位"是错的,实际已定位到外观专利的 stale 恢复路径。
同时记两条当时看着像证据其实不是的判据(CglibAopProxy 出现在栈里 ≠ 在事务里;
burst 之后抓的线程转储不能当反证),以及 MySQL 业务账号无 PROCESS、加权限留人工决定。
|
2026-09-28 14:11:49 +08:00 |
|
huangzd1997
|
d70c472cab
|
docs(运维): 记下落域修复的实测(26/26 救回、行失败 0)与品牌检测坏上游
品牌检测现在整小时 270 个品牌被判"查询失败",根因在 16890 自己的日志里:
代理 IP 供应商回「套餐不存在」——java 侧调参救不了,砍重试只会把可恢复的品牌写死。
顺带把容器日志的增速/保留期换成可复跑的实测法,并纠正"A 访问自己 EIP 很慢"这条:
小请求握手只差 0.2ms,5–8Mbps 只咬大块传输。
|
2026-09-28 12:47:03 +08:00 |
|
huangzd1997
|
e5b79b71e1
|
fix(货源): 主图重试换备用域名绕开被钉死的坏 CDN 节点
根因不是"瞬时抖动":m.media-amazon.com 的多 CDN 池里 Akamai 系边缘没配这个
虚拟主机名,带该 SNI 一律 RST(同 IP 不带 SNI 或用 images-na.ssl-images-amazon.com
则正常),而 JVM 正向 DNS 缓存会把坏节点钉住一整批 → 秒级重试三次全打在它身上。
实测最近 20 条失败 URL 走备用域名 20/20 成功且 md5 与原域名逐字节相同。
|
2026-09-28 12:29:39 +08:00 |
|
huangzd1997
|
8f3b879d80
|
docs(货源): 记下发版后实测——秒级重试只救回 17%,真实收益是失败原因上行
原判断"瞬时抖动,重试就能救回整行"被自己这次的数推翻(行失败率 14.0% vs
旧代码 14.6%),恢复窗口是分钟级;注释与文档一并改成实测口径,避免下一个人
照错的结论去抬 backoff。
|
2026-09-28 12:05:53 +08:00 |
|
huangzd1997
|
3a39c36bde
|
fix(货源): 主图转存对瞬时 TLS 重置做有界重试,失败行日志带上真实原因
生产取证:主机A 近 3 小时 252 条 `main download fail` 全是 m.media-amazon.com 的
"Remote host terminated the handshake",而这些 URL 事后重取 8 条里 7 条直接 200。
旧实现单发、握手被 RST 就 return null 并丢掉真实异常,导致整行白占一轮重发。
新增 aiimage.similar-asin.llm-image-download-retry-times(默认额外 2 次,置 0 退回旧行为),
只重试连接级异常,非 200 不重试;25 秒总预算防慢源放大尾延迟;重试耗尽抛 IOException
让行失败原因上行到日志。
|
2026-09-28 11:52:11 +08:00 |
|
huangzd1997
|
9efb39b0a5
|
docs(运维): 把 env 三层读值坑补成可复跑配方(含 11:1x 三层实测值)
收尾体检时用 pgrep 拿到 java 子进程 PID 回读,确认 /.env 的两行覆盖真吃到了:
Config.Env 与容器入口进程 environ 都还是公网 121.196.149.225:9876,只有 java 子进程是
192.168.0.170:9876 —— 原因是 /proc/pid/environ 只反映最后一次 execve,shell 之后 source
不回写。顺带记下一条禁令:不要用 docker exec 手工起服务,那条路会绕过 run.sh 退回公网值。
|
2026-09-28 10:48:59 +08:00 |
|
huangzd1997
|
0729e15875
|
docs(运维): 认领那条 26ms 公网依赖=1688 商品图 CDN,归为不可改造项
前一版只写到"认不出属于哪个业务调用"。现在用"在 A 本机解析外部 CDN 域名"补齐了:
47.115.192.140 是 cbu01.alicdn.com 的 8 条 A 记录之一(工作站解析拿不到这批节点,
所以按 IP 反查会漏,也因此解释了它时有时无)。代码侧四处注释互证为货源图片下载链路。
结论是外部 CDN、没有切内网的选项,抬并发只会抢 5-8Mbps 公网出口,归入"不动"。
顺带纠正自己上一版把 0.405ms 当成其中一条连接 rtt 的取数错误。
|
2026-09-28 10:44:27 +08:00 |
|
huangzd1997
|
55d7f2c544
|
docs(运维): 补 MySQL 生效值与 VPC 内 RTT 实测,修正端口暴露面清单
A 的 MySQL 生效值终于读到(bp=8192MB、命中 99.99994%、连接峰值 45/500),
结论是这台不该再动内存/连接数;A 绑 0.0.0.0 的端口实为 18 个而非 5 个,
四个 redis 口实测均要求鉴权。同时记下一个 ss -ti 字段误读:retrans 抓到的是
bytes_retrans(字节)而非重传次数,内网对象通道 37MB 上传仅 0.11% 字节重传。
|
2026-09-28 10:30:03 +08:00 |
|
huangzd1997
|
41af66bb4c
|
docs(运维): 记录 RocketMQ 走私网与 Nacos 关停,纠正 brokerIP1 取证错判
MQ 侧 brokerIP1 与 namesrv 两处都改完并回读到真实跨机投递(10:12 的 jobId=20831
A 投 B 收,约 370ms),Nacos 因鉴权关闭 + 三端口绑 0.0.0.0 且零客户端而停掉。
上一版"broker.conf 里没有 brokerIP1"是查错了文件(读的是发行包默认那份而非
bind mount 实际加载那份),已写明正确路径与备份位置。
|
2026-09-28 10:20:53 +08:00 |
|
huangzd1997
|
a79f7f4bc6
|
docs(运维): 补中间件三处线上改动与公网/私网带宽实测
Gitea 七笔已推完(a58dc8a6→ff182acd);cgroup 限额与 nginx body 上限的改法、
回滚值和四个取证坑(docker update 须同给 memory-swap、ss 要看容器 netns 且对端在第 5 列、
1Panel 访问日志真实路径)写进已核区,避免下次重新推一遍。
实测公网 5–8 Mbps 对私网约 1 GB/s 差一千倍,据此把剩下的两处公网依赖(OSS 端点回环、
MQ namesrv/broker)列为待改项,并记下 A 侧 3306/6379/9000/18080/16890 对公网开放且 MySQL
账号为 % 通配——收口需人在阿里云安全组操作,其中复制已确认走 VPC,收公网 3306 不断副本。
|
2026-09-28 08:42:13 +08:00 |
|
huangzd1997
|
ff182acd16
|
docs(运维): 补记今夜两版上线回读,并核掉健康评估报告第 6 条
报告称外观/货源的 allRowCount/loadAllRowsByBaseId 静默返回 0 会造成假完成,
逐个调用点读完确认不成立:它们只喂展示字段与同组回填,完成判定走的是不带
try/catch 的载荷读取 + 覆盖率阈值。顺这条链查出的是整批完成标记不区分是否
真的落库,已在上一笔修掉。
|
2026-09-28 03:23:33 +08:00 |
|
huangzd1997
|
f4f6e414f0
|
fix(外观专利): 完成标记只打在真正落库的行上
网关少回一行、或回来的 rowToken 在分片里匹配不到时,整批结果落库不完整,
但调用方仍把全部发送行标成已检测:没落库的那行带着"已检测"的空壳 24 小时内
不再补检,用户扣了次数却在结果里永久没有结论。合并写入改为回报真正写进去的
行键,只对这些行打完成标记,其余撤销交下一轮重发(受轮次上限约束)。
|
2026-09-28 03:09:49 +08:00 |
|
huangzd1997
|
f8e642588d
|
docs(运维): 守卫绑定一栏改为已实现,补 role 分布与 uid 同源的取证
|
2026-09-28 02:31:36 +08:00 |
|
huangzd1997
|
4b914f4bd9
|
docs(运维): 2026-09-28 夜生产待人工决策清单
守卫收紧要分「绑定」与「要求凭据」两步、MySQL buffer pool 与容器限额冲突、
B 机副本读分流前置取证、真删开关与 V138 观察期,均按今晚重新取证的数字写明代价。
|
2026-09-28 02:03:33 +08:00 |
|