huangzd1997
|
812ac31a48
|
docs(运维): §13.5 可观测改动两台发版验收(md5 6880abb0,ran=false 已能在巡检里读到)
|
2026-09-28 17:22:39 +08:00 |
|
huangzd1997
|
575b7f9f8c
|
fix(可观测): 让"续跑/兜底拉取没开"在日志里可辨识,并纠正与 yml 相反的默认值
V129 客户端中断自动续跑从上线至今一次都没执行过:aiimage.task-resume.enabled
继承 aiimage.client-task-pull.enabled,两台生产两个键都没设 → false →
resumeInterruptedTasks() 第一行 return。7 天 12 个「客户端异常中断」任务、
48 轮巡检 resume(s=0 r=0 k=0 u=0)、pull-pending 1 小时 4443 次空返回,
在日志上与"恰好没有中断任务"完全同形。
不改开关(属产品语义:兜底拉取会把用户只解析没点启动的 PENDING 真跑,
而外观专利占 LLM 花费 95% 且扣用户自付次数),已写进决策文档 §十三 交人工决定。
本版只做三件事:
- ResumeStats.ran:真查过库才算跑过;巡检段位改 resume(ran= s= r= k= u=)
- TaskResumeService / TaskClientPullService 各加 @PostConstruct 生效配置启动行
- @Value 的 enabled 默认由 :true 改为继承 client-task-pull.enabled:false(与 yml 同语义)
测试:TaskResumeServiceTest +4、TaskClientPullServiceTest +1,全量 3271 通过 / 0 失败。
|
2026-09-28 16:52:33 +08:00 |
|
huangzd1997
|
35f0debb69
|
docs(运维): §12.6 开机自回收上线验收,并更正按文案计数这条判据口径
回收日志 count=3 出现在启动后 9.9 秒,三条在飞作业 retry_count 跨发版一个没涨(含已到 3 的 20833)。
同时记下 error_message 会被下一轮处理覆盖, reclaimed_rows 读到 0 不等于机制没工作。
|
2026-09-28 16:16:12 +08:00 |
|
huangzd1997
|
7bb03466b0
|
fix(任务): 开机自回收改以本进程启动时刻为界,发版不再蚕食结果文件作业的重试次数
原判据是 now-max(60,staleSeconds),但 ApplicationReadyEvent 只在重启后几秒响一次,
那时遗留行的心跳也只停了几秒,条件结构上永不成立——线上"实例重启,作业已重新排队"累计 0 条。
遗骸改由 stuck 扫描按 +1 重试处理(今天 A 发了 7 版、重试预算只有 5),
20833 已被吃掉一次,20836/任务29475 就是被这条链判成"已达到最大重试次数"的。
|
2026-09-28 15:59:47 +08:00 |
|
huangzd1997
|
2689fd5e1f
|
docs(运维): §11.6 锁忙重投修复的验收结果,并记下 jar 路径空输出这个取证坑
同一条 busy 日志新旧对照 54 次/分钟 → 2.7 次/分钟,claimed 由 0 变 25 与 busy 1:1,
证明重投确实改由轮询驱动;process success 在纯窗口内为 0 不足以判成败,留给下一个完成样本。
|
2026-09-28 15:39:25 +08:00 |
|
huangzd1997
|
505b1c60ac
|
docs(运维): §十一 锁忙零退避重投的取证链与修法,并更正 §10.3 的"29473 已完成"
§10.3 那句把"输入封口"写成了"任务已完成":29473 实际 13:59 后就没动过,
biz_file_task 仍 RUNNING、结果无 url、组装 job 20833 RUNNING retry_count=2。
|
2026-09-28 15:21:06 +08:00 |
|
huangzd1997
|
a9ddf8a696
|
docs(运维): §9.6 发版后验收,并给"0 命中"划清边界
两台同一 md5 已起、锁等待 60 秒增量 0、被打断的 4 笔 job 全部续跑(外观 20833 抬了 2 次 retry)。
但这窗口里没有外观的 stale 恢复长批次,所以只证明没回归、不证明长事务已消除;另记下发版脚本
异常采样会把旧 JVM 最后一段混进来,那条 NoClassDefFoundError 的时间戳在容器启动前 1.4 秒。
|
2026-09-28 14:29:41 +08:00 |
|
huangzd1997
|
6df20ff5c6
|
docs(运维): §九 补齐 110 秒锁等待的持锁方取证与两处修法
上一版写"持锁方仍未定位"是错的,实际已定位到外观专利的 stale 恢复路径。
同时记两条当时看着像证据其实不是的判据(CglibAopProxy 出现在栈里 ≠ 在事务里;
burst 之后抓的线程转储不能当反证),以及 MySQL 业务账号无 PROCESS、加权限留人工决定。
|
2026-09-28 14:11:49 +08:00 |
|
huangzd1997
|
d70c472cab
|
docs(运维): 记下落域修复的实测(26/26 救回、行失败 0)与品牌检测坏上游
品牌检测现在整小时 270 个品牌被判"查询失败",根因在 16890 自己的日志里:
代理 IP 供应商回「套餐不存在」——java 侧调参救不了,砍重试只会把可恢复的品牌写死。
顺带把容器日志的增速/保留期换成可复跑的实测法,并纠正"A 访问自己 EIP 很慢"这条:
小请求握手只差 0.2ms,5–8Mbps 只咬大块传输。
|
2026-09-28 12:47:03 +08:00 |
|
huangzd1997
|
e5b79b71e1
|
fix(货源): 主图重试换备用域名绕开被钉死的坏 CDN 节点
根因不是"瞬时抖动":m.media-amazon.com 的多 CDN 池里 Akamai 系边缘没配这个
虚拟主机名,带该 SNI 一律 RST(同 IP 不带 SNI 或用 images-na.ssl-images-amazon.com
则正常),而 JVM 正向 DNS 缓存会把坏节点钉住一整批 → 秒级重试三次全打在它身上。
实测最近 20 条失败 URL 走备用域名 20/20 成功且 md5 与原域名逐字节相同。
|
2026-09-28 12:29:39 +08:00 |
|
huangzd1997
|
8f3b879d80
|
docs(货源): 记下发版后实测——秒级重试只救回 17%,真实收益是失败原因上行
原判断"瞬时抖动,重试就能救回整行"被自己这次的数推翻(行失败率 14.0% vs
旧代码 14.6%),恢复窗口是分钟级;注释与文档一并改成实测口径,避免下一个人
照错的结论去抬 backoff。
|
2026-09-28 12:05:53 +08:00 |
|
huangzd1997
|
3a39c36bde
|
fix(货源): 主图转存对瞬时 TLS 重置做有界重试,失败行日志带上真实原因
生产取证:主机A 近 3 小时 252 条 `main download fail` 全是 m.media-amazon.com 的
"Remote host terminated the handshake",而这些 URL 事后重取 8 条里 7 条直接 200。
旧实现单发、握手被 RST 就 return null 并丢掉真实异常,导致整行白占一轮重发。
新增 aiimage.similar-asin.llm-image-download-retry-times(默认额外 2 次,置 0 退回旧行为),
只重试连接级异常,非 200 不重试;25 秒总预算防慢源放大尾延迟;重试耗尽抛 IOException
让行失败原因上行到日志。
|
2026-09-28 11:52:11 +08:00 |
|
huangzd1997
|
9efb39b0a5
|
docs(运维): 把 env 三层读值坑补成可复跑配方(含 11:1x 三层实测值)
收尾体检时用 pgrep 拿到 java 子进程 PID 回读,确认 /.env 的两行覆盖真吃到了:
Config.Env 与容器入口进程 environ 都还是公网 121.196.149.225:9876,只有 java 子进程是
192.168.0.170:9876 —— 原因是 /proc/pid/environ 只反映最后一次 execve,shell 之后 source
不回写。顺带记下一条禁令:不要用 docker exec 手工起服务,那条路会绕过 run.sh 退回公网值。
|
2026-09-28 10:48:59 +08:00 |
|
huangzd1997
|
0729e15875
|
docs(运维): 认领那条 26ms 公网依赖=1688 商品图 CDN,归为不可改造项
前一版只写到"认不出属于哪个业务调用"。现在用"在 A 本机解析外部 CDN 域名"补齐了:
47.115.192.140 是 cbu01.alicdn.com 的 8 条 A 记录之一(工作站解析拿不到这批节点,
所以按 IP 反查会漏,也因此解释了它时有时无)。代码侧四处注释互证为货源图片下载链路。
结论是外部 CDN、没有切内网的选项,抬并发只会抢 5-8Mbps 公网出口,归入"不动"。
顺带纠正自己上一版把 0.405ms 当成其中一条连接 rtt 的取数错误。
|
2026-09-28 10:44:27 +08:00 |
|
huangzd1997
|
55d7f2c544
|
docs(运维): 补 MySQL 生效值与 VPC 内 RTT 实测,修正端口暴露面清单
A 的 MySQL 生效值终于读到(bp=8192MB、命中 99.99994%、连接峰值 45/500),
结论是这台不该再动内存/连接数;A 绑 0.0.0.0 的端口实为 18 个而非 5 个,
四个 redis 口实测均要求鉴权。同时记下一个 ss -ti 字段误读:retrans 抓到的是
bytes_retrans(字节)而非重传次数,内网对象通道 37MB 上传仅 0.11% 字节重传。
|
2026-09-28 10:30:03 +08:00 |
|
huangzd1997
|
41af66bb4c
|
docs(运维): 记录 RocketMQ 走私网与 Nacos 关停,纠正 brokerIP1 取证错判
MQ 侧 brokerIP1 与 namesrv 两处都改完并回读到真实跨机投递(10:12 的 jobId=20831
A 投 B 收,约 370ms),Nacos 因鉴权关闭 + 三端口绑 0.0.0.0 且零客户端而停掉。
上一版"broker.conf 里没有 brokerIP1"是查错了文件(读的是发行包默认那份而非
bind mount 实际加载那份),已写明正确路径与备份位置。
|
2026-09-28 10:20:53 +08:00 |
|
huangzd1997
|
a79f7f4bc6
|
docs(运维): 补中间件三处线上改动与公网/私网带宽实测
Gitea 七笔已推完(a58dc8a6→ff182acd);cgroup 限额与 nginx body 上限的改法、
回滚值和四个取证坑(docker update 须同给 memory-swap、ss 要看容器 netns 且对端在第 5 列、
1Panel 访问日志真实路径)写进已核区,避免下次重新推一遍。
实测公网 5–8 Mbps 对私网约 1 GB/s 差一千倍,据此把剩下的两处公网依赖(OSS 端点回环、
MQ namesrv/broker)列为待改项,并记下 A 侧 3306/6379/9000/18080/16890 对公网开放且 MySQL
账号为 % 通配——收口需人在阿里云安全组操作,其中复制已确认走 VPC,收公网 3306 不断副本。
|
2026-09-28 08:42:13 +08:00 |
|
huangzd1997
|
ff182acd16
|
docs(运维): 补记今夜两版上线回读,并核掉健康评估报告第 6 条
报告称外观/货源的 allRowCount/loadAllRowsByBaseId 静默返回 0 会造成假完成,
逐个调用点读完确认不成立:它们只喂展示字段与同组回填,完成判定走的是不带
try/catch 的载荷读取 + 覆盖率阈值。顺这条链查出的是整批完成标记不区分是否
真的落库,已在上一笔修掉。
|
2026-09-28 03:23:33 +08:00 |
|
huangzd1997
|
f4f6e414f0
|
fix(外观专利): 完成标记只打在真正落库的行上
网关少回一行、或回来的 rowToken 在分片里匹配不到时,整批结果落库不完整,
但调用方仍把全部发送行标成已检测:没落库的那行带着"已检测"的空壳 24 小时内
不再补检,用户扣了次数却在结果里永久没有结论。合并写入改为回报真正写进去的
行键,只对这些行打完成标记,其余撤销交下一轮重发(受轮次上限约束)。
|
2026-09-28 03:09:49 +08:00 |
|
huangzd1997
|
f8e642588d
|
docs(运维): 守卫绑定一栏改为已实现,补 role 分布与 uid 同源的取证
|
2026-09-28 02:31:36 +08:00 |
|
huangzd1997
|
4b914f4bd9
|
docs(运维): 2026-09-28 夜生产待人工决策清单
守卫收紧要分「绑定」与「要求凭据」两步、MySQL buffer pool 与容器限额冲突、
B 机副本读分流前置取证、真删开关与 V138 观察期,均按今晚重新取证的数字写明代价。
|
2026-09-28 02:03:33 +08:00 |
|