Files
crawler-plugin/docs/ops/prod-decisions-2026-09-28.md
T
huangzd1997 c6611fbb99 docs: 回填版本保留候选清单,并记一次 worktree 全量 26 红的归因
§二.4 直接把 04:50 那轮 dry-run 的 20 个候选版本、两条安全边界(分布式锁已挡并发、
删除路径钉在 nanri-image/versions/ 前缀且需无引用)写清,交人工核对后就能拍 dry-run。

§十六 记下同一批代码在主树 3275/0 绿、在新检出 worktree 却 6 fail + 20 error:
前者是 autocrlf 改写 golden(已由 0fe2121b 钉死),后者是"文档一致性测试"读的是
34 份只活在本机的 md —— 这条属仓库缺口,要人决定入库还是改成缺失即跳过。
2026-09-28 19:05:44 +08:00

121 KiB
Raw Blame History

生产待人工决策清单(2026-09-28 夜)

本轮已上线的改动列在第一节,后面每一条都是代码里做不掉、需要人拍一次的动作。 条目按"建议处理顺序"排,不按发现顺序。

一、今夜已完成(无需再决策,列出便于核对)

提交 改动 状态
8536ddb3 外观专利行重发加轮次上限,超限就地判失败并写明原因 已上线
6a82697a MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min 已上线
2d33f478 用户态接口的 user_id 归属改由令牌身份判定(只绑定、暂不要求凭据) 已上线
10dec56e 外观专利:完成标记只打在真正落库的行上(少回的行撤销重发) 已上线
dd06a1cf 货源主图转存:连接级失败做有界重试,失败行日志带上真实原因 已上线(实测见 §6.1)
a6e4a589 货源主图重试改走备用域名,绕开被钉死的坏 CDN 节点 已上线(实测见 §6.3)

线上产物:162,590,216 B / md5 b834d489c8640fd1f6cc9d51238f4606,两台一致。 (当前线上已推进到 162,592,865 B / md5 0c941fc78f64a39676e22fe9c301a01c,12:32 发 B、12:33 发 A,两台一致; 中间那版是 03eb1049c19ff58f3d8df423aeb6d0e9。) (今夜此前两版:e97fd273473db849b705a766b7b505c7 → e0854c23cc99344a6ddadbf2019e08bf。) 发版后回读(重启后 5–15 分钟窗口,A 4780 行 / B 530 行日志):健康 200、Flyway 137 up to date、 instanceId server-110/server-121、ERROR 0 条、绑定 403 0 条、[admin-guard] rejected 0 条、 重发轮次已达上限 0 条(无误杀)、本批结果未全部落库 0 条。 A 上重启时确有一批外观 LLM 在飞(03:15:36 发出 5 品请求),03:20:52 该任务 llm batch done taskId=29447 jobId=20802 rows=10 —— 中断后自行续跑并交付了一批, 本轮未出现开机自回收日志(ready 时没有心跳已停的遗留 RUNNING,属正常分支)。

发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。

附:中间件侧今夜已做的五处线上改动(改的是主机配置,列此便于回滚;④⑤另有代码/提交)

改动 机器 / 对象 前 → 后 回滚
cgroup 内存上限抬高 A 1Panel-mysql-zbja 6 GiB → 10 GiB(实占 3.14 GiB) docker update --memory 6442450944 --memory-swap 6442450944 1Panel-mysql-zbja
cgroup 内存上限抬高 B aiimage-mysql-replica 2 GiB → 3 GiB(实占 1.67 GiB,已到 84%) 同上,换数值与容器名
cgroup 内存上限抬高 B shufu-device-logs-minio 2 GiB → 3 GiB(实占 1.82 GiB,已到 91%,再涨就是 OOM) 同上
nginx 请求体上限 B git.aishufu.top 站点 server 段 继承 http 级 50m → 本站 1024m 同目录留了 .bak-<时间戳>,cp 回去 + nginx -s reload
OSS 端点拆分 两台 /.env + jar(提交 b7ae4478) 服务端读写:公网域名 → http://192.168.0.171:9000;预签名仍公网 删 /.env 里 AIIMAGE_OSS_INTERNAL_ENDPOINT 那行(有 .bak-…)+ 重启 java
RocketMQ 走私网 B broker.conf + 两台 /.env brokerIP1 公网 EIP → 192.168.0.170;namesrv 追加覆盖为 192.168.0.170:9876 各自 .bak-20260928094413 / .bak-… 复原 + docker restart 1Panel-rocketmq-ZnP2-rmqbroker、docker restart java-server

三条硬约束,下次改之前先看,否则会踩:

  1. docker update --memory 必须同时给 --memory-swap。只给 --memory 且新值大于旧的 swap 上限时, Docker 直接拒绝(Memory limit should be smaller than already set memoryswap limit), 而这条错误只在 stderr 里 —— 用 ... 2>&1 | sed 's/^/ /' 或显式打印 ${PIPESTATUS[0]} 才看得见, 写 && echo 成功 会把它吞成一个假成功。改完必须回读 cat /sys/fs/cgroup/memory/docker/<全ID>/memory.limit_in_bytes 确认真的落地了。
  2. 改 nginx 要改宿主机侧的 bind mount 源,不是容器里的路径。容器 /usr/local/openresty/nginx/conf/conf.d 的源是 /opt/1panel/www/conf.d(用 docker inspect -f '{{range .Mounts}}…' 拿,别猜)。 改完 nginx -t 再 nginx -s reload(reload 不断连接,无需重启容器)。
  3. 宿主机层面的 ss 看不到容器 netns 里的连接。今晚"java 没连 MQ""nacos 无人使用"两个结论都由此产生, 都是假的;正确姿势是先 docker inspect -f '{{.State.Pid}}' <容器> 再 nsenter -t <pid> -n ss -tn。 另注意 ss -tn 的列序是 State Recv-Q Send-Q Local Peer,对端在第 5 列(我第一版取了 $4, 统计出来的全是本端端口,看着像"全连到 172.19.0.2",其实是把本地地址当真了)。
  4. 1Panel 的 openresty 站点访问日志不在 /usr/local/openresty/nginx/log/。按那个路径 zcat 会得到空结果, 而空结果和"确实没有 413"长得一模一样。真实位置是容器 /www/sites/<站点>/log/access.log (宿主机 /opt/1panel/www/sites/<站点>/log/),另有部分服务写 /dev/stdout。 凡是"某类错误 0 条"的结论,都要同时报该文件的总行数自证读到了东西。

改完的验证:nginx 侧用 60MB 体打 git.aishufu.top(127.0.0.1 回环 + --resolve 指站点)得到 405 / 0.113s(进了 Gitea 应用层,说明代理不再拦),对照未改的 devops 站仍是 413。

附:健康评估报告第 6 条(外观/货源"静默降级")已核,不必再追

报告称 allRowCount 读失败 return 0、loadAllRowsByBaseId 读失败返回空,会把期望行数压低造成"假完成"。 逐个调用点读完后的结论是不成立,记录在此免得再查一遍:

  • allRowCount 的返回值只喂两处:FileResultEntity.row_count(列表页显示的"共 N 条")和进度分母。 两处都写了"0 不覆盖已有非零值"(finalizeTask 的 rowCount > 0 ? rowCount : result.getRowCount()、 货源 resolvePythonUploadProgress 的 totalRows <= 0 && uploadedRows > 0 兜底), 而 createResultRecordForAssembly 的兜底分支自己会重读载荷,读不动时异常照常上抛。 没有任何成功/失败判定吃这个数。
  • 真正的完成判定是 validateCompleteLlmCoverage,它的分母来自 assembleResultWorkbook 里 不带 try/catch 的 readParsedPayload(task)——载荷坏了会直接抛,不会静按 0 行放行; 覆盖率低于 llm-coverage-min-ratio(默认 0.5)时抛"LLM 结果不完整"。
  • loadAllRowsByBaseId 返回空只影响 expandRows 的同组兄弟回填,不影响发不发检测 (候选行来自分片自身的 readChunkRows),落库匹配也不看它。所以后果是"兄弟行各发一次、多扣几次", 而不是丢行。
  • 顺着这条链查到的是另一个口子,已在 10dec56e 修掉:整批完成标记此前不区分"结果有没有真的写进分片"。

二、需人工决策

1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据"

现状(今晚重新取证,非引用旧笔记):

  • 数据归属由请求参数 user_id 决定:controller 层共 19 个文件出现 user_id,其中只有 2 个文件里 出现过任何身份调用(requireUser / requireUserOrInternal / currentUser)。这是文件级统计, 端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。
  • aiimage.security.user-tool-guard-enabled 默认 false,生产未覆盖 → query-asin / similar-asin / appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。
  • 桌面客户端 app_client 对这 14 个前缀共 15 个调用文件,其中只有 4 个文件里出现过任何凭据头 (collect-data 2、price-track 1、shop-match 1)。文件级统计是上界——同一文件里也可能只有一部分 请求带抬头。
  • AdminApiGuardFilterTest(HEAD 版,20 个用例)对当前代码全绿。

两个可分开的动作:

动作 效果 代价 状态
A. 绑定:请求带 JWT 时,校验 user_id 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 已登录用户不能再互相冒读,19 个 controller 文件不用逐个改 对匿名与内部令牌调用零影响 已实现(见下"绑定的落地依据")
B. 要求凭据:把上述前缀纳入兜底鉴权(开关置 true) 未登录直接 401 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 等客户端普遍携带凭据之后再开

绑定的落地依据(今晚逐条查证,不是推断):

  • 角色词汇表只有三态:DeviceSessionPolicy.resolveRole 只会返回 super_admin / admin / null, 没有第三种"员工"角色;生产 users 表 135 个账号分布为 normal 子账号 120、admin 子账号 13、 admin 1、super_admin 1 → 管理员豁免面闭合。
  • 网页端 getCurrentUserId() 读 localStorage['uid'],而 uid 由登录响应 data.userId 写入; AuthService.buildResult 里 vo.setUserId(user.getId()) 与 jwtService.issue(user.getId(), …) 同源 → 诚实客户端的参数恒等于令牌主体,正常用户不会撞 403。
  • frontend-vue 各 tab 一律传 getCurrentUserId() / uidForStorage();只有 admin-frontend-vue 传任意 user_id,而它是管理员身份 → 落在豁免里。
  • 带凭据的 4 个桌面模块(price_match_new / search_spider / tool / log_uploader)用的都是 X-Internal-Token,且不带 JWT、不带 operatorId → requireUserOrInternal 解析不出身份 → 绑定不触发, 行为与收紧前一致。("令牌可信即在 shouldNotFilter 整体放行"曾是绕开绑定的洞,17:3x 已收窄,见 §十四。)
  • 实现范围刻意收窄到 USER_TOOL_PREFIXES:/api/admin、/debug、自助接口仍只做"有没有身份", 不做参数比对,避免误伤后台里合法传他人 id 的流程。
  • 代价:每个带 user_id 的用户态请求会多走一次 requireUserOrInternal。匿名请求在 resolveToken 处即抛 BusinessException(未登录)返回,不查库,但会构造一个带栈异常。按现网这个接口的 轮询频率,量级可忽略,若日后要省掉,可加"仅在带了凭据线索时才解析"的短路。

紧急回退仍是一个:aiimage.security.admin-guard-enabled=false 会把绑定与原有兜底一起关掉。 若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。

2. 主机A MySQL:8G 上限冲突已按"抬上限"解掉,生效值 10:2x 也读到了 —— 结论是这台不用调

/opt/1panel/apps/mysql/mysql/conf/my.cnf 写 innodb_buffer_pool_size=8G(instances=8), 容器上限已从 6 GiB 抬到 10 GiB(今夜已生效,回读 memory.limit_in_bytes=10737418240; 实占 3.14 GiB,宿主机 30 GiB 里还有 19 GiB available)→ OOM 悬崖拆除,8G 原样保留。

两件事没做掉,需要人:

  • A 的生效值 10:2x 读到了:bp_mb=8192 / max_conn=500 / lock_wait=50 / ver=8.4.8 / trx_commit=1 → 8G 没有被截断,实占 RSS 3.145 GiB(池是懒加载,还没涨满,上限已是 10 GiB 所以涨满也不会被杀)。 失败原因确认了:容器里 MYSQL_ROOT_PASSWORD 那份不是库的 root 口令(ERROR 1045 … using password: YES), 而 docker exec … sh -c '…$MYSQL_ROOT_PASSWORD…' 在 Python 侧的单引号里又根本不会展开 —— 两次"读不到"是两回事。 读到的这次走的是业务账号 + --defaults-extra-file(容器内 600 权限临时文件,用完 shred -u,容器内外各查过 0 残留), 口令全程不落到输出里。顺带确认 performance_schema 对 aiimage_backend 依旧是 1142 拒(和旧笔记一致), 但 SELECT @@… 和 SHOW GLOBAL STATUS 不需要它,所以"读不到生效值"这件事本来就不必等人。
  • 同一批读数说明这台没有可调的点,别照着"buffer pool 可能太小"去动它: Innodb_buffer_pool_read_requests 53,799,770,917 对 Innodb_buffer_pool_reads 31,531 → 命中 99.99994%,物理读基本不存在;Max_used_connections 历史峰值 45(上限 500), 当前 Threads_connected=13、Threads_running=3;Hikari 两台各 max=30 / min-idle=5(合计 60), 远没顶到 MySQL 上限;Innodb_row_lock_waits 累计 354,326 次但 time_avg=7ms。 也就是说这台的时间花在锁的尾部(本节末那条以及第一版健康评估里的 581 条锁等待统计),不在内存、不在连接数、不在 IO。 Aborted_connects 3,250 与 TcpExtListenDrops=6 都是累计值、10 秒窗口内 TcpRetransSegs 无增长,不构成信号。
  • docker update 是运行态改动,容器重建就回滚到 6 GiB。1Panel 的 compose 用的是 memory: ${MEMORY_LIMIT},而 A/B 两台每个应用的 .env 里都写着 MEMORY_LIMIT=0(0=不限), 说明这个 6 GiB 不在 .env 里、是 1Panel 界面/数据库里配的。要让它扛得住重建,得在 1Panel 控制台把 mysql 容器限额改成 10G(或者按 MEMORY_LIMIT=10737418240 写进 /opt/1panel/apps/mysql/mysql/.env 后重建容器)。 同一条适用于 B 的 aiimage-mysql-replica(2G→3G)和 shufu-device-logs-minio(2G→3G)。

同机顺带一条(未动):innodb_lock_wait_timeout 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条), 这个阈值对业务侧的表现需要一并看一眼是否要调。

3. 主机B 的 aiimage-mysql-replica:取证已补齐(活着、滞后 0 秒),结论是先别做读分流

08:2x 直读副本状态(SHOW REPLICA STATUS):

Source_Host: 192.168.0.171   Source_Port: 3306
Replica_IO_Running: Yes      Replica_SQL_Running: Yes   Seconds_Behind_Source: 0
生效 innodb_buffer_pool_size = 1.0000 G(限额已 2 GiB → 3 GiB)

也就是"追不追主库"这一条已经解决:在追,滞后 0 秒,而且走的是 VPC 私网 192.168.0.171 (这一条顺带把"公网 3306 能不能收掉"的顾虑排掉了,见第五节第 1 条)。

第二件取证(A 的瓶颈是否落在读上)答案是否:上一轮慢日志拆下来锁等待 581 条 vs 大扫描 44 条, 把读挪到副本对锁等待无解,只会新增一层"应用要区分读写源"的复杂度和一套副本专属的故障面。 super_read_only 是否置位没读到,真要启用分流前先确认它,否则分流第一天就可能有人往副本写。

所以本条从"待取证"降级为已知可用、暂不接入。触发重新评估的条件写清楚: 当慢日志里大扫描/报表类查询占比明显上升,或者要做"导出全量结果"这类一次性大读时, 副本是现成落点(外观与货源的 LLM 阶段只读库、不依赖本地文件,分流前提成立)。

4. 软件版本对象的真删开关仍是 dry-run

aiimage.software-version.retention-dry-run 默认 true(只记日志不删对象)。要启用真删, 先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。

候选清单已拉出来了(19:0x 读现网 26 小时日志,原文照录,一条不差):

主机B 2026-09-28 04:50:00.003 [aiimage-scheduling-1] INFO SoftwareVersionRetentionService
  - [version-retention] dry-run 未实际删除 total=67 keep=20 候选=20 versions=
    [4.0.17, 4.0.16, 4.0.15, 4.0.14, 4.0.13, 4.0.12, 4.0.11, 4.0.10, 4.0.9, 4.0.7,
     4.0.6, 4.0.5, 4.0.4, 4.0.3, 4.0.2, 4.0.1, 4.0.0, 3.0.73, 3.0.72, 3.0.71]
    留待下轮=27
主机A 同一时刻:[version-retention] 升级包保留清理跳过:另一实例持锁

清单里没有 4.0.8(4.0.9 直接跳到 4.0.7),这条本身值得看一眼:要么那一版从未上传过, 要么它的行已经不在 keep 窗口外的候选里(被 is_latest 过滤掉的可能也有,代码里 superseded 会跳过带 is_latest 标记的行)。

三件核对时要知道的事:

  1. 不会两实例并发删:DistributedJobLockService.tryLock("software-version:retention", 10min) 已经在那儿了,今天实测 A 跳过、B 执行,所以去 dry-run 不需要先做单点化。
  2. 一次只删 20 条:MAX_DELETIONS_PER_RUN=20。67 条记录 - keep 20 = 47 条在窗口外, 分 3 轮(约 3 天)跑完,不是一次清光。按 09-21 盘点口径约 106MB/个推算 ≈ 5GiB(对象实际大小没实测)。
  3. KKBROSWER.zip 删不到:deleteSoftwareVersions 先删行,再对每个 file_url 反查 selectCount(eq(fileUrl)),只有已无其它行引用时才动对象;且 removeSoftwareVersionObjectQuietly 要求 objectKey startsWith("nanri-image/versions/"), 前缀不符直接 return false。桶根与 client/APP/ 下的历史包都不在这个前缀里。

置 false 的两条路:改 application.yml 默认值要重新出包;或往 /.env 追加 export 后重启 (键名按 Spring 松散绑定应是 AIIMAGE_SOFTWAREVERSION_RETENTION_DRYRUN,别假设,启动后回读那行生效配置再说)。

5. V137 的 20 个冗余索引还只是 INVISIBLE

V137 只把它们置为不可见,观察 1~2 周慢日志无退化后要追加 V138 执行 DROP,否则索引仍占空间、 仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。

6. 后台「LLM 使用」的次数口径变了,要提前打招呼

外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,统计次数约掉到 1/6.7。 这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多 (约 30–45%),且走的是用户自己的 apiKey 额度。

可直接粘给运营/客服的口径(客户问"次数怎么突然少了"就用这段):

9 月 28 日起,外观专利检测把多个商品的图片合并成一次批次请求,所以后台「LLM 使用」里的 调用次数会下降到大约 1/6.7(原来 10 行约 20 次,现在约 3 次)。这是统计口径的变化, 不代表检测行数变少、也不代表结果变粗——要核对工作量请看「检测行数」,它不受合并影响。 费用确实会降,幅度大约 30–45%,扣的是您自己的模型额度,与平台账单无关。

需要人工确认的一件事:这句话要不要同步给已经在看这个报表的客户(发版当天就有 6.7 倍的断崖, 事后解释比事前打招呼难做)。

7. 监控指标:端点根本不存在,告警无从挂起

backend-java/pom.xml 只有 spring-boot-starter-actuator,没有 micrometer-registry-prometheus; 线上 GET 127.0.0.1:18080/actuator/prometheus = 404,/actuator 只列 health。 仓库里那 49 个 aiimage.* 指标名从未被任何面板抓到过(TaskObservabilityMetrics 无 @Component、 main 代码零调用者)。

要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 18080 在主机A 是公网直连, 一旦暴露 /actuator/prometheus 就等于公网可读的运行指标,需要同步把它从公网收掉 (只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的 taskId= / stage= / jobId= / costMs= / moduleType= 字段做告警。

8. backend/config.py 里的平台自身明文凭据

该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。 处置是轮换 + 改走 env + 清历史,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。

9. 主机A 的 Nacos:10:13 已停 —— 不只是白吃 2 GiB,它是"鉴权关闭 + 端口对公网开"

取证链(两条都是今晚重跑的,不是引用旧笔记):

  • 在 nacos 容器自己的 netns 里数 8848 的 established = 0(nsenter 后的结果, 避开了宿主机 ss 看不见容器网络的那个坑)。它那两条 ESTAB 的对端是 172.22.0.2 —— 就是它自己的容器 IP(nacos_default 这个网络里只有 nacos 一个成员,7848 是它自己的 raft 口), 所以是自我连接,不是客户端。
  • Java 侧 env 里没有任何 NACOS 变量(键数 0),进程 cmdline 里没有 nacos 字样; 两台挂载的 /app/application-server.yml(271 行)里 nacos 出现 0 次;仓库里除了本文档也没有 nacos 引用。
  • 宿主机 ss -tn 到 8848/9848 命中 0 条(A 与 B 都查了)。

改前漏看、这次补上的一条(比内存更要紧):

  • docker port 显示 8080 / 8848 / 9848 全部绑在 0.0.0.0,而 HostConfig.Memory=0(无上限)。
  • 容器里 NACOS_AUTH_ENABLE=false、nacos.core.auth.enabled=false(同一文件里 nacos.core.auth.admin.enabled=true、console.enabled=true 是 2.3+/3.x 的分层开关,还开着)。
  • access_log 里近 14 天净是外部扫描:GET /nacos/v1/cs/configs?...search=blur&pageSize=1000&tenant=*(配置全量导出的招牌探测)、 GET /nacos/v1/auth/users?pageNo=1&pageSize=9、还有伪造 User-Agent: Nacos-Server 的请求(就是那个老 bypass), 来源是 40 个互不相干的公网 IP,curl/python-requests/浏览器 UA 混杂,没有一条来自两台内网地址。
  • 没有证据表明被读到过东西:nacos/v1* 相关请求近 14 天共 73 条,状态码是 70 条 500 + 3 条 404,0 条 2xx。 镜像是 nacos/nacos-server:v3.2.1,v1 的这批接口在它上面本就不存在,所以探测全落在错误上。 (别把这句读成"安全":500 而不是 401 也说明服务端确实没在鉴权,只是没有对应的接口可打。)

动作(10:13,可一条命令回滚):docker stop 1Panel-nacos-dsLA-standalone。 回滚 = docker start 1Panel-nacos-dsLA-standalone。效果与验证:

  • A 的 MemUsed 10 GiB → 8 GiB、available 20 → 22 GiB。
  • 停后 60 秒:java health=200、近 2 分钟 ERROR 0 条(该窗口日志 423 行,自证读到了东西)、 货源作业 [task-file-job] … jobId=20805 stage=WAIT_LLM 照常推进。
  • 数据没动:/opt/1panel/apps/nacos/nacos/data/data 2.1G(derby-data 建自 5-14,7-29 还在写), 所以哪天要用,起来还是原来那套;别顺手删容器或 app 目录。

我选"停"而不是原计划的"压到 512m",理由有两个,都写在这儿免得下次重判: ①它的 JVM 是 -Xms2g -Xmx2g -Xmn1g 且容器无限额,压到 512m 会当场被 cgroup 杀掉, 要降必须先改 JVM_XMS/JVM_XMX 并重启它 —— 那和停掉的成本一样,收益却小得多; ②停掉同时消掉了 8848/9848/8080 这个对公网开的无鉴权面,压内存只解决钱不解决门。

遗留给人拍板的:如果确认这套 nacos 以后也不用于服务发现,就在 1Panel 里把它卸载或至少改成只绑 127.0.0.1, 并把 §五 的安全组清单加上这三个端口。

10. 紫鸟店铺索引每轮有 119 个失效员工绑定在空跑(查清了,但没有动)

18:0x 取证(主机A,近 60 分钟,容器日志总行 23670):

  • [ziniao-index] skip user stores … 紫鸟接口返回失败(获取员工店铺列表 /superbrowser/rest/v1/erp/user/stores): code=40004, sub_code=400, sub_msg=userId存在无效的参数值 238 条/小时,占该窗口日志约 1%。
  • 去重后是 119 个不同的 (companyId, userId),每个 16 分钟内出现 2 次 → 不是循环放大,是定时索引刷新每轮 把这 119 个绑定各重试一次,而它们在紫鸟侧的参数已永久无效(多半是员工被删/停用,本地绑定没跟着清)。
  • 同一时间窗里这条链整体是健康的:[ziniao-shop-index-db] update cache 580、[ziniao-stores] cached upstream result 495、skip duplicated user stores snapshot 495、ERROR 0 条。所以这不是"紫鸟坏了"(那是品牌检测那条 jikip 代理的问题,见 §八),只是长尾。

代价 = 每轮 119 次注定失败的上游请求(紫鸟是按调用计费的第三方)+ 238 行 WARN。

为什么我不动它:能省的修法是把"连续 N 次 40004 参数无效"的绑定置为停用,从此不再请求。 但那是把客户看到的店铺列表少一项的行为变更,而且"无效 userId"到底该由谁来清(后台手动解绑? 同步紫鸟员工表?)是产品决定,不是我能替用户点的。要做的动作有两个方向,选一个: ①给这 119 条一个后台可见的"绑定失效"状态,让人去解绑;②自动停用 + 留审计日志。 维持现状的代价只是空跑请求和 1% 日志,可以接受到下次有人看这件事。

三、已解决:Gitea 那 7 个提交推上去了(08:10)

远端 master 56913563 → 7aa9f3df,回读 git rev-list --left-right --count origin/master...HEAD = 0 0。

之前"工作站上没有任何可静默使用的凭据"这句话是假阴性,成因是 Git Bash 的路径转换把 cmdkey /list 变成了别的调用(要写 cmdkey //list)。实际凭据管理器里早就有 git:https://gitserver@git.aishufu.top。可用的静默推送咒语:

GIT_TERMINAL_PROMPT=0 GCM_INTERACTIVE=never GCM_PROVIDER=basic git push origin master

GCM 会 warn no such provider 'basic' 然后回退自动探测 —— 这个 warn 无害、照样成功, 关键是 GCM_INTERACTIVE=never 让它不再弹"选哪个 helper"那 90 秒。 退出码必须重定向到文件再看:git push | tail 拿到的是 tail 的 0,不是 git 的。

四、今晚新查出来的:两台之间的流量大量走公网,只有 5–8 Mbps

这是本轮最有价值的一条,因为它解释了一批"莫名其妙慢/超时"的老问题,而且修它的代价是配置项级别的。

4.1 实测带宽差(30MB 测试体,08:3x)

路径 结果 折算
A → A 公网 https://oss.aishufu.top(Java 现在写对象走的就是这条) 3.37 MB / 3.45 s ≈ 0.98 MB/s
B → A 公网同一入口 3.23 MB / 3.27 s ≈ 0.99 MB/s
A → B 公网 https://download.aishufu.top 27.5 MB / 45 s(撞 max-time) ≈ 0.61 MB/s
A → A 私网 http://192.168.0.171:9000 5.5 MB / 0.006 s ≈ 900 MB/s
B → A 私网同一入口 6.75 MB / 0.009 s ≈ 750 MB/s
A/B → B 私网 http://192.168.0.170:9000 ≈ 0.009–0.026 s 1.1–3.5 GB/s

路由已确认 ip route get 47.110.241.161(在 A 上)= via 192.168.0.253 dev eth0 —— 发往自己的公网 IP 也要出 VPC 网关绕一圈,所以"回环"确实吃公网额度。 公网与私网差 约 1000 倍。

对上面 A→A 那两行的诚实注脚:服务端提前回了 400,只发出去 3.3MB,样本里含 TCP 慢启动。 但该路径 RTT 只有 11 ms(TLS 首字节实测 connect=0.000705s tls=0.010896s), 11 ms RTT 下慢启动几百毫秒就能爬到几百 MB/s,3.45 s 发 3.37MB 解释不通, 而且跨机那条持续 45 s 的 0.61 MB/s 是干净的持续值 —— 结论(公网 ~5–8 Mbps)不受这个瑕疵影响。

4.2 现在还有哪些地址指公网(A 上 java-server 的 env 逐项对过)

配置 当前值 走公网?
AIIMAGE_OSS_ENDPOINT / public-endpoint https://oss.aishufu.top 是,且是 A 指向自己的回环
AIIMAGE_ROCKETMQ_NAME_SERVER 121.196.149.225:9876 是,跨机走公网
AIIMAGE_TRANSIENT_STORAGE_ENDPOINT http://192.168.0.170:9000 否
AIIMAGE_DEVICE_LOG_OSS_ENDPOINT http://192.168.0.170:9610 否
AIIMAGE_REDIS_HOST 192.168.0.172 否
AIIMAGE_DB_URL 192.168.0.171:3306 否

副本复制也已经在私网(Source_Host: 192.168.0.171)。所以剩下的公网依赖只有两处:OSS 端点和 MQ namesrv。

MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 47.110.241.161(A 的公网 IP)的 established 连接, 也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。

4.3 两处改法(一条已做完,一条需要人配合)

  • OSS 端点拆分:已上线(提交 b7ae4478,两台线上 md5 02357a89da2100689565319462d9db29)。 新增 aiimage.oss.internal-endpoint(env AIIMAGE_OSS_INTERNAL_ENDPOINT,默认空=沿用 endpoint, 所以不带 env 的环境行为与今天完全一致),只给服务端读写的 client 用; 预签名改用 public-endpoint 那张 client,浏览器直传 URL 的 host 不变。 生产两台的 env 落在 /opt/1panel/runtime/java/java-server/.env(run.sh 第 3 行 source /.env; 该文件里 AIIMAGE_ 全是 export 形式,不加 export 传不到 java 子进程*), 写前留了 .env.bak-2026092809285x,回滚=删掉那一行再 docker restart java-server。 启动日志新增一行可直接回读生效值: [oss] 服务端读写端点=http://192.168.0.171:9000(预签名端点=https://oss.aishufu.top)(两台都已打出)。 连接方向也已实测翻转:A 的 java netns 里出现 192.168.0.171:9000,原先的 47.110.241.161:443 消失。 副作用两条要记着:对象流量不再经过 A 的 nginx(那一层的访问日志看不到了), 服务端到 MinIO 变成明文 HTTP —— 只在 VPC 内,SigV4 不泄露密钥,可接受。
  • MQ 走私网:已上线(09:44 改 broker、09:53 改 namesrv,两台都重启过)。 先纠正我上一版的取证错误:我写"broker.conf 里没有 brokerIP1"是查错了文件 —— 容器里 /home/rocketmq/rocketmq-5.5.0/conf/broker.conf 是发行包自带的那份, broker 实际加载的是 -c /opt/rocketmq-5.2.0/conf/broker.conf(bind 自宿主机 /opt/1panel/apps/rocketmq/rocketmq/data/broker/conf/broker.conf),它第 8 行一直写着 brokerIP1=121.196.149.225。所以注册地址不是自动探测出来的,是 1Panel 装的时候就写死的公网 EIP。 动作与回读:
    • ① 那行改成 brokerIP1 = 192.168.0.170,备份 broker.conf.bak-20260928094413, docker restart 1Panel-rocketmq-ZnP2-rmqbroker → mqadmin clusterList 第 4 列变 192.168.0.170:10911, 容器 running / OOM=false,broker 日志无 error 关键词。java 不用重启:客户端每 30 秒刷一次路由表, 实测改前遗留的那条 121.196.149.225:10911 长连接在约 1 分钟后自行消失,换成 192.168.0.170:10911(两台都是)。
    • ② namesrv:AIIMAGE_ROCKETMQ_NAME_SERVER 不在 /.env 里(/.env 只有 7 个 AIIMAGE_ 键, 其余 34 条来自容器创建期的 Config.Env),所以是往 /.env 追加一行 export AIIMAGE_ROCKETMQ_NAME_SERVER="192.168.0.170:9876" 来覆盖(run.sh 第 3 行 source /.env 晚于容器 env)。 两台各留 .env.bak-…,bash -n 通过。B 先重启验证,A 随后。 启动日志可直接回读:a producer (aiimage-backend-producer) init on namesrv 192.168.0.170:9876, consumer 容器 nameServer='192.168.0.170:9876',两台 ERROR 0 / health UP。
    • 一个反复踩到的读值坑:docker inspect -f '{{.State.Pid}}' 拿到的是入口进程(entrypoint.sh → bash /run.sh), 读它的 /proc/<pid>/environ 只会看到 Config.Env 那层的旧值,java 是孙进程。 /proc/<pid>/environ 只反映该进程最后一次 execve 时的环境,shell 之后 source /.env 的内容不会回写进去 —— 所以读覆盖后的真值要在宿主机上 JP=$(pgrep -f 'aiimage-backend.*jar' | head -1),再 tr '\0' '\n' < /proc/$JP/environ | grep AIIMAGE_ROCKETMQ。 11:1x 用这条把同一个键的三层读全了(两台结果一致): Config.Env = 121.196.149.225:9876(创建期旧值)→ 入口进程 environ = 同上旧值(这就是那个假象的来源)→ java 子进程 environ = 192.168.0.170:9876(真值,/.env 的 export 赢了,因为 source 发生在 java 启动之前)。 两条推论:① 判生效值最省事的还是读启动日志那行 init on namesrv …,或者直接看 netns 里 ss -tn 的对端 IP; ② Config.Env 里那条公网旧值不用清,/.env 每次启动都会盖住它;但反过来,只要有人绕过 run.sh 直接 docker exec 起进程,就会退回公网值,所以别用 docker exec 手工重启服务。
    • 改后的真实消息已回读(不是只看连接方向):10:12:07.553 A mq published jobId=20831 moduleType=PRICE_TRACK → 10:12:07.921 B ConsumeMessageThread_2 … jobId=20831 process success,跨机投递耗时约 370ms; 10:14:10 的 jobId=20832(BRAND)由 A 自己消费并 finalized success;B 近 45 分钟消费 9 条、A 消费 3 条, publish failed / 熔断 = 0。改完后两台到 MQ 的对端只剩 192.168.0.170:9876 与 :10911,公网那条彻底没了。
    • 顺带实测到一条跨机竞争消费本来就是通的(改前的公网路径上):A 09:03:16 mq published jobId=20828 → B 09:03:16 ConsumeMessageThread_7 … jobId=20828 process success,09:10:57/58 的 20829 同样。 所以 MQ 确实在承载结果文件作业(A 近 12 小时 publish 25 次、两台都有消费线程活动),不是空配置。
    • 收益如我先前判断:省的不是带宽而是耦合 —— 文件流量打满 5 Mbps 时不再把作业通道一起拖死。 重启 A 之前它有 3 个货源作业在 WAIT_LLM,重启后 20791/20805/20825 全部继续被 task-queue-* 处理, 等于顺手把今晚上线的重启续跑语义在真实负载下验了一遍。

4.4 VPC 内的实际延迟与"内网对象通道有没有变差"(10:3x 实测)

A 的 java 到每个依赖的 ss -tni 读数(同一台、同一时刻):

对端 用途 rtt 备注
192.168.0.171:3306 主库(同机) 0.033–1.72 ms minrtt 0.001,本机
192.168.0.170:16379 redis master 在 B 0.147–0.319 ms 哨兵发现的主,A 只留 2 条长连接
192.168.0.171:9000 主 MinIO(内网,今晚新走的路) 0.334–0.823 ms 37MB 上传中 retrans:0/31、重传字节 41,632/37,662,303 ≈ 0.11%
192.168.0.170:9000 设备日志 MinIO 0.28 ms 累计收 536MB / 发 156MB,busy 77s,无重传
192.168.0.170:9876 / 10911 namesrv / broker 0.20–0.63 ms 今晚切私网后新增
47.115.192.140:443 已认领:cbu01.alicdn.com(1688 商品图 CDN) 26.1–27.3 ms 全场唯一的高 RTT,杭州机 → 阿里深圳 CDN 节点

三条结论:

  1. 跨机不是问题:A→B 的 redis/MQ/设备日志全部 0.15–0.63 ms,比 A 到自己 MySQL 的最差那条(1.72 ms)还低。 所以"把 redis 或 MQ 挪回本机"这类改造没有收益,不要做。
  2. 今晚切的内网对象通道没有变差:那条 retrans 数字是我自己读错的产物 —— 我第一版 awk 用 retrans:[0-9/]+ 去抓,命中了 bytes_retrans:1632 这个字节字段, 看着像 1632 次重传。原始行是 bytes_sent:37662303 … bytes_retrans:41632 … retrans:0/31 dsack_dups:31 reordering:23, 即 37MB 上传里 0.11% 字节重传、当前无未确认重传;主机级 TcpRetransSegs 在 10 秒窗口里一次都没涨。 以后从 ss -ti 取重传,要么取 retrans: 那个字段,要么先把整行贴出来再判。
  3. 那个 26 ms 的公网依赖已在 10:5x 认领:cbu01.alicdn.com(1688 商品图 CDN),货源链路。 过程与证据(前一版写"认不出属于哪个业务调用",现在补上):
    • 先按 IP 找:在 A 上逐个解析 java 配置里能抽到的外部主机,没命中;再换成"在 A 本机解析外部 CDN 域名" (关键区别:CDN 按就近返回,我工作站上解析 cbu01.alicdn.com 拿到的不是这批 IP), A 的解析结果是 47.115.192.140 / 47.115.192.141 / 8.141.190.160 / 8.147.229.178 / 8.160.215.133 … 共 8 条 A 记录 —— 目标 IP 是其中第一条。这同时解释了它为什么时有时无:我 10:5x 复查时 netns 里 established 共 20 条、 命中这个 IP 0 条,因为客户端换了一批连接池里的另一个节点。
    • 代码侧对得上:SimilarAsinImageEmbedder.java:80、SimilarAsinLlmService.java:549、PuzzleImageMerger.java:218、 SimilarAsinProperties.java:52 四处注释都在说 cbu01.alicdn.com 是慢源("带外站 Referer 稳定 403、 无 Referer 直接 200"、"会一直挂 8s 才进入 retry")→ 就是货源图片下载/内嵌那条路。
    • 日志侧对不上是正常的:grep -c alicdn 近 20 分钟 java 日志 0 条(日志里不打完整图片 URL,只打 jobId/行数), 这条不能当反证;同一窗口 media-amazon 有 39 条,说明图片下载确实在跑。
    • 结论:这不是我们能改造的东西 —— 它是外部 CDN,不存在"切内网"的选项,26 ms 是杭州→深圳节点的物理距离。 真要提速只有两档:图片已在库里的别重下(缓存命中),或把下载并发从 image-download-pool-size=8 往上抬 ——但公网出口只有 5–8 Mbps,抬并发只会互相抢带宽,所以这条归入"不动"。
    • 顺带纠正我自己前一版的取数:那组 rtt 写成 0.405 / 26.104 / 26.303 / 27.314,其中 0.405 与同 IP 的其它三条 差 60 倍,更像是 ss -tni 多行记录被我按行抓串了位,不要拿它当"有一条快连接"的依据。

五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 % 主机通配

这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。

  • A 上绑在 0.0.0.0 的端口一共 18 个(10:2x 用 ss -tln 重数,之前这里只写了 5 个,是漏的): 22 / 80 / 443 / 3001 / 3010 / 3306 / 6379 / 8085 / 8089 / 9000 / 9001 / 15126 / 16379 / 16890 / 17248 / 18080 / 26379 / 26739。 其中 9001 是 MinIO 控制台、15126 是 Flask、16379/26379/26739/6379 是 redis 与哨兵, 3001/3010/8085/8089/17248 本次没有逐个认领到具体容器(别把这条读成"这些都是废弃端口")。 B 侧对照过:replica 的 3306 只在 docker 网络内,B 对外只有 443。
  • 但"端口开着"不等于"能匿名进",这次逐个验了:A 上有 4 个 redis 容器 (shufu-redis-master 8.6.2、shufu-redis-sentinel 7.4.0、1Panel-redis-NmIe 8.6.2、redis_gzpa-redis_GZPa-1 7.4.0), 对 127.0.0.1:6379、192.168.0.171:6379、127.0.0.1:16379、127.0.0.1:26379 各打一次 PING, 四次都是 NOAUTH Authentication required.,没有一次免口令成功 → 这四个口不用改,收端口只是为了不给爆破机会。 26739 那口(redis_gzpa-redis_GZPa-1 映射到宿主 6379)本次没测,别把上面这句推广到它。 (顺带纠正:ss -tln 会同时列出共享同一 netns 的容器的监听口,所以第一版"五个容器都在听 6379"是共享网络的产物, 真实对外映射只有 1Panel-redis-NmIe → 6379 和 redis_gzpa → 26739 两条,用 HostConfig.PortBindings 才数得准。)
  • 再加一条:nacos 的 8080 / 8848 / 9848 也是 0.0.0.0,且服务端鉴权是关的(详见第二节第 9 条)。 这条今晚已经用"停容器"消掉了,但端口是 docker -p 在 iptables 里做的 DNAT,阿里云安全组未必挡得住: 1Panel 装的这些 app 一旦哪天被人重新 docker start,门就又开了。所以安全组入方向要明确写上这三个端口拒绝, 而不是只靠"现在没容器在听"。 (停后 8 秒 tcpdump 采样里这三个端口已无新 SYNs,历史扫描证据见第 9 条的 access_log 统计。)
  • 主库账号表里读到的是 root@%、gitea_dpCCcA@%、py_Task@%、py_Task_test@% —— 口令猜不出来也不该猜,但"任意来源主机"这个条件意味着端口收掉之前,这些账号只靠口令守。
  • 收掉公网 3306 不会打断复制:副本的 Source_Host 已经是 192.168.0.171(VPC 私网), 这是本条里唯一"已经确认可以安全收"的部分,我提前把它验掉了。
  • 同类:18080 是 Java 的 actuator + 业务端口直连公网,所以第七节里"要不要暴露 /actuator/prometheus" 的前提是先把它从公网收掉;9000 是主 MinIO 裸口,公网可直接打 S3 请求。
  • 建议动作(一次性、可回滚):阿里云安全组把 A 的入方向限制为 仅 443(+ 运维来源 IP 的 SSH), 先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。 VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 —— 今晚已实测三个私网地址全通。

六、货源主图转存:252 条失败全是瞬时 TLS 重置(11:3x 查出并已修)

这条不是"中间件调优",是查别的东西时撞出来的真在掉数据的口子,所以记全取证链。

  • 现象与量级(主机A,docker logs --since 180m java-server,窗口内总行数 20,846 行): main download fail 252 条、row failed asin= 247 条;失败原因 252 条全是同一句 Remote host terminated the handshake;源分布 247 条全部是 m.media-amazon.com(其它源 0 条), 且 main download http (非 200)0 条 —— 也就是没有任何一次是源站正常答复的错。
  • 失败是按批整片出现的:按分钟分桶是 08:21=10 / 08:26=10 / 08:31=20 / 08:33=10 …10:01=10 / 10:43=20 / 10:49=10, 一批 10 行一起挂,同批三条时间戳 10:01:12.805 / .852 / .993 相差不到 200ms。
  • 证明是瞬时的:把当时失败的 8 条 URL 原样再取一次,7 条 200(9.6KB–22KB 不等)、 1 条 000(curl 也连不上,那条多半是真死了)。
  • 三个假说逐个验掉:
    1. "出口 IP 被 Amazon 封了" —— 同机 curl HTTP/1.1 与 HTTP/2 都 200、openssl s_client 完成 TLSv1.3 握手(TLS_AES_128_GCM_SHA256),解析到的节点 54.192.34.54;B 机同样 200。
    2. "JDK 21 的 TLS 栈有问题" —— 在 A 的容器里直接跑单文件程序 java /tmp/TlsProbe.java: HTTP/1.1 串行 200、复用同一 client 再发 200、HTTP/2 200、共享 client 24 并发 {OK=24}、 每请求新建 client 12 并发 {OK=12}、低频 4 并发 8 条全 200(jdk=21.0.7)。
    3. "并发打爆了 CDN" —— 配置上峰值只有 llmRowConcurrency=5 路主图 + 拼图池 imageDownloadPoolSize=8, 而我 24 并发都一次没失败。 → 落到第四点:旧实现一次都不重试。SimilarAsinLlmService.downloadBytes 单发,握手被 RST 就 return null, prepareImages 随即抛 主图转存失败: <url>,真实异常被丢掉(我为了知道原因只能去翻紧邻的上一行日志)。
  • 代价的准确形状(别夸大也别缩小):prepareImages 是 inspectRowInternal 的第 1 步, 在类目匹配/合规/图片对比这些 LLM 调用之前 → 失败不烧 token; 但整行被 markFailed → 按现在的重发语义下一轮再来,白占一轮行位,最终在结果 Excel 里就是一行失败。
  • 改动:downloadBytes 加有界重试。
    • 新键 aiimage.similar-asin.llm-image-download-retry-times,默认 2(额外次数,总 3 次尝试);置 0 即完全退回旧行为。
    • 只重试连接级异常;非 200 直接返回 null 不重试(源站的确定答复,重试只是白等超时)。
    • 加 25 秒总预算常量护栏:慢源 hang 住时不放大尾延迟(同模块 alicdn 已被这件事咬过, 见 SimilarAsinImageEmbedder 里"8s + retry=1 → 改回 5s + retry=2"那条注释)。
    • 重试成功打 main download retry-success url=… attempt=n/N;耗尽后抛 IOException("主图下载失败(<真实原因>)"), prepareImages 再拼成 主图转存失败: <url> 原因: <真实原因> → 行失败日志从此自带原因。
  • 测试:SimilarAsinMainImageDownloadRetryTest 6 例全绿(抖动两次第三次成功 / 耗尽后异常里带真实原因 / 403 只发一次 / retryTimes=0 退回单次 / 线程中断立刻停止重试且标志回设 / 空 URL 不抛), 原有 SimilarAsinLlmServiceTest 8 例未受影响。
  • 回滚不用回退 jar:/.env 追加 export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_DOWNLOAD_RETRY_TIMES="0" 后重启 java 即可。 该键已按本仓库惯例写进 application.yml:380(llm-image-download-retry-times: ${AIIMAGE_..._RETRY_TIMES:2}), 所以运维在 yml 里就能看见它,回滚走的是 yml 占位符而不是 relaxed binding —— 这条是确定性的。 (补记:第一版我只把默认值写在 Java 字段里,yml 没这一行,那样 env 覆盖就只能靠命名松散绑定;打包后自查发现 yml has retry key: False 才补上, 补完必须重打包,因为 yml 在 jar 内。)
  • 发版后要看的数:main download retry-success 与 main download fail 的比值。 若 retry-success 占大头 → 对端确实在抖,值得再抬 retry;若 retry 后仍大量耗尽 → 说明这批 URL 里有真死的, 那时再谈"失败行要不要在 Excel 里区分'可重试/不可重试'"。

6.1 发版后实测(11:57 上线,取到 12:02 的数)—— 结论与上面的预期相反,照实记

发版:dd06a1cf,两台线上 jar 同为 03eb1049c19ff58f3d8df423aeb6d0e9(162,591,773 B), health 200、Flyway 137 无新迁移、ERROR 0 条、AIIMAGE_ROCKETMQ_NAME_SERVER=192.168.0.170:9876 重启后仍是私网值。

主机A 按日志行首本地时间戳切窗口(docker logs --tail 300000 落文件后 substr($0,1,19) 过滤):

窗口 行数 货源行处理 行失败 main download fail 行数 带 attempt= retry 救回 三次耗尽
旧代码 11:00–11:56 21,583(含下行) 514 75 75 0 — —
新代码 11:57–12:02 1,581 107 15 49(=18 段重试 ×次数) 49 3 15
  • 重试只救回 3/18 = 17%,另外 15 段三次全耗尽;err= 全是同一句 Remote host terminated the handshake,非 200 仍是 0 条。
  • 行失败率几乎没动:14.0%(15/107) vs 旧代码 14.6%(75/514)。
  • 所以第五节/第六节开头那个"瞬时抖动、重试就能救"的判断只对了一半: 它确实是瞬时的(事后几十分钟再取就 200),但恢复窗口比秒长—— 250ms/500ms 这种 backoff 撞上的还是同一阵重置,因此只有少数踩在窗口边界上的行被救回。
  • 确定拿到的收益是另外两条,不是重试本身: ① 15/15 条 row failed 现在都带 原因: Remote host terminated the handshake(旧代码 0 条带原因, grep -c '主图转存失败: .* 原因: ' 在旧窗口是 0),以后不用再去翻紧邻的上一行; ② 非 200 与连接级失败被分开了(main download http 独立计数),不会再混成一个数。
  • 剩下的杠杆只有两类,都需要先量准"恢复窗口到底多长"再决定,本轮没有动: (a) 把 backoff 抬到秒级以上(如 2s/5s,预算 25s 装得下)——但代价是占住行 worker, 货源行并发只有 5,每行多挂 7 秒会直接压吞吐; (b) 不加重试、改为让现有的"整轮重发"去接(分钟级天然对齐恢复窗口), 代价就是现在这个形状:白占一轮行位。 现在的数据只够说明"秒级重试≈聊胜于无",不够说明 (a) 有用—— 要做 (a) 得先按 ASIN 关联"同一 URL 第一次失败 → 后来成功"的时间差分布,这个还没测。

6.2 真根因:解析到的 CDN 边缘不认 m.media-amazon.com 这个 SNI,直接 RST(已修:备用域名)

12:08 回读时它还在掉数据(窗口总行数 7,029 自证,不是"翻到几条算几条"): main download fail 109 条、retry-success 只有 3 条、row failed asin= 35 条、非 200 仍是 0 条, 失败 host 109/109 全是 m.media-amazon.com。往下查了四层,结论是第五节开头那句"瞬时抖动"只对了一半。

  • 第一层:按节点固定 IP 打(curl --resolve,每节点 5 次) —— 失败不是均匀分布,是整族失败: 184.27.207.231 0/5、184.27.207.245 0/5(Akamai 系,全 code=000,0.2s 内被重置); 3.161.83.53 5/5、65.8.31.143 5/5、99.84.157.65 5/5、18.245.30.82/18.64.1.220/54.192.34.54 200(CloudFront 系)。
  • 第二层:是不是节点本身死了 / 被墙了?都不是。 同一个坏 IP 上: 带 SNI m.media-amazon.com → openssl s_client 3/3 write:errno=104; 不带 SNI → 3/3 握手成功(TLSv1.3 / TLS_AES_256_GCM_SHA384); 换 SNI 为 images-na.ssl-images-amazon.com → 同一 IP 直接 200。 TCP 443 两边都能连(/dev/tcp 都 yes)→ 复位发生在 ClientHello 之后 = 这台边缘没配这个虚拟主机名, 不是封禁、不是限流、不是 TLS 版本/套件问题。
  • 第三层:为什么会"整批一起挂" —— 解析本身在抽奖:宿主机 24 次查询里 **15 次(62%)**给的是坏族、 容器内 12 次里 4 次(33%);而 JVM 的正向 DNS 缓存会把抽到的节点钉住一段时间 (java.security:347 那行是注释态 → 无 SecurityManager 时按 JDK 默认 30 秒,这个 30s 没实测, 但"至少钉住一整批"是被数据证明的:同批 10 行在同一 200ms 内全挂、秒级重试 3/3 同败)。 → §6.1 那 17% 就此得到机械解释:250ms/500ms 的三次重试全打在同一个坏节点上, 只有踩在换期边界上的 3 段被救回;把 backoff 抬到 30s 以上确实能行,但要占住并发只有 5 的行 worker,不划算。
  • 改法(本次上线):连接级失败后的第 2、3 次尝试改用备用域名 images-na.ssl-images-amazon.com, 首试仍用原 URL;只换 host,端口/path/query 逐字符保留。换名等于换一批解析结果,不等待、不占 worker。
    • 为什么是这个名字:最近 20 条失败 URL 走它 20/20 成功,且与原域名取到的字节 md5 零不一致(20 次比对); 反例 images-amazon.com 6/6 全 000 —— 所以这是白名单映射,不是"随便换个 amazon 域名"。
    • 新键 aiimage.similar-asin.llm-image-host-alias-map(application.yml:381, 默认 m.media-amazon.com=images-na.ssl-images-amazon.com,多组用 ; 分隔), 置空即关掉这条、退回 §6.1 那版行为;回滚同样是 /.env 追加 export AIIMAGE_SIMILAR_ASIN_LLM_IMAGE_HOST_ALIAS_MAP="" 后重启 java。
    • 日志可分辨:救回来的那条会长成 main download retry-success url=https://images-na.ssl-images-amazon.com/...。
  • 测试:SimilarAsinMainImageDownloadRetryTest 6 例 → 10 例(首试必须原域名+二次换域名且路径不变 / 映射置空完全退回 / 映射外域名(alicdn)不受影响 / 带端口与 query 的 URL 只换 host),原 6 例语义未改仍全绿。
  • 发版后要看的数:row failed asin= 的占比应从 ~14% 往下走;retry-success 里 host=images-na 的占比 就是这条的命中量。若失败仍高,说明坏的不止这一族或不止这一个名字,再按同一套逐节点方法复查, 不要直接加 retry 次数。

6.3 §6.2 发版后实测(A 12:33:30 起,约 7 分钟窗口)—— 26/26 全救回,行失败 0

同一台、同一套计数,只换时间窗(docker logs --since 95m 落文件后按 substr($0,12,8) 切窗,窗口内总行数一并报出):

窗口 窗口行数 main download fail 救回(换域名) 救回(原域名) 非200 row failed asin= flush 出的 totalRows
旧代码 11:00:00–11:56:00 17,995 60 0 0 0 60 160(16 次 flush)
新代码 12:33:30–12:40:45 1,832 26 26 0 0 0 20(2 次 flush)
  • 旧代码是 1:1:60 次握手失败 = 60 行判失败(一次都没救回)。 新代码是 26 次失败全部由备用域名救回,行失败 0 —— 换域名这条路是成立的, 而 §6.1 那 17% 正是因为三次秒级重试打在同一个坏节点上。
  • 别把这张表读成"行失败率归零":新窗口只有 20 行样本(货源任务是间歇的), 能证的是**"连接级失败 → 行失败"这条因果被切断了**(26/26), 行级占比要等攒够几百行再按 §6.1 的口径复测。
  • resc_same=0 也是有效信息:原域名上再试一次一次都没救回来, 与"被钉住的是节点不是时刻"完全一致。

七、容器 json 日志已长到 2.7–3.6GB,daemon.json 里没有任何 log-opts(需人拍板)

  • 实测 du -m /var/lib/docker/containers/*/*-json.log 的前几名及归属(id 取目录名,别用 basename $f -- '-json.log', 那写法会把 id 取空、docker inspect 报错,然后被我自己的兜底文案伪装成"残留目录"这个假结论):

    主机 当前体积 容器 容器创建时间 实测日均(近 2 万行的时间跨度折算)
    B 3591 MB 1Panel-openresty-iXP2 2026-04-09 184 MB/天(619,577 行/天)
    A 2666 MB java-server 2026-09-16 180 MB/天(385,887 行/天)
    B 1063 MB 1Panel-gitea-AgMc 2026-08-12 53 MB/天(158,025 行/天)
    B 318 MB java-server 2026-09-16 41 MB/天(144,687 行/天)
    A 1820 MB 1Panel-openresty-8XvI 2026-04-09 9 MB/天(31,926 行/天)
    A 1684 MB shufu-redis-master 2026-08-25 0.2 MB/天(1,742 行/天)

    ⚠ 第一版这张表我是拿"体积 ÷ 存活天数"摊的,几乎每行都错(redis 摊出 "~50 MB/天"、B openresty 摊出 "~21 MB/天")。 正确做法是 tail -n 20000 的首尾两条 "time" 求跨度,再用 tail -n 20000 | wc -c 求字节量 —— 摊出来的平均会把 历史上的突发当成常态,还会把"最近才变快的"(B openresty)压平。

  • redis 那 1.68GB 已经查清了,不是"速率异常",是一次 9 分钟的重连风暴: 全文共 10,617,262 行 / 平均行长 165 字节,而按行号采样时间戳, 第 1 行 = 2026-08-25T05:34:16(容器刚创建)、第 10,070,001 行 = 2026-08-25T05:43:27 → 95% 的体积是创建后头 9 分钟写出来的,之后到 09-18 才又爬了 53 万行。 那 9 分钟在刷什么:Master replied to PING, replica… / Non blocking connect for SYNC fa… / Retrying with SYNC… / (Non critical) Master does not … / Trying a partial resynchroniz… / Unexpected reply to PSYNC from … / MASTER aborted replication with… / Reconnecting to MASTER 192.168.… —— 典型的副本对主库的 PSYNC 被拒 → 立刻重连紧循环(10.07M 行 ÷ 551 秒 ≈ 1.8 万行/秒),不是 crash。 当前这台的实际写入量是 2.9 字节/秒 ≈ 0.25 MB/天(就是每 5 分钟一次 BGSAVE 那三行), 所以这条从"值得单独取证"降级为"历史一次性事件,止血时随别的一起 truncate 即可"。

  • 但顺带查到一条会误导人的事实:redis 容器名与实际角色是反的(docker logs | grep -oE '[0-9]+:[SMX] [0-9]{2} [A-Za-z]{3}' | tail -1 实测): A 上叫 shufu-redis-master 的容器今天的前缀是 1:S(slave),B 上叫 shufu-redis-replica 的容器是 1:M(master), 两边 sentinel 日志里都留着 25 Aug 06:32:56 +switch-master mymaster 192.168.0.171 16379 → 192.168.0.170 16379 —— 也就是 8-25 那次故障切换之后角色就固定在"名字相反"的状态了(上面那场 SYNC 风暴正是那次切换前后发生的)。 看名字判断主从会判反,要认角色读日志前缀或 INFO replication。这也和第六节 java 侧实测一致:数据连接落在 .170。

  • B openresty 为什么涨到 193 MB/天 —— 已定性,是客户端轮询而不是攻击: 按行号采样时间戳看增长曲线,2026-04-09 到 2026-09-11 才写到第 90 万行(约 6 千行/天), 之后每 90 万行只花 1~2 天 → 9-11 前后涨了约 100 倍。近 2 万行的构成: /newApi/api/collect-data/tasks/progress/light 5,073 + price-track 1,471 + appearance-patent 1,325 + 其余各 progress/light 合计约 8,400 行(42%)、/api/tasks/pull-pending 3,201(16%)、 /newApi/api/notifications/summary 2,947(15%)→ 约 73% 的访问日志是这三个轮询接口。 状态码:20,000 行里匹配到状态码的有 19,878 条,其中 200 = 19,784、304 = 94,4xx/5xx = 0 (剩 122 行是 nginx 自己的 notice/error 行,不带状态码)→ 不是被打,是自己人在轮询。 可选的低成本止血(本轮没做,属要人拍板:会损失这些接口的访问记录): 在 B 的 openresty 站点配置里对 progress/light、pull-pending、notifications/summary 三条 location 加 access_log off;(或单独降级到一个可轮转的日志文件),按上面的占比能砍掉约 7 成的 193 MB/天, 且 nginx -s reload 是 graceful、不重启容器、不断长连接。 反过来说:如果以后要靠访问日志查"某次轮询有没有返回过 304/401",这条就查不到了 —— 所以先问要不要留样。

  • 来源构成(同一批 20,000 行里数 {"log":" 后面的 IP,注意宿主机 ss 与 grep '^[0-9]' 两种写法都取不到,因为每行以 JSON 开头): 一共只有 10 个来源 IP,8.149.69.98 一个占 12,843 行(64%),8.139.247.224 2,875、8.139.195.39 2,201、 183.253.114.241 441、8.139.170.222 413、183.220.59.30 407、120.33.224.243 296、121.205.250.173 166、 47.110.241.161 68(= 主机A 自己的 EIP)。UA 分布:Mozilla/5.0 Windows 12,904、python-requests/2.32.5 6,698、 python-requests/2.32.3 153、Mozilla WOW64 35(合计 19,790,其余是 nginx 自己的 notice 行)。 python-requests 那批打的是 /api/tasks/pull-pending(3,203) + /api/internal/device-logs/upload(834) + device-logs/config(658) + user-secret-usage(136) + similar-asin/tasks/<id>/result + tasks/<id>/heartbeat → 是采集端在领任务/回报,不是外部扫描,所以 193 MB/天是"自家轮询设计"的账单,要降量得从轮询频率/日志策略两侧挑一边。

  • 顺带发现一条真实的公网绕行,但调用方没认领到(不要当成已定性):47.110.241.161(主机A 的 EIP)作为客户端出现了 68 次, UA 是 axios/1.20.0,打的是 GET /newApi/check_login 和 POST /newApi/login(10:59:48–49 连续一串,全 200)。 那一刻 A 宿主机与各容器 netns 里到 121.196.149.225 的 ESTAB 都是 0 条(短连接,采样撞不上)。 A 上常驻两个 node 进程(/www/wwwroot/jlyj.ditiansui.online/server/video-api.js 跑了 18 天、dist/server/main.js 跑了 5 天) 只是候选,我没证到是它俩之一 —— 想认领就在 A 上 tcpdump -i eth0 -nn host 121.196.149.225 and port 443 -c 3 拿源端口, 再 ss -tnp 'sport = :<端口>' 取 pid。注意这是 Node 侧发出的 axios(浏览器发的 axios 会带 Mozilla UA), 所以是服务器上的脚本在按域名登录自己的 API,不是用户在刷页面。 量级 68/20,000 = 0.34%,不是性能问题,本轮没动。 它给 §4.4 那句"两台之间业务链路无公网残留"划了个边界:那句的范围是 java↔MySQL/redis/MQ/OSS(已实测走私网), 不含"A 上还可能有别的进程按 api.aishufu.top 域名绕回 B"。

  • 磁盘不紧张(A 用 33% 剩 317G、B 用 18% 剩 388G),真正的代价是取证速度,而且我一开始把这条判错了: 实测同一台 A 上 docker logs --tail 5 = 12 ms(docker 从文件尾部反向取), 而 docker logs --since 1m = 19,631 ms、docker logs(全量 6,286,829 行)= 22,063 ms → --since 一点都省不了,它仍然从头解析整个 2.6GB 文件;省的是输出量,不是时间。 本轮我所有探测都用 --since,等于每次白付 ~20 秒。 以后探测一律优先 --tail N + 本地按时间戳过滤,只有真的要看"某个绝对时间点之后"才用 --since。

  • 想加 log-opts: {max-size, max-file} 要改 /etc/docker/daemon.json 并 systemctl restart docker,而 两台的 daemon.json 里只有 registry-mirrors、没有 live-restore(docker 默认 false)→ 重启 dockerd 会把该机上所有容器一起重启,包括 MySQL 主库、MinIO、redis 四件套、两台 java。这是本条没做的直接原因。

  • 还有一层:log-opts 只对新建容器生效,现有容器得 recreate 才吃到 —— 而 recreate 又会把今晚 docker update 抬的三处内存限额打回(见第一节附的表)。

  • 所以顺序建议:① 先把三处限额写进 1Panel 控制台(持久化)→ ② 开 live-restore: true(这一次重启仍会连带重启容器, 但之后重启 dockerd 就不再影响业务)→ ③ 最后逐台加 log-opts 并按 recreate 窗口滚动生效。

  • 期间可以做的低风险止血(不需要决策,但要写文件,本轮没动):把已经确认不需要的历史 json.log 用 truncate -s 0 清零(docker 以 O_APPEND 持有 fd,清零后继续写、不会破坏文件), 一次能回收 2.6GB/1.7GB/3.6GB。代价是那段历史读不回来了 —— 今晚的取证全靠这些日志, 所以我倾向于先给 java 的日志降量或先把关键窗口 dump 出来,再清零。这条留给用户定。

  • 如果只做一次 truncate,先做 A 的 shufu-redis-master:它的文件 17.65 亿字节里有 10.07M/10.62M 行(95%)是 2026-08-25 05:34:16–05:43:27 那 9 分钟的一次性风暴, 当前只写 0.25 MB/天 —— 清掉它几乎不损失任何"以后可能还要看"的东西,一次回收 1.7GB。 相比之下 java/B-openresty 那两坨是持续的(180–193 MB/天),清完三天就长回来,属于必须配 log-opts 才解决的那类。

    清的顺序按实测增速而不是按当前体积:B openresty 与 A java 各 ~180 MB/天,两三天就长回现在这个量级; redis 那 1.68GB 反而是最"安全"的一笔(0.2 MB/天,且内容全是一次性事件)。

7.1 增速与保留期都改成"实测值"(12:44 复测,方法可复跑)

上面那张日均表是用 --tail 首尾时间戳算的;这次换个更省的做法,一次拿全体积、保留期、增速: head -c 3000 / tail -c 3000 各取一条记录里的 "time":"…Z"(json-file 的 time 字段是 UTC, 比行内那个本地时间戳好认),体积差用 60 秒 stat -c %s 取 delta,不用整文件扫。

主机 容器 体积 现存最早一条 最新一条 实测增速
B 1Panel-openresty-iXP2 3,776,044,511 2026-04-09T15:53Z 09-28T04:44Z 186 MB/天
B 1Panel-gitea-AgMc 1,117,366,739 2026-08-12T05:09Z 09-28T04:44Z 58 MB/天
B java-server 335,763,998 2026-09-16T16:27Z 09-28T04:44Z 78 MB/天
A java-server 2,806,448,699 2026-09-16T16:27Z 09-28T04:45Z 219 MB/天
A 1Panel-openresty-8XvI 1,907,609,884 2026-04-09T16:23Z 09-28T04:38Z 0(60s 内没写)
A shufu-redis-master 1,765,409,908 2026-08-25T05:34Z 09-28T04:42Z 0
  • 两台合计 11.7 GB,稳态增速 ~540 MB/天;磁盘 A 用 34%(316G 空)、B 用 18%(389G 空) → 按稳态算根本不紧急,几年都填不满。所以"要不要配 log-opts"的理由不是省磁盘。
  • 真正的理由是这两条: ① 风暴型写入没有上限:redis 那 1.77GB 里 95% 是 2026-08-25 那 9 分钟写进去的(§七), 一次事件就能顶掉一个月的稳态量,max-size/max-file 是唯一能兜住它的东西; ② 读日志本身变贵:docker logs --since 3h 在这台是 19.6 秒(要从头扫 2.8GB), --tail N 才是 12ms —— 今晚取证全程只能绕着 --since 走。
  • 注意 java-server 的"最早一条"两台都是 2026-09-16T16:27Z:那是容器重建时间,不是保留策略。 现在没有任何轮转,文件只跟随容器存活期长,重建才清零 → 别把"只留了 11 天"当成配置过 retention。

八、品牌检测现在是坏的:代理 IP 供应商回「套餐不存在」(需人掏钱/换供应商)

发版 A 之后做启动异常采样时撞出来的,量级比 §六 那条更大,但根因不在我们代码里。

  • java 侧现象(主机A,--since 60m,窗口总行数 20,590 行自证): [brand-check] 告警 2,859 条 = 全机日志的 13.9%,其中 服务端返回查询失败将重试 2,062、整批耗时预算用尽 341、重试耗尽判定查询失败 402(涉及 270 个品牌名/小时), 请求异常将重试 只有 21 条(全是 HTTP/1.1 header parser received no bytes)。 → 也就是说服务在正常应答,但每次都把品牌放进 query_faild_data。
  • 归因到服务自己(16890 = 宿主机进程 python api.py,cwd /root/BrandTesting,pid 324327,已连续跑 59 天): 读它自己的 /root/BrandTesting/nohup.out 尾部 400KB(5,580 行)做形状统计:
    • 获取代理失败: 'NoneType' object has no attribute 'get' × 286
    • 代理请求结果->: {"code":-1,"data":null,"status":…,"message":"套餐不存在"} × 285
    • 紧接着 json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) × 280(把非 JSON 响应喂进 json.loads)
    • 同期 INFO: 127.0.0.1:xxx - "POST /brand_check HTTP/1.1" … OK × 310 → HTTP 层一直是好的 → 代理商那边的套餐不存在/已到期,不是限流、不是网络、不是 java 超时、也不是 §四 那条公网带宽问题。 钱或新供应商是唯一的入口,代码侧调不动。
  • 别顺手砍 java 的重试:进入重试的品牌直方图是 attempt=1/10 → 401、2→311、3→289、4→267、5→230、6→177、7→164、8→127、9→96, 每档还在救回 7–22%,砍 AIIMAGE_BRAND_CHECK_RETRY_TIMES 等于把可恢复的品牌直接写成"查询失败"给客户看。 真正的浪费点是 90 秒整批预算(total-timeout-millis:90000)每小时用尽 341 次 —— 分片回传的时延上界就是它, 历史上曾有一次被拖到 103.5s 导致客户端中止整轮采集(taskId 28599,代码注释里记着)。 等套餐恢复后这两个数要重新量,现在做的任何调参都是在坏上游上调。
  • 附带把一条旧判断证伪:A 上访问自己的公网 EIP 并不慢(对小请求而言)。 同一秒内各打 3 次 GET :16890/:47.110.241.161 → time_connect=0.27/0.35/0.27 ms, 192.168.0.171 → 0.066/0.065/0.061 ms。差 4 倍但绝对值都可忽略; §四 说的 5–8 Mbps 只在大块传输(下载图片/上传对象)时咬人,别拿它去解释小 POST 的失败。
  • 另一个纯运维项(我没擅动,属可执行清单):/root/BrandTesting/nohup.out 已 941,635,295 B, 实测 30 秒长 27,021 B(900 B/s)≈ 78 MB/天 —— 本条第一版把它写成了 "1.1 GB/天",是乘法算错了 14 倍 (1.1 GB/天 需要 13 kB/s);13:1x 另取一次 5 秒 4,700 B(940 B/s)与之吻合,两笔独立测量都对得上, 只有原来那个结论错。按 78 MB/天,900MB 约是 12 天积累。磁盘 492G 用了 156G(34%),完全不致命。 进程是 nohup 追加写、不能发信号重启 → 只能 logrotate 配 copytruncate(保留几轮 + 压缩)。 这是客户排障唯一的日志来源,保留策略要人点头,所以先记命令不执行。

8.1 16:2x 复测:本节"别砍重试"那句已经不成立,套餐是彻底空了

同一批口径在 16:19–16:23 重量了一遍,两处必须更正:

  • 上游零成功:nohup.out 尾部 4MB(≈92 分钟,实测增速 726 B/s)里 POST /brand_check 3,443 / Forbidden 3,444 / 代理池为空 3,444 / 套餐不存在 3,444 —— 四个数全等,grep '待解密-->' | grep -v Forbidden = 0 条。 上午那个样本里 310 次请求有 25 次没走到"套餐不存在"(约 8%),所以"每档还在救回 7–22%"当时成立,现在不成立。
  • 档位落差是预算截断,不是救回率:主机A 45 分钟窗口 distinct brand 291 个, 重试耗尽判定查询失败 覆盖 290 个 = 99.7% 最终失败,同期 整批耗时预算用尽 290 次。 attempt 直方图 342→242→220→192→157→124→116→88→69 的递减,几乎全部由 90 秒预算掐断重试链产生 (每次掐断紧跟一条"重试耗尽"),不能当恢复率读。
  • 服务与凭据都正常(避免下次再往这个方向查)::16890 在听,loopback / 私网 / 公网 EIP 三条路都 HTTP 200、0.7–2.2 秒返回;带 X-Token 200、不带 422 → 36 位的 AIIMAGE_BRAND_CHECK_TOKEN 是对的。 本节现象不是超时、不是 token、不是 §四 的公网带宽。
  • 因此上面"别顺手砍 java 的重试"这条在套餐失效期无反对意见了:10 次重试 × 递增等待现在只放大时延 (每分片回传最坏拖满 total-timeout-millis=90000),换不回任何品牌。是否临时压到 1 次待用户拍, 套餐恢复后必须重新量 distinct/exhausted 两个数再决定重试档位,别把止血参数留在永久位。

九、卡住自愈扫描会被一行的锁等待作废整轮(症状与根因两处都已修,取证在案)

§六 那轮复测顺手查出来的第二个缺陷,性质不同:它不是网络,是我们自己的定时任务。 修了两处:§9.3 让扫描不再被一行拖垮(症状),§9.5 把整批 LLM 移出事务(根因,持锁方本身)。 只修 §9.3 的话 burst 不再作废整轮,但那 50 秒锁等仍会每 110 秒白占一条 Hikari 连接。

9.1 现场是什么样子

  • 主机B docker logs --since 40m(窗口总行数 6,008 行自证)里 CannotAcquireLockException 9 次, 失败时刻 12:58:16 / 13:00:06 / 13:01:57 / 13:03:47 / 13:05:37 / 13:07:27 / 13:09:17 / 13:11:07 / 13:12:57 —— 严格每 110 秒一次,13:12:57 之后自行停止。110 = 60s fixedDelay + 50s innodb_lock_wait_timeout, 这个周期本身就是"同一行、同一处、每轮都撞"的指纹。
  • 抛点的完整 SQL 与栈(同一段日志里抠出来的,不是推测): UPDATE biz_task_file_job SET retry_count=?,updated_at=?,status=?,error_message=?,finished_at=?,terminal_callback_at=? WHERE (id = ? AND status = ? AND updated_at …) → TaskFileJobMapper.update-Inline → TaskFileJobService.resetStuckRunningJobsDetailed(TaskFileJobService.java:390) → TaskResultFileJobWorker.resetStuckJobs(TaskResultFileJobWorker.java:101)。
  • 同期 job 20834(APPEARANCE_PATENT / ASSEMBLE_RESULT / owner server-110)的一个 LLM 批次 costMs=1077959(18 分钟),窗口正好盖住上面这 15 分钟。
  • MySQL 侧累计自证:Innodb_row_lock_waits=354,493、Innodb_row_lock_time_max=51,199 ms、 Innodb_row_lock_time_avg=13 ms → 平均 13 毫秒,尾巴 51 秒:绝大多数锁等是正常排队, 出事的是极少数"被一个长事务按住"的行。慢日志里同类 50 秒锁等已 586 条, 8-31 / 9-08 / 9-16 各有一轮同样的 burst(历史热点 id 18399 命中 516 次)→ 不是今晚才有的。

9.2 为什么"整轮作废"比"这一行没修好"严重得多

原实现第 344–399 行的循环没有逐行容错,而第 400–405 行的 refreshJobsByIds + publishDispatchEvent 排在循环之后。所以第 390 行一抛:

  1. 本轮 SELECT 出来的其余最多 199 行不再看一眼(含真卡住该救的行);
  2. 本轮已经复位成功的那些 job 一个 dispatch 事件都发不出去 —— 它们已经是 PENDING 了却没人派发, 要等下一轮扫描的 PENDING 分支再兜一次,每兜一次 retry_count +1,而 MAX_RETRY_COUNT 只有 5;
  3. exhaustedJobs 直接丢空 → 该判终态失败的作业不 finalize,用户界面停在"处理中";
  4. 这一轮的 50 秒白占一条 Hikari 连接 → 同一时间窗内 Connection leak 告警 7 条(阈值就是 50s)。

被锁的那一行按 ORDER BY updated_at ASC 每轮都排在最前面,于是 12:58–13:13 每一轮都先撞它、 每一轮都整轮作废,那 15 分钟里实际上没有任何自愈在跑。

9.3 修法(只收口这一处,不动事务边界)

resetStuckRunningJobsDetailed 循环体整体包 try/catch (RuntimeException):单行失败只打一条 带 jobId 的 WARN 并 continue;publishDispatchEvent 也改成逐个 job 独立包(监听器是同步执行的, 一个 job 派发失败不能带走同批其余)。刻意不加事务、不改 @Transactional、不动 CAS 条件 —— 每行本就带 status + updated_at 的幂等条件,跳过就是下一轮再收,重复执行不会双份复位。

新增两个回归测试:lockedJobRowDoesNotAbortTheRestOfStuckScan(第一行抛 1205,第二行仍被复位并派发)、 alreadyResetJobsStillDispatchWhenOnePublishFails(第一个事件发布抛异常,第二个仍发出)。

9.4 持锁方:外观专利的 stale 恢复把整批 LLM 包进了事务(已定位、已修)

这一节上一版写的是"仍未定位"。定位过程记在这里,因为其中两条判据是错的,值得留着的不是结论而是排除路径。

四条证据:

  1. 同一笔 job 的三个数对上:burst 期间主机B 报 1205 的那一行,就是主机A 上 job 20834 (APPEARANCE_PATENT / ASSEMBLE_RESULT / owner server-110),它的 LLM 批次 costMs=1077959 = 18 分钟,把 12:58–13:13 整段盖住。两台 AIIMAGE_INSTANCE_ID 不同(server-110 / server-121) → 这是跨实例持锁;resetStuckRunningJobsDetailed 的扫描条件不带 owner,所以 B 必然会去碰 A 正持有的行。
  2. 锁由哪条语句取:submitLlmBatches 循环每批开头调 TaskFileJobService.touchRunning(:555, UPDATE biz_task_file_job SET updated_at=? WHERE id=? AND status='RUNNING'),紧跟着才是 llmClient.inspectRows 的 HTTP(:926)。持锁方与被锁方打的是同一行、同一把 X 锁。 —— 注意取锁点不是 enqueueAssembleResult:它对已 RUNNING 的行直接 return、不写(:63)。
  3. 为什么这把锁能活 18 分钟:finalizeStaleTask 的三个调用点原先都把整个方法包进 PROPAGATION_REQUIRES_NEW,而方法里 tryRecoverTimedOutPythonTask → submitLlmForSubmittedChunk(:1246) → submitLlmBatches 就是那 18 分钟。MyBatis-Spring 的语义:有环境事务时 mapper 调用不各自提交, 行锁持到最外层 commit;无环境事务时每次调用即刻提交、锁即时释放。
  4. 被排除的干扰项(都查过,别再重跑):全仓 FOR UPDATE 只有 shop-data-crawl 日锁与 TaskScopePayloadStorageService:486 两处,与本路径无关;今天全天 shop-data-crawl 删除调用 0 命中 (拒绝删除 / reconcile task after result deletion / deleteHistory 各 0);worker、touchRunning、 MQ 消费链静态读下来都不带环境事务。

两条当时看着像证据、其实不是的:

  • CglibAopProxy 出现在栈里 ≠ 在事务里。任何被代理的 bean 都会出现这一帧。判事务只能看 TransactionInterceptor.invoke / DataSourceTransactionManager.doBegin / TransactionTemplate.execute。 我按错的判据一度指认"brand-check 线程持事务",读源码后自己否掉(CollectDataService.submitResult 无 @Transactional,品牌检测本就注释说明刻意放在锁外)。
  • 线程转储抓晚了不能当反证。7 份转储(jcmd <javapid> Thread.print;A 机 java 是 pid 12, pid 1 是 bash /run.sh,对它抓只会得 AttachNotSupportedException)里没有任何 TransactionInterceptor.invoke, 但抓样时刻 13:31 已在 burst(止于 13:12:57)之后 —— 只能证明"此刻没有"。 顺带:kill -3 1 发给 bash 是无效的(非交互 bash 忽略 SIGQUIT),既没伤害也没产生转储。

对照:同源模块 SimilarAsinTaskService 早就是正确形状(:991 只把 finalizeTask 包进短事务, LLM 提交在事务外)。AP 是唯一破坏这个约定的模块,不是"全仓都这么写",所以本轮不需要横扫其它模块。

9.5 第二处修法:事务边界收到 finalizeTask 那一层

  • 三个调用点(finalizeStaleTasks / debugFinalizeStaleTask / finalizeNoUploadStaleTask)去掉外层 inNewTransaction,改由 finalizeStaleTask 自己只在 finalizeTask 外面开短事务; tryRecoverTimedOutPythonTask 里"封口"那段(多行 scope 状态更新)单独占一个短事务,紧随其后的 LLM 批次在事务外。
  • 加回归哨兵:submitLlmBatches 发批前查 TransactionSynchronizationManager.isActualTransactionActive(), 命中即 ERROR 带 taskId/jobId/pendingRows —— 以后谁再把批次搬回事务里,日志会直接点名,不用重演今晚的抓转储。
  • finalizeTask 内 shouldAssembleSynchronously() 恒为 false(出表走 MQ 异步),所以留在短事务里的只有 两次 select + 两次 update + enqueue + redis delete。
  • 本轮没动的三件,各自理由:brand-check 的重试/预算参数(§八 已定性为坏上游,调参等于在坏上游上调)、 selectRowsUpdatedAtByTaskIds(SQL 已够窄,无慢日志证据)、给 MySQL 加 PROCESS 权限(见下)。

数据库侧想直接看 information_schema.INNODB_TRX / performance_schema.data_lock_waits 仍然不行: 业务账号 CURRENT_USER()=root@172.19.0.1(名字是 root,权限被削平)只有 GRANT USAGE ON *.* + aiimage.* 表级授权,没有 PROCESS(读 INNODB_TRX 回 1227、读 data_lock_waits 回 1142), GRANT OPTION 也只覆盖 aiimage.*,提不出全局权限;宿主机上没有可用 root 凭据 (grep -rl MYSQL_ROOT_PASSWORD /opt/1panel 无结果、无 /root/.my.cnf,容器 env 里那个口令实测 1045 不认)。 给生产库加 PROCESS 属权限变更,不在本轮授权范围内,留给人工决定。 于是改成让代码留钩子: WARN 里带被锁的 jobId,而该 job 的执行日志(哪个实例、哪个批次、起止时刻)就在同一份日志里, 两边一对就能指认持锁方。下次 burst 不用再抓转储。

9.6 发版后验收(B 14:17 / A 14:20,两台同一 md5 ca20c212f11b80c4c2e53c4f231e2b19)

发版前取证(14:15):A 最近 3 分钟 960 行里 brand-check 240 / collect-data 22 / similar-asin 17 / appearance-patent 3, 库里 4 笔 RUNNING(货源 20791=task 29438、20805=task 29452;外观 20833、20838); B 3 分钟只有 22 行、模块活跃度 1 → 先发 B 无感。 代价照实记:A 重启打断那 4 个在飞批次,重启后 4 笔全部回到 RUNNING 并续跑(updated_at 14:25:54–14:26:31), 其中外观 20833 因 reclaim 把 retry_count 从 0 抬到 2(上限 5)。被打断那一批的 LLM 次数已扣而结果没落库,等于重发一次。

验收计数(每条都带窗口总行数自证):

  • B --since 8m 共 556 行:CannotAcquireLockException 0、Connection leak 0、事务哨兵 0;
  • A 纯重启后 --since 3m 共 801 行:以上三项 0,且 ERROR 级 0;
  • MySQL 60 秒两次采样(14:27:24 → 14:28:24):Innodb_row_lock_waits 354,519 → 354,519(增量 0)、 current_waits=0、time_avg=13 ms、time_max 仍是历史值 51,199 没再抬高。

这条验收的边界必须说清:窗口里只有货源在"等更多行",外观的 stale 恢复 + 十几分钟长批次这期间没再发生, 所以"0 命中"只证明没有回归,不能证明长事务持锁已被消除。后者的依据是代码形状(§9.5)加两条回归测试; 哨兵的价值在于——下次谁再把它改回去、或还有一条路径把批次留在事务里, llm 批次正跑在事务里 会直接把 taskId/jobId 点名出来,不用再演今晚的抓转储。

顺手记一个发版脚本自身会让人误判的地方:阶段5 的异常采样窗口是 --since ~115s,而 restart 只花 11 秒, 所以采样里混着旧 JVM 的最后一段。本次 A 就报了一条 NoClassDefFoundError: ...AbstractGenericHttpMessageConverter$1,用 awk 把它上面最近的日志时间戳抠出来是 14:20:00.437,而容器启动时刻是 14:20:01.835 —— 属于旧进程在 jar 被就地替换后按需加载类失败,不是新包的问题, 纯重启后窗口里它是 0。看到异常先归因时间戳,再决定要不要回滚。

十、三条"看着像优化点"的假设,全部被实测否掉(别再看第二遍)

§九 上线后继续找改造点,撞出三条候选。三条都没有改代码,各自的证伪证据记在这里。

10.1 品牌检测端点改私网 —— 否掉,因为 EIP 流量根本没出 VPC

两台都没 pin AIIMAGE_BRAND_CHECK_BASE_URL,用的是 jar 默认 http://47.110.241.161:16890 (= A 自己的公网 EIP),所以 B 的 java 也在跨机打这个公网地址。看着就是"该走私网 192.168.0.171:16890"。 同一台机器上各 GET 三次实测:

发起方 公网 EIP 47.110.241.161:16890 私网 192.168.0.171:16890
B 0.00135 / 0.00083 / 0.00081 s 0.00075 / 0.00071 / 0.00072 s
A(对照 §八) 0.27 / 0.35 / 0.27 ms 0.066 / 0.065 / 0.061 ms

B 到 A 的 EIP 只要 0.8 毫秒,和私网的 0.7 毫秒同一量级 —— 说明这段流量在阿里云同区域内根本没走公网出口, §四 那条 5–8 Mbps 的公网带宽上限咬不到它。换成私网省的是 0.1 毫秒,代价是两台 .env 都要改并重启 java。 不划算,放弃。 顺带确认:16890 在 B 上 127.0.0.1 是 CONN_FAIL(服务只在 A 的宿主机上), 且 AIIMAGE_NOTIFICATION_BRAND_SERVICE_URL 早就是 http://192.168.0.171:15126(另一个服务,已经私网化)。

10.2 「FAILED 作业没写终态回调 → 每轮被重复捞出来空转」—— 否掉,0 条

§九 的扫描 SQL 里有一条分支是 status='FAILED' AND retry_count>=5 AND terminal_callback_at IS NULL, 每轮最多捞 200 行。看到全局 DELETE_BRAND FAILED 71 就怀疑这批僵尸每 60 秒被两台各处理一次。 直接数:满足该条件的行数 = 0(按模块分组的结果集为空),retry_count>=5 且 callback IS NULL 的分布也是空。 那 71 条只是历史失败计数,回调都写过了。假设不成立,没动代码。

10.3 「任务 29475 永远停在 RUNNING,是个既不恢复也不判死的死锁组合」—— 否掉,它在正常爬

组装 job 终态失败但分片仍未补传完整,暂不恢复 taskId=29475 每 7 分钟打一条,线程是 http-nio, 像"客户端在反复重传同一批、永远补不齐"。把已收到的分片序号全列出来:

11,22,33,44,55,66,77,88,99,110,121,132,143,154,165,176,187,198,209,220,231,242,253,264,275,286,297,308,319,330,341,352
相邻差值:delta=11 命中 31 次,共 32 片;chunk_total=813,每片 payload 平均 124 字节

步长恒为 11 一度指向"客户端把行偏移当 chunk 序号发、服务端拿它跟 813 比 → 永远收不全"。 对照今天另外两笔就清楚了:29473 的分片已传完(max(chunk_index)=623 正好等于 chunk_total=623,共 57 片, completed=1),29479 在 704/961。所以 chunk_index 就是行偏移(每片 11 行),判"传完"用的是最后一个偏移追平 total, 不是"收到 total 片"。29475 现在在 352/813(43%),一切正常。 慢的真实原因是每片 11 行要花 7.3 分钟 ≈ 40 秒/行,与 §八 代理套餐过期同一条线: 不是协议 bug、不是服务端问题,是上游采集速度。 那条 INFO 也就不必改 —— 它每片打一条,正好是"任务还在推进"的心跳。

但本节初稿里"29473 已完成"那句是错的,14:59 复查明细后更正:它只是输入封口 (completed=1),任务本身 13:59 之后就没动过 —— biz_file_task.status 仍 RUNNING、 biz_file_result.url 为空、组装 job 20833 RUNNING retry_count=2,也就是分片传完了但结果出不来。 这条更正不是抠字眼:那 60 分钟的"没动"正是 §十一 那场"锁忙"风暴的另一半现场。

三条共同的教训:这三个都"看着像问题",而且前两个改起来都很便宜(换个 env、清一批僵尸行)。 如果直接动手,10.1 会白重启两台 java、10.2 会去删一批其实正常的历史行。 便宜的改动更需要便宜的证伪:一条 SQL 或三次 curl 就能判生死,先花这 30 秒。


十一、结果文件作业撞锁后自己点火:20 分钟 667 次零退避重投(已修)

§九 发版后做验收时顺手数了日志占比,结果翻出一个跟事务无关的新问题。记在这儿, 因为它的判据形状("每分钟递增""全属同一个 jobId""调度轮询一次都没领到活")比结论更值得留。

11.1 现场

A 机(server-110)重启后 20–30 分钟窗口:

窗口 总日志行 process requeued because task lock is busy 占比
14:2x–14:5x(30m) 9,116 741 8.1%
14:3x–14:51(20m) 6,556 472 7.2%
14:39–14:59(20m) 7,687 667 8.7%
  • 全部集中在一个 jobId:472 条那窗 100% 是 jobId=20838 taskId=29479 moduleType=APPEARANCE; 30 分钟那窗另有 187 条属 20833/29473,到 14:5x 只剩 20838。
  • 速率在涨,不是衰减:按分钟数 3 → 6 → 12 → 18 → 22 → 24。积压会被冲掉,自循环才会越跑越快。
  • B 机 0 条 —— 风暴只出现在作业 owner 所在的那台。
  • 时间戳形状:同一个 jobId 的重投行严格分簇,簇内相邻差 ≈1 s、簇周期 ≈10.02 s, 一个簇里并排 4 条链。10 s 这个数正好是 TaskDistributedLockService.DEFAULT_WAIT_MILLIS=10000。

11.2 根因:requeue() 在退回 PENDING 的同一刻把下一发点着了

链路(TaskResultFileJobWorker.processInternal → TaskFileJobService.requeue → TaskFileJobDispatchCoordinator.onTaskFileJobDispatch → TaskFileJobLocalDispatcher.dispatch):

撞锁(等 10s 未果) → requeue(): UPDATE ... status RUNNING→PENDING (updated=1)
                  → publishDispatchEvent()  ← 就是这一句
                  → AFTER_COMMIT 监听器 → 本地 dispatch(force) → worker.process()
                  → claimRunning(): PENDING→RUNNING → 再撞同一把锁 → requeue() …
  • requeue 只在状态真的翻转时才发事件(.ne(status,'PENDING') 是防重复投递的闸), 但这条路径上它每次都翻转成功(RUNNING→PENDING),于是每一轮都点火一次,环路里没有任何延迟要素。
  • 周期 = 10 s 探锁 + 一次往返,所以稳态就是"每 job 每 10 秒一次",而分片上传事件每次 requeue 都会另起一条链(scheduleLlmPipelineForSubmittedChunk 每传一片调一次),链数只增不减 → 解释 11.1 的递增。
  • 不是 MQ 重投:TaskFileJobConsumer.onMessage 只做 selectById+process,秒回、不抛异常 ⇒ broker 不重投; 而且 20838 是 owner-scoped 作业,归属机上走的是本地 dispatch,dispatchAfterCommit 里直接 return,根本没发消息。 实测旁证:同窗口 dispatch 相关行 0、scheduled worker claimed 0、队列已满 0、backpressure 0。
  • 锁确实被别人占着,不是僵尸锁:同窗口 appearance-llm-row-12/13/14 正在发 LLM 请求, biz_file_task 29479.updated_at 每几秒被刷一次。持锁方是同一任务的逐片 LLM 提交,属正常串行。

代价算在共享执行器上:一次探测要占住 taskQueueExecutor 的信号量许可整整 10 秒 (max-concurrent=12,与货源 LLM 重提、图像视频轮询共用同一池)。按 667 次/1200 秒做 Little 定律: 0.556 次/秒 × 10 秒 ≈ 5.6 个许可被"只是在等锁"的作业长期占着,约占全池 46%。 这一条是本节值得修的全部理由 —— 日志吵只是表象。

11.3 修法(一处,5 行)

TaskResultFileJobWorker.processInternal 撞锁分支不再走 requeue(),改走已存在的 deferRunning():同样 RUNNING→PENDING、同样写 error_message,但不发 dispatch 事件, 节奏交回 runPendingJobs 的固定周期。application.yml 里 local-worker-delay-ms 生效值 10000 (不是 @Value 兜底的 15000),所以最坏 10 秒后被重新捞起,比原来的"0 秒"慢、比"作业搁死"快。

String busyMessage = "Task is busy, waiting for previous task operation";
if (localWorkerEnabled) {
    taskFileJobService.deferRunning(job.getId(), busyMessage);   // 停车,不点火
} else {
    taskFileJobService.requeue(job.getId(), busyMessage);        // 没有轮询兜底,必须自己点火
}

那个 else 不是保守,是防搁死:application-local.yml 把 local-worker-enabled 关掉时, PENDING 行没有任何周期扫描会捞它(该 profile 连 MQ 都关着),去掉 publish 就等于把作业永久留在 PENDING。 本地 worker 开着 ⇔ 每 10 秒必扫一次,两者严格互斥,所以按这个标志分支就够了。

依赖的前提都取过证,不是推断:

  • 调度线程活着:同窗口 aiimage-scheduling-* 1,474 行(ziniao 缓存任务在跑);
  • 轮询开着:A 机 java 进程 env 只有 AIIMAGE_RESULT_FILE_JOB_MQ_ENABLED=true 一个 result-file-job 键, local-worker-enabled 走 application.yml 的 :true,/app/java/application-server.yml 未覆盖;
  • 轮询能捞到它:claimRunnableJobsForOwner 的 owner 分支条件 status IN (PENDING,FAILED) AND module_type IN (APPEARANCE_PATENT,…) AND owner=本机 AND retry_count<5, 20838 实测 status=RUNNING owner=server-110 retry_count=0 —— 翻成 PENDING 即命中。

11.4 没动的两处(有意留着)

  • DEFAULT_WAIT_MILLIS=10000 不改短。改成 2 s 能把"一个卡住的作业 = 1 个许可"压到 0.2 个, 但修完 11.3 之后重投频率已经从 0.556 次/秒降到 ≈0.1 次/秒·job,两个卡住的作业只占 2/12 许可; 再动就是要给 9 个测试文件的 allowLock 打桩换参数,证据不足以支付这个改动面。
  • 队列已满 那条 requeue(offloadOrRun 的闸门拒绝分支)形状相同、也零退避, 但实测窗口内 0 次触发(它要 TaskQueueGate 的 1,000 等待位先填满才会响)。不预修。

11.5 验收判据(发版后按这两条读,别只看"0 命中")

  1. process requeued because task lock is busy 每分钟条数应从 ≈24 掉到 ≤ 作业数 × 6/分钟, 且不再随时间递增;
  2. scheduled worker claimed jobs count= 必须从 0 变成非 0 —— 这条是新路径的唯一直接证据: 修完之后重投由轮询驱动,它不出现就说明作业其实是被别的东西捞起来的,那我的模型就是错的,得回来重查。 反过来说:这一条比"风暴消失"更重要,因为"消失"也可以用"任务刚好跑完了"来解释。
  3. 结果侧不能变差:waiting for async llm result 与 process success 的条数不应下降; 作业若真的 5 分钟没心跳,stuck reset 仍会兜住(stuck-timeout-minutes:5 没动)。

11.6 验收结果(15:37 读,纯新包窗口,两条判据都过)

线上 md5 两台一致 da1696f1f21ae4f0ff35cb78940a8202(162,593,211 B)。注意这个 jar 的路径坑: 宿主机 /app/java 才是容器里的 /app(docker inspect 的 bind mount),所以 docker exec java-server md5sum /app/java/*.jar 会安静地返回空——空输出不是通过, 本次差点当成绿灯,改在宿主机上 md5sum 才读到真值;回滚件 .bak-202609281524xx(A)/ .bak-202609281522xx(B)md5 = 上一版 ca20c212…,两台都在。

同一条 busy 日志的新旧对照(这是最硬的一条,取自主机A):

窗口 jar busy 条数 折算
15:20:00–15:24:40(4 分 40 秒) 旧(ca20c212) 252 54 次/分钟
15:25:00–15:37:43(12 分 43 秒) 新(da1696f1) 34 2.7 次/分钟

降 20 倍,且 2.7 远低于"作业数 × 6/分钟"的上限(当时真在跑 LLM 的作业只有 20838×26、20833×8 两个), 按分钟看 15:26→15:37 是 2/3/1/2/3/3/3/7/6/4,不随时间递增。

判据 2(唯一直接证据):scheduled worker claimed 同窗口 25 次(此前窗口恒为 0), 按分钟 1/3/2/2/3/3/3/3/3/2 与 busy 按分钟几乎 1:1 —— 重投确实改由轮询驱动,模型成立。

判据 3:waiting for async llm result 47 条、process failed 0、队列已满 0、ERROR 0。 process success 在这个纯窗口里是 0,不能拿来当绿灯也不能当退化——这两个外观作业本来就在等 LLM 行, 30 分钟窗口里有一次成功(15:09 jobId=20791 SIMILAR_ASIN,那还是旧包时段)。这条留待下一个完成样本再确认。 MySQL Innodb_row_lock_waits 354532 → 354533(约 7 分钟 +1),风暴打在 DB 上的那部分随之平了。 stuck reset 窗口内触发 1 次(15:35:03,resetCount=1 exhaustedCount=0),形态与"15:24 重启留下的 RUNNING 行等满 5 分钟阈值"一致,是兜底在正常工作,没有作业因此烧掉重试。

顺带被这次取证否掉的下一个优化点:/app/java 下 12 个 jar 备份共 1.9 GB,本想加"只留最近 N 个"的 清理,但两台根卷分别还有 315 GB / 389 GB 空闲(使用率 34% / 18%)——1.9 GB 对这个体量是噪声, 不做。同理容器日志仍是 json-file map[](无 size 上限),但那要改 daemon.json 并重启 docker, 属第七节的人工决策,不由脚本顺手改。


十二、开机自回收从来没生效过:每次发版都在吃结果文件作业的重试次数(已修)

§十一 修完重投风暴后,回读作业时顺手发现的,性质比风暴更阴——它不刷屏,只是把还能补传的组装作业一个个判死。

12.1 取证(主机A 库,15:45)

  • SELECT COUNT(*) FROM biz_task_file_job WHERE error_message LIKE '%实例重启,作业已重新排队%' = 0。 这条文案是 9-27 那批改动里"开机自回收"写下的唯一痕迹。上线到现在一条都没有 —— 这个兜底机制从来没有捞到过任何东西。日志侧同样证据:booted and reclaimed 每次重启都是 0。
  • 与此同时,作业 20833(任务 29473,外观专利)的 retry_count 从 15:26 / 15:33 两次读到的 2 变成 15:42 读到的 3。requeue() 和 deferRunning() 都不碰这一列(TaskFileJobService:597-635), 全库只有两条路会 +1::357 PENDING 僵尸兜底(上限压到 MAX_RETRY_COUNT-1)与 :378 RUNNING 卡死复位 (加到 5 就把这行写成 FAILED,文案"文件生成任务运行超时,已达到最大重试次数")。 窗口内唯一命中的是 15:35:03 那条 handled stuck running jobs reset resetCount=1 —— 也就是 :378。
  • 15:24:53 那次重启时,A 上有 4 个 owner=server-110 的 RUNNING 作业。它们没被开机回收接走, 于是 5 分钟后由 stuck 扫描按 +1 重试处理。发版 → 遗骸 → 扣重试,中间没有任何一步是可逆的。
  • 这条链已经产生过一个死掉的作业:20836 / 任务 29475(外观专利),created_at 10:37:00、 11:10:38 变 FAILED、retry_count=5、文案就是上面那句。33 分钟走完 5 次,与"5 分钟阈值 ×6 轮"同量级。 这正是最初报的那个"组装 job 终态失败但分片仍未补传完整,暂不恢复"。 要说清楚:这 33 分钟里 A 没有重启(按 .bak-* 时间戳数,今天 A 的重启在 02:42/03:15/09:32/11:56/12:33/14:19/15:24), 所以 20836 的死因不是发版,而是它当时正被 §十一 那个零退避循环反复搬运。两件事的公共节点是 :378 那个会判死的计数器。
  • 今天两台各发了 7–8 版(.bak-* 时间戳:A 7 个、B 8 个),RestartCount=0 说明 docker 自己没动过, 全是发版脚本的 docker restart。重试预算是 5。这两个数字放在一起就是问题本身。

12.2 根因:判据锚在"距今 N 秒",而事件只在重启后几秒响一次

TaskFileJobService.reclaimOwnedRunningJobs 原来的界是 now - max(60, staleSeconds)(staleSeconds 默认 90)。 它要防的是"误抢另一个仍在心跳的作业",逻辑没错,但取错了时刻:reclaimOwnedJobsOnBoot 挂在 ApplicationReadyEvent 上,本机从被杀到事件响只隔了十几秒,那时遗骸的 updated_at 也只停了十几秒, < now-90s 永远不成立 → 一行都取不到。等它真的"停了 90 秒以上"时,这个事件早就不会再响了。 开机回收是一条结构上不可能命中的分支,所以线上 0 条不是巧合。

判据换成 本进程的启动时刻:owner=本机 AND status=RUNNING AND updated_at < 本进程启动时刻。 成立的前提有两条,都已核:① docker restart 是先 stop 后 start,新进程起来时旧进程必然已经退出, 它留下的行一定停在这个界之前;② updated_at 全部由应用侧 LocalDateTime.now() 写入(不是 DB 时钟), 和本界同源,不存在跨机时钟偏移;本进程自己派发的行只会晚于这个界,所以界之后的行天然不会被抢。

12.3 修法(四处,无行为扩张)

  • InstanceMetadata 暴露 startedAt(ManagementFactory.getRuntimeMXBean().getStartTime(),系统默认时区)。
  • TaskFileJobService.reclaimOwnedRunningJobs(String owner, LocalDateTime orphanedBefore, int limit): 收调用方给的界,删掉 Math.max(60, …) 下限;界为 null 就不回收(交给 stuck 扫描)。
  • TaskResultFileJobWorker.reclaimOwnedJobsOnBoot() 传 instanceMetadata.getStartedAt(),日志改打 cutoff=。
  • 配置键 aiimage.result-file-job.boot-reclaim-stale-seconds(含 yml 行)删除。 取证过两台 env 都没有 AIIMAGE_RESULT_FILE_JOB_BOOT_RECLAIM_STALE_SECONDS,删了不影响现网; 留着则是"谁调大一点,遗骸就又筛不出来"的反向开关。测试里改为断言这个键不存在。

12.4 验收判据(下次发版就能读到,不用等)

  1. 发版前:记下当时的 RUNNING 行 id + retry_count。发版后:实例重启,作业已重新排队 必须 > 0 (这条从 0 变非 0 就是本机制第一次真的工作),且这些行的 retry_count 一个都不能涨。
  2. booted and reclaimed 日志出现同样的条数;这些作业应在几十秒内被重新 claim(不该再等 5 分钟)。
  3. 反证也要看:如果两台都在跑同一 instanceId,回收会抢对方的行 —— 已核 AIIMAGE_INSTANCE_ID 分别是 server-110/server-121,不撞。

12.5 顺带证伪的一条:外观模块自己那条 busy requeue 是冷代码

AppearancePatentTaskService:1806-1811 是同一形状的"撞锁 → requeue(自带点火)",但它写的 error_message 不同("…waiting for appearance patent result merge"),DB 能直接分辨: 近 6 小时 0 行命中,命中的 2 行全是 worker 那条文案。原因是可达性——它只能由 worker 的 handler 调到,而 worker 调到它时同一线程已经持有这把锁,TaskDistributedLockService 的重入计数(:58-61 加、 :188-191 减,只有减到 0 才真释放)会让内层直接拿到句柄、永不走 null 分支。 不改:给它加退避等于给死代码上保险,而且要动 handler 契约。

12.6 验收结果(16:14 读,75e48680 两台发版后即读,判据成立但第 1 条换了计量口径)

发版是 16:09:11 那次同时重启(两台同版 da1696f1 → 1ed261d9,health 200,Flyway 137 无迁移,无启动异常)。 这一轮的样本条件比预期更好:发版前那一刻全网 RUNNING 的结果文件作业恰好就是本机 owner 的 3 条 (16:06:23 快照),回收该接住几条、接住了几条,可以逐行对上。

项 发版前 16:06:23 发版后 16:13:36 判据
开机回收日志 全天 0 条(结构上不可能命中,见 12.2) 开机自回收本机遗留作业 count=3 owner=server-110 cutoff=2026-09-28T16:09:11.595 limit=20,时刻 16:09:21.513 ✅ 第一次真工作,且是启动后 9.9 秒
booted and reclaimed 0 条 1 条 reclaimed=3 instanceId=server-110 cutoff=2026-09-28T16:09:11.595 ✅ 与上一行同源同数
20805(29452 货源)retry 0,RUNNING,心跳 16:06:17 0,RUNNING,静默 31s ✅ 没涨
20833(29473 外观专利)retry 3,RUNNING,心跳 16:06:15 3,RUNNING,静默 33s ✅ 没涨 —— 旧行为这里会变 4,再发一版就撞 5 判死
20853(29500 货源)retry 0,RUNNING,心跳 16:06:12 0,RUNNING,静默 2s ✅ 没涨
重新被 claim 的延迟 旧包要等 stuck 扫描(阈值 5 分钟) 16:12–16:13 每 20 秒一条 scheduled worker claimed count=2 ✅ 几十秒量级,不是 5 分钟
PENDING 堆积 — pending_rows=0 ✅ 回收没把作业留在队列里
已达到最大重试次数 / killed_rows 0 / 1 0 / 1 ✅ 本轮没有新增判死
boot reclaim failed / ERROR / 队列已满 — A:0 / 0 / 0;B:0 / 0 / 0 ✅

B 机 开机自回收 0 条不是没生效:B 当时没有自有 RUNNING 作业(发版前 992 行日志里 0 claimed、 0 chunk、0 ERROR,空闲),cutoff 那条路径查不到候选,所以不打日志。A 的 3 条对上了就是判据成立。

判据 1 的口径要更正 —— 这是我写 12.4 时想错的一点:实例重启,作业已重新排队 写进 error_message 之后会被下一轮处理覆盖(16:14 复核 still_marked=0,20805 现在是 "Similar ASIN result uploaded…"、 20833 是 "Task is busy, waiting for previous…")。所以它是瞬时标记,不能当累计计数用; 真正的验收锚点是这两条:开机回收日志的 count= 和 那几行 retry_count 跨发版不变。 reclaimed_rows 这种"按文案数行数"的读法在任何一次成功回收之后都会掉回 0,读到 0 别当成没工作。

顺带记一笔:这一轮同时是 §十一 和 §十二 第一次在同一个真实发版里叠上 —— 20833 处于 §十一 的停车态 (Task is busy + RUNNING),旧包靠 stuck 扫描按时间判死它,新包先由开机回收退回 PENDING、 再由 10 秒一轮的轮询重新捞起。两个修复接的是同一条链的两端。

十三、V129 客户端中断自动续跑:功能上线至今从未执行过一次(开关要不要开,待人决定)

查"客户端向已判死任务无限重推结果分片"时挖到的:续跑整条链在线上一直是关的,而日志上看不出来。

13.1 取证(两台,16:3x)

项 实测值 说明
近 7 天「客户端异常中断」的 FAILED 任务 12 个 候选是有的,不是"恰好没活"
已自动重新排队 日志 0 条 该文案只在真的建了续跑子任务时打
巡检 resume(s= r= k= u=) 48 轮全零 开关关了与没候选同形,这就是它藏了 10 天的原因
env AIIMAGE_TASK_RESUME_ENABLED 两台都没有 查了 docker exec java-server env + 宿主机 /opt/1panel/runtime/java/java-server/.env + run.sh
env AIIMAGE_CLIENT_TASK_PULL_ENABLED 两台都没有 同上;续跑默认继承它
GET /api/tasks/pull-pending 1 小时 4443 次、每次返回空列表 兜底拉取同样关着;客户端每分钟来领,领不到也不报错
代码里 @Value("${aiimage.task-resume.enabled:true}") 与 yml 相反 yml 是 ${A:${B:false}},注解默认是死代码,但会把读代码的人带偏成"默认开着"

生效路径:task-resume.enabled=false → resumeInterruptedTasks() 第一行 return, 所以那 12 个中断任务一个都没被重新排队过。

后果实证(同一次排查里读到的):外观专利 29477 / 29478 / 29480 三个任务 0 分片落库、被标 FAILED 后, 客户端在 15:16–15:44 仍每 ~3.7 分钟推 3 次分片、被拒约 18 次/小时 —— 任务已经判死,没人把它救回来。

13.2 为什么开关我自己不拧(这不是技术判断,是产品语义)

  1. 兜底拉取的语义是"已解析但页面没推进队列的任务,客户端来领了直接跑"。PENDING 的定义就是 用户在页面点了"解析"、还没点"启动"(或点了但推送失败)—— 服务端分不出这两者。 打开后,用户单纯解析出来放在那儿的任务会在 min-pending-minutes(默认 5 分钟)后自动真跑。 白名单默认含 APPEARANCE_PATENT,而这个模块占平台 LLM 花费的 95%(后台「LLM 使用」口径)、 扣的是用户自己的次数。
  2. 只开续跑、不开兜底拉取没用:续跑子任务落在 PENDING,线上唯一会消费它的就是兜底拉取, 没人领就在 2 小时后被 StaleTaskRepairService 标失败 —— yml 那句注释"拉了没人领的话,续跑任务只会积压并被 stale 判死"就是这个意思。
  3. 双爬风险没排除:页面 activate 与拉取认领是同一行的 CAS(PENDING→RUNNING),互斥成立; 但"客户端本地队列已在跑、服务端却还看到 PENDING"这种状态有没有过,我没取证, 所以不能说开了之后一定不重复。

一条已被否掉的替代修法(写在这是为了别再评估第二遍):收到结果分片就把 FAILED 任务复活。 不行 —— 从中断到"复活后首次接受分片"之间被拒的那些分片永久缺失,而 completeSubmittedChunk 不校验 chunkTotal,结果是一份静默残缺的"成功(比现在显式失败更坏,外观专利是判侵权用的)。

13.3 这一版改了什么(只到"看得见"为止,不改行为)

  • ResumeStats 加 ran:本轮真的查过库才算跑过。开关关 / 模块未注册 → ran=false。
  • 巡检 summary 的续跑段位由 resume(s= r= k= u=) 改成 resume(ran= s= r= k= u=)。
  • TaskResumeService 与 TaskClientPullService 各加一行启动日志打生效配置 ([task-resume] 生效配置 enabled=… maxAttempt=… windowMinutes=… limit=… modules=… / [client-task-pull] 生效配置 enabled=… moduleTypes=… minPendingMinutes=… limit=… handlers=…), 以后发版后第一件能读到的就是"这两个开关到底是几"。
  • @Value 的 enabled 默认改成 ${aiimage.task-resume.enabled:${aiimage.client-task-pull.enabled:false}}, 与 yml 同语义(线上仍是 false,本版发完续跑依然不会跑,这是有意的)。

13.4 待决定的两条路(选一条,或都不选)

  • 开:AIIMAGE_CLIENT_TASK_PULL_ENABLED=true(写进宿主机 /opt/1panel/runtime/java/java-server/.env, 必须 export KEY="value",/.env 这一层要重启 java 才生效 —— 配方见本文第三节那条 env 说明)。 建议同时收窄:白名单先只放 SIMILAR_ASIN,COLLECT_DATA(把 APPEARANCE_PATENT 摘出去,别一上来动 95% 的花费), min-pending-minutes 从 5 抬到 30,client-task-pull.limit 保持 5。 收益:长任务遇客户端更新自动续跑,用户不用手点。 代价:解析后没点启动的任务会被自动跑,用户侧表现为"没点却跑了/次数被扣"。
  • 不开:把每周约 12 个中断任务当成人工重跑成本(现状即如此)。 若想少挨骂,代价更低的替代是在管理端/客户端加一个「重跑中断任务」按钮 —— 不改变自动行为,只省一次重新解析。

Why: 这两件事(自动续跑要不要真跑用户没点的任务)不是我能替产品定的,而"日志上看不出来"是可以修的,所以只修了可观测。 How to apply: 下次看到 resume(ran=false …) 别当 bug,那是开关没开;开了以后 ran 必须每轮都是 true, 否则就是模块 SPI 没注册([task-resume] 可自动续跑模块注册完成 count=0 会在启动行里)。

13.5 可观测改动的验收(17:14 读,5e86c280 两台已发,md5 6880abb0a9be6c6599f0122dcf2e4a07)

发版分两跳:17:05:24 先 B(当时空闲)、17:08:16 再 A(A 在飞:近 3 分钟 42 条 similar-asin、8 条 llm batch waiting for more rows,重启会掐断在合批的货源请求,按常设授权继续)。两台 md5 一致、health 200、ERROR 0。

项 实测 判据
A 启动行 [task-resume] 生效配置 enabled=false maxAttempt=3 windowMinutes=30 limit=20 modules=[SIMILAR_ASIN, APPEARANCE_PATENT, COLLECT_DATA](17:08:26.690) ✅ 第一次把"没开"打成明文
A 启动行 [client-task-pull] 生效配置 enabled=false moduleTypes=… minPendingMinutes=5 limit=5(17:08:27.415) ✅ 兜底拉取同形
巡检段位 A 17:12:00 / 17:14:00、B 17:10:00 三轮全为 resume(ran=false s=0 r=0 k=0 u=0) ✅ 与旧的 resume(s=0 …) 可区分;ran=false 就是 13.1 那个状态,不是新 bug
重启代价 A 开机自回收本机遗留作业 count=4 owner=server-110 cutoff=2026-09-28T17:08:16.965,随后 12 分钟 10 条 scheduled worker claimed ✅ §十二 的机制第二次生效,作业没留在 RUNNING
有没有把人打死 12 分钟窗口(总 4618 行)内 已达到最大重试次数 0、重发轮次已达上限 0、ERROR 0 ✅
业务是否继续 同窗口 similar-asin 172 条、appearance-patent 30 条 ✅ 重启后两条产品线都在往下跑
§十一 回归 requeued because task lock is busy 18 条/12 分钟 ≈ 1.5 次/分钟 ✅ 仍在 11.6 的 2.7 次/分钟以下

B 的启动行在 17:14 那次读是空的,因为取的是 --since 8m 窗口而 B 是 17:05 重启的; 17:07 那次单独读 B 已确认两行都在(enabled=false)。这类"空窗口"别当成"没打"。

十四、内部令牌能绕开刚上线的归属绑定(已修,17:3x)

§二.1 的"绑定"落地时我只核对到"匿名请求解析不出身份所以不受影响",漏了一类请求:同时带 JWT 与 X-Internal-Token 的。这一类在 shouldNotFilter 里就被整体放行了,根本没走到绑定判断。

14.1 洞在哪、为什么不是理论问题

AdminApiGuardFilter.shouldNotFilter 原来是:

if (adminAuthSupport.isTrustedInternalToken(request)) {
    return true;   // ← 连带把 190-206 行的 user_id 归属绑定一起跳过
}

而 isTrustedInternalToken 只比对令牌字面量、不要求 operatorId。这把钥匙硬编码在分发出去的桌面客户端里: app_client/amazon/tool.py:20 与 app_client/crawler_core/log_uploader.py:38 各有一份 32 字符常量, 随安装包到每个用户手上。于是"手上有一个桌面端"就等于"有了一把能过 shouldNotFilter 的万能钥匙", 再配上别人的登录令牌,user_id 想填谁填谁——刚收紧的绑定对这条组合完全失效。

14.2 取证:为什么改完对现网零影响

核对项 方法 结果
有没有调用方靠"内部令牌 + operatorId"解析出身份来做代客操作 全工作区 grep -ir 'operator_?id' --include=*.py(含 app_client、backend) 0 处。所以纯令牌请求进 requireUserOrInternal 后:无 JWT → resolveToken 抛"未登录" → resolveInternalOperator 因没有 operatorId 返回 null → 外层再抛 → filter 里 identity=null → 绑定不触发
真实客户端里最像的形状 price_match_new.py:1290-1302:内部令牌 + params={"user_id": user_id}、无 JWT,回调 /api/shop-match/tasks/{id}/stage-finished 落在上一行:解析不出身份 → 照旧放行
多出来的开销 AdminAuthSupport.java:40-43 无 token 时第一行即抛,不查库、不查 redis,只多构造一个异常
不带 user_id 的内部回调(按 task_id 那类) 新用例 internalTokenOnTaskScopedCallbackStaysExempt needsOwnershipBinding 先判 isUserToolPrefix、再判参数非空,所以 /api/admin、/debug、自助前缀与不带 user_id 的回调仍然整体跳过守卫,连身份解析都不会跑(verify(never()) 守住)

14.3 改法:只把"要不要凭据"与"归属归谁"这两件事拆开

if (adminAuthSupport.isTrustedInternalToken(request) && !needsOwnershipBinding(request, uri)) {
    return true;
}
  • "要不要凭据"这一半仍由令牌豁免:/api/admin/shop-manages/credential 这类"仅凭令牌即鉴权"的内部端点 继续由 controller 自校验,不会被守卫误拦 401。
  • "归属归谁"不再随令牌豁免:管理员/超管的代客操作豁免(mayActForOtherUsers)照旧,所以后台按客户查任务不受影响。

14.4 测试

AdminApiGuardFilterTest(576 行 / 30 个用例,全绿)新增 4 个,其中第 1 个在改代码之前是红的—— 它就是那个洞的可执行证明:

用例 断言
internalTokenDoesNotBypassOwnershipBinding 令牌可信 + 能解析出 user(7)、user_id=8 → 链不往下走、响应体 code=403
internalTokenWithoutLoginIdentityIsNotBound 令牌可信但解析不出身份 → 放行、响应体为空(守住 14.2 那条客户端形状)
internalTokenOnTaskScopedCallbackStaysExempt 不带 user_id 的回调 → 放行且一次身份解析都不跑
adminInternalOperatorIsStillExemptFromBinding 解析出的身份 role=admin → 放行

14.5 验收判据(发版后读)

  • 两台 md5 一致、health 200、启动异常 0(沿用既有口径)。
  • 基线为 0:17:4x 取证,两台近 60 分钟 [admin-guard] 日志 0 条(401 已降 debug,所以这 0 条本身就是 "没有非典型拒绝")。上线后若出现 [admin-guard] … 拒绝:登录身份 id=… 与请求参数 user_id=… 不一致, 说明存在"带 JWT 且 user_id≠身份"的真实调用方,按日志里的 uri 与 remoteAddr 定位后再决定要不要收。
  • 回退只有一档:aiimage.security.admin-guard-enabled=false 会把守卫连同绑定一起关掉(当前没有单独开关)。

十五、结果文件写 xlsx 的输出流没有缓冲:一次 8k 图片导出白花 7 秒(已修)

引出这件事的是全量测试里唯一的红:ExcelCellImageWriterTest.patchesTenThousandImageCellsWithinLinearTimeBudget 10 秒墙钟预算超时(3275 个用例里 1 个失败)。先查了它是不是被我改的东西带红的——不是:单独跑该类同样失败 (10.40s),且该类不引用任何本次改动。于是按性能问题查。

15.1 分阶段实测(本机,10 000 张 1 字节占位图)

阶段 耗时
造输入 xlsx(writeWorkbookWithImageCells) 36–110ms
registerImage × 10k 21–25ms
patchSheet(正则逐个替换 10k cell) 192ms
6 个 richValue/metadata part 的 build+write 71ms
media loop(写 10k 个 entry) 2969ms
ZipOutputStream.close()(写中央目录 10k 条) ≈4071ms(由累计值推导)
Files.move 替换原文件 1484ms(Windows 杀软按关闭时机扫文件,代码侧无解)
合计 patchXlsxFile 7380ms(另两次运行 10.4s / 12.4s,抖动主要来自 FS 缓存)

15.2 根因与修法(一行,产物字节不变)

两个写器都是 new ZipOutputStream(Files.newOutputStream(tmp))——没有套缓冲流。 Files.newOutputStream 返回的是 channel 流,于是每个 entry 的 local header、数据、末尾的中央目录记录 各发一次小 write,10k 图片 = 三万次 syscall,close() 那 4 秒全是在写中央目录。 修法是包一层 new BufferedOutputStream(…, 64 * 1024):zip 是纯顺序写,缓冲不改变产物内容。

改的两处:WpsCellImageWriter.java:140(现网在用的那个)与 ExcelCellImageWriter.java:88 (同一缺陷,顺手对齐;这个类本身见 15.4)。

15.3 为什么这不是"为凑绿改测试"

  • 测试文件一个字没动:预算仍是 10 秒,git diff 对该测试类为空(临时的分阶段打印与放宽预算的量测代码已全部撤销)。
  • 修后同一用例 1.811s(另一次 5.394s),相对 10s 预算有 2 倍以上余量;修前 10.4–12.4s 必然贴边。
  • 现网确实吃这段:主机A 近 24h 日志里 [wps-dispimg] 的 images= 最大到 8058(样本 30 / 807 / 1019 / 1242 / 4018 / 5010),也就是说单次导出真的会写几千个 entry,省下的秒数是真实发生的。

15.4 顺带查清的一件事:ExcelCellImageWriter 已经没人用了

grep 全 main 目录:该类只在自己文件里出现,生产调用者为 0;现网走的是 SimilarAsinResultWorkbookAssembler:763/877 → WpsCellImageWriter(提交 b3f7b81b 货源结果图回WPS DISPIMG 之后 Excel 原生 IMAGE 那条线被回退,类和它的测试留在了树里)。要不要连测试一起删掉,属另一件事,本轮只对齐了缓冲。

15.5 没做的一件事(留给有人对着真图验)

JPEG 图片 entry 现在仍走 DEFLATE。JPEG 本身已压过,再 deflate 基本是纯 CPU 浪费(改 STORED 需要给每个 entry 预置 size/CRC/compressedSize)。没有做,因为那会改变产物字节,必须先用真图 + WPS/Excel 打开回归验一遍, 而本轮的判据是"不改语义"。


十六、一次「隔离 worktree 全量 26 红」的归因:一半是检出换行符,一半是测试读了 gitignore 的本机 md(18:5x)

同一批代码,主工作树 3275 用例 0 失败;新检出的 tmp/head-build(HEAD 固定版)跑出 Tests run: 3275, Failures: 6, Errors: 20。两边差的不是代码,是检出形态。

16.1 那 6 个 golden 快照失败:core.autocrlf=true 把 LF blob 写成了 CRLF

ShopDataCrawlSnapshotTest / AppearancePatentSnapshotTest / PublishBatchLoadingSnapshotEquivTest 都是同一个形状:golden 用 Files.readString(path, UTF_8) 直读,被测串用 sb.append('\n') 生成, 中间没有任何换行归一。worktree 里 rows-snapshot.txt 是 CR=3 LF=3,主树同一文件 CR=0 LF=3, 去掉 \r 后两边逐字节相等 —— 所以断言必然红,但内容与行为都没变。

修法落在属性而不是测试:仓库根新增 .gitattributes(提交 0fe2121b),把断言会读到的 *.txt *.md *.sql *.yml *.yaml *.json *.sh 钉成 text eol=lf。零 churn 的依据是先量了一遍: git grep -I --name-only -P '\r' HEAD 在全部 tracked blob 上 0 命中,所以钉属性不会让 git status 变脏(实测加完仍是 0 条 tracked 修改)。只列扩展名、不写 * text: 后者会让 git 去归一化 jar/png/zip 这些二进制产物。没动 *.bat/*.cmd:现在它们的 blob 是 LF, 标成 eol=crlf 反而会在下次检出时改写它们,那是另一件事。

一个坑要记下:git checkout -f <sha> 和 git checkout-index -a -f 都不会重写 git 认为"未变"的文件, 所以加完 .gitattributes 在老 worktree 里看不到效果;删档再 git checkout -- <path> 才拿到 CR=0。

16.2 那 20 个 doc 测试失败:断言对象根本没入库(这条要人拍)

ArchitecturePlanSection6DocTest(8)+ ExplainIndexAuditDocTest(9)+ IndexMigrationV101Test(3) 抛的是 NoSuchFileException,不是断言不符。它们用相对路径直读 backend-java/docs/**.md,而 backend-java/docs 下 41 个文件里只有 7 个是 tracked:

被读的 md 状态
docs/java-architecture-optimization-plan.md .gitignore:119 backend-java/docs/*plan*.md 挡掉
docs/explain-index-audit.md .gitignore:121 backend-java/docs/*audit*.md 挡掉
docs/plans/00-plan-overview.md、docs/specs/12-flyway-and-inspection.md 等 同样未入库

也就是说:这些"文档一致性测试"在任何 fresh clone 或 CI 上必红 20 个,它们只在 lxq 这台机器上绿, 因为那 34 份 md 只活在本机。两个方向选一个(我没自行改 .gitignore,那等于替整个仓库决定哪些文档要入库):

  • 把被断言的那几份 md 纳入版本(加 ! 白名单或收窄 *plan*/*audit* 两条规则),CI 才能当门禁;
  • 或让这几类测试在文件缺失时 assumeTrue(存在) 跳过,并在报告里显式标"本机限定测试"。

本轮为了拿到干净的发版门禁,采取的是第三条临时路:把本机 backend-java/docs 整目录 cp -ru 进 worktree (不改仓库、不改测试),重跑这 7 个类得 86 用例 0 fail 0 error(19:02–19:03 的新 surefire 产物)。