Files
crawler-plugin/docs/ops/prod-decisions-2026-09-28.md
T
huangzd1997 15384358a0 docs(运维): 2026-09-28 夜生产待人工决策清单
守卫收紧要分「绑定」与「要求凭据」两步、MySQL buffer pool 与容器限额冲突、
B 机副本读分流前置取证、真删开关与 V138 观察期,均按今晚重新取证的数字写明代价。
2026-09-28 02:03:33 +08:00

131 lines
8.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 生产待人工决策清单(2026-09-28 夜)
本轮已上线的改动列在第一节,后面每一条都是**代码里做不掉、需要人拍一次**的动作。
条目按"建议处理顺序"排,不按发现顺序。
## 一、今夜已完成(无需再决策,列出便于核对)
| 提交 | 改动 | 状态 |
|---|---|---|
| `8536ddb3` | 外观专利行重发加轮次上限,超限就地判失败并写明原因 | 已上线 |
| `6a82697a` | MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min | 已上线 |
线上产物:`162,588,520 B` / md5 `e97fd273473db849b705a766b7b505c7`,两台一致(替换前为 `368495364897a776df486a25d2d779e2`)。
发版后回读:健康 200、Flyway `Schema aiimage is up to date`(137)、instanceId `server-110`/`server-121`、
启动异常 0 条、ERROR 0 条、`重发轮次已达上限` 0 条(无误杀)、巡检已按 2 分钟节奏触发。
发版顺序是先 B(当时空闲)后 A(A 上有 14 个在飞任务,按"不管有没有任务在跑"的授权执行)。
## 二、需人工决策
### 1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据"
现状(今晚重新取证,非引用旧笔记):
- 数据归属由请求参数 `user_id` 决定:controller 层共 **19 个文件**出现 `user_id`,其中只有 **2 个**文件里
出现过任何身份调用(`requireUser` / `requireUserOrInternal` / `currentUser`)。这是文件级统计,
端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。
- `aiimage.security.user-tool-guard-enabled` 默认 **false**,生产未覆盖 → query-asin / similar-asin /
appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。
- 桌面客户端 `app_client` 对这 14 个前缀共 **15 个调用文件**,其中只有 **4 个**文件里出现过任何凭据头
(collect-data 2、price-track 1、shop-match 1)。文件级统计是**上界**——同一文件里也可能只有一部分
请求带抬头。
- `AdminApiGuardFilterTest`(HEAD 版,20 个用例)对当前代码全绿。
两个可分开的动作:
| 动作 | 效果 | 代价 | 建议 |
|---|---|---|---|
| **A. 绑定**:请求带 JWT 时,校验 `user_id` 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 | 已登录用户不能再互相冒读,109 处调用点不用逐个改 | 对匿名客户端零影响(它们本来就没令牌) | **可做**,风险最低 |
| **B. 要求凭据**:把上述前缀纳入兜底鉴权(开关置 true) | 未登录直接 401 | 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 | **等客户端普遍携带凭据之后再开** |
动作 A 的实现规格已经写好了:另一窗口留下的 490 行 `AdminApiGuardFilterTest`(现存
`数富AI/tmp/AdminApiGuardFilterTest.wip.java`)用 6 个用例定义了行为,包括"非数字 `user_id` 交回
controller 报错""管理员可为他人代查"。它当时跑不起来的原因不是逻辑分歧,是文件本身没写完:
第 472 行调用的 **5 参 `newFilter` 在同文件里没有定义**(对应一个"按前缀分批开启"的白名单字段),
`AdminAuthSupport.currentRole(AdminUserEntity)` 已存在、可直接用。补齐 helper 与该字段即可转绿。
### 2. 主机A MySQL:`innodb_buffer_pool_size=8G` 与容器上限 6 GiB 冲突
2026-09-28 02:0x 重新读取:`/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `8G`(instances=8),
容器 `1Panel-mysql-zbja` 的 `HostConfig.Memory=6442450944`(6 GiB),当前实占 3.14 GiB,
宿主机 30 GiB 里还有 19 GiB available。
冲突点:buffer pool 想长到 8G,cgroup 只给 6G,长期会挤压其它内存并可能触发容器 OOM kill。
两条路,都需要重启 mysql 容器:
- 把 `innodb_buffer_pool_size` 降到 `5G`(留 1G 给连接与运维进程),容器上限不动;
- 或把容器上限抬到 `10G`(宿主机有余量),`8G` 保留。
**生效值没能读到**:容器内 `mysql -N` 没有可用凭据,只能确认配置文件写的值。动手前用
`SELECT @@innodb_buffer_pool_size/1024/1024/1024` 确认实际生效值与是否被截断。
同机顺带一条:`innodb_lock_wait_timeout` 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条),
这个阈值对业务侧的表现需要一并看一眼是否要调。
### 3. 主机B 的 `aiimage-mysql-replica`:活着,但没有业务在读
今晚取证:B 上有 `aiimage-mysql-replica`(mysql:8.4.8,限额 2 GiB,实占 1.67 GiB),
**端口只对 docker 网络内可见**(无 `0.0.0.0:3306` 映射),Java 侧数据源仍指向主机A 内网 `192.168.0.171:3306`。
它是"列表页大查询 / 报表 / 导出"这类读分流的现成落点,外观与货源的 LLM 阶段只读库、不依赖本地文件,
所以分流前提成立。**先补两件取证再决定**:副本是否仍在追主库(`SHOW REPLICA STATUS` 的滞后秒数、
是否 `super_read_only`)、以及 A 的瓶颈是否真的落在读上——上一轮慢日志分析的结论是锁等待为主,
把读挪走对锁等待无解。
### 4. 软件版本对象的真删开关仍是 dry-run
`aiimage.software-version.retention-dry-run` 默认 true(只记日志不删对象)。要启用真删,
先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。
### 5. V137 的 20 个冗余索引还只是 INVISIBLE
V137 只把它们置为不可见,**观察 1~2 周慢日志无退化后要追加 V138 执行 DROP**,否则索引仍占空间、
仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。
### 6. 后台「LLM 使用」的次数口径变了,要提前打招呼
外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,**统计次数约掉到 1/6.7**。
这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多
(约 30–45%),且走的是用户自己的 apiKey 额度。
### 7. 监控指标:端点根本不存在,告警无从挂起
`backend-java/pom.xml` 只有 `spring-boot-starter-actuator`,没有 `micrometer-registry-prometheus`;
线上 `GET 127.0.0.1:18080/actuator/prometheus` = 404,`/actuator` 只列 health。
仓库里那 49 个 `aiimage.*` 指标名从未被任何面板抓到过(`TaskObservabilityMetrics` 无 `@Component`、
main 代码零调用者)。
要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 **18080 在主机A 是公网直连**,
一旦暴露 `/actuator/prometheus` 就等于公网可读的运行指标,需要同步把它从公网收掉
(只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的
`taskId= / stage= / jobId= / costMs= / moduleType=` 字段做告警。
### 8. `backend/config.py` 里的平台自身明文凭据
该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。
处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。
## 三、遗留:本地已上线,Gitea 远端还差 2 个提交
`git push` 今夜没落库(远端 `master` 仍是 `56913563`,本地 HEAD `6a82697a`)。
用 `GIT_CURL_VERBOSE` 定位到的真实原因不是网络慢,而是**认证弹窗在等人**:
```
01:58:27 <= Recv header: Www-Authenticate: Basic realm="Gitea"
01:58:27 run_command: 'git credential-helper-selector get' ← 弹"选哪个 helper"
01:59:57 run_command: 'git credential-manager get' ← 卡了 90 秒后才走到这里
```
工作站上没有任何可静默使用的凭据(`cmdkey /list` 无 git 条目、无 `~/.netrc`、无 `~/.git-credentials`、
各仓库 `.git/config` 的 remote URL 均无内嵌凭据),所以非交互推送必然挂在那里等一次人工输入。
三种解法,任选其一即可把这两笔推上去:
- 在有界面的终端里手跑一次 `git push origin master`,凭 GCM 弹窗输入;
- 先定住 helper、跳过那 90 秒选择弹窗:`git config --global credential.helperselector.selected manager`;
- 或在 Gitea 建一个 access token 写进 `~/.netrc`(`machine git.aishufu.top login <user> password <token>`),
之后可全程非交互。
推完用这条回读确认:`git rev-list --left-right --count origin/master...HEAD` 应为 `0 0`。