From 4b914f4bd99b2a84ff8831a7e949ff0a9b84f5d7 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=BB=84=E8=87=AA=E8=BE=BE?= <980324341@qq.com> Date: Mon, 28 Sep 2026 02:03:33 +0800 Subject: [PATCH] =?UTF-8?q?docs(=E8=BF=90=E7=BB=B4):=202026-09-28=20?= =?UTF-8?q?=E5=A4=9C=E7=94=9F=E4=BA=A7=E5=BE=85=E4=BA=BA=E5=B7=A5=E5=86=B3?= =?UTF-8?q?=E7=AD=96=E6=B8=85=E5=8D=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 守卫收紧要分「绑定」与「要求凭据」两步、MySQL buffer pool 与容器限额冲突、 B 机副本读分流前置取证、真删开关与 V138 观察期,均按今晚重新取证的数字写明代价。 --- docs/ops/prod-decisions-2026-09-28.md | 130 ++++++++++++++++++++++++++ 1 file changed, 130 insertions(+) create mode 100644 docs/ops/prod-decisions-2026-09-28.md diff --git a/docs/ops/prod-decisions-2026-09-28.md b/docs/ops/prod-decisions-2026-09-28.md new file mode 100644 index 000000000..501ffac73 --- /dev/null +++ b/docs/ops/prod-decisions-2026-09-28.md @@ -0,0 +1,130 @@ +# 生产待人工决策清单(2026-09-28 夜) + +本轮已上线的改动列在第一节,后面每一条都是**代码里做不掉、需要人拍一次**的动作。 +条目按"建议处理顺序"排,不按发现顺序。 + +## 一、今夜已完成(无需再决策,列出便于核对) + +| 提交 | 改动 | 状态 | +|---|---|---| +| `8536ddb3` | 外观专利行重发加轮次上限,超限就地判失败并写明原因 | 已上线 | +| `6a82697a` | MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min | 已上线 | + +线上产物:`162,588,520 B` / md5 `e97fd273473db849b705a766b7b505c7`,两台一致(替换前为 `368495364897a776df486a25d2d779e2`)。 +发版后回读:健康 200、Flyway `Schema aiimage is up to date`(137)、instanceId `server-110`/`server-121`、 +启动异常 0 条、ERROR 0 条、`重发轮次已达上限` 0 条(无误杀)、巡检已按 2 分钟节奏触发。 + +发版顺序是先 B(当时空闲)后 A(A 上有 14 个在飞任务,按"不管有没有任务在跑"的授权执行)。 + +## 二、需人工决策 + +### 1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据" + +现状(今晚重新取证,非引用旧笔记): + +- 数据归属由请求参数 `user_id` 决定:controller 层共 **19 个文件**出现 `user_id`,其中只有 **2 个**文件里 + 出现过任何身份调用(`requireUser` / `requireUserOrInternal` / `currentUser`)。这是文件级统计, + 端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。 +- `aiimage.security.user-tool-guard-enabled` 默认 **false**,生产未覆盖 → query-asin / similar-asin / + appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。 +- 桌面客户端 `app_client` 对这 14 个前缀共 **15 个调用文件**,其中只有 **4 个**文件里出现过任何凭据头 + (collect-data 2、price-track 1、shop-match 1)。文件级统计是**上界**——同一文件里也可能只有一部分 + 请求带抬头。 +- `AdminApiGuardFilterTest`(HEAD 版,20 个用例)对当前代码全绿。 + +两个可分开的动作: + +| 动作 | 效果 | 代价 | 建议 | +|---|---|---|---| +| **A. 绑定**:请求带 JWT 时,校验 `user_id` 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 | 已登录用户不能再互相冒读,109 处调用点不用逐个改 | 对匿名客户端零影响(它们本来就没令牌) | **可做**,风险最低 | +| **B. 要求凭据**:把上述前缀纳入兜底鉴权(开关置 true) | 未登录直接 401 | 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 | **等客户端普遍携带凭据之后再开** | + +动作 A 的实现规格已经写好了:另一窗口留下的 490 行 `AdminApiGuardFilterTest`(现存 +`数富AI/tmp/AdminApiGuardFilterTest.wip.java`)用 6 个用例定义了行为,包括"非数字 `user_id` 交回 +controller 报错""管理员可为他人代查"。它当时跑不起来的原因不是逻辑分歧,是文件本身没写完: +第 472 行调用的 **5 参 `newFilter` 在同文件里没有定义**(对应一个"按前缀分批开启"的白名单字段), +`AdminAuthSupport.currentRole(AdminUserEntity)` 已存在、可直接用。补齐 helper 与该字段即可转绿。 + +### 2. 主机A MySQL:`innodb_buffer_pool_size=8G` 与容器上限 6 GiB 冲突 + +2026-09-28 02:0x 重新读取:`/opt/1panel/apps/mysql/mysql/conf/my.cnf` 写 `8G`(instances=8), +容器 `1Panel-mysql-zbja` 的 `HostConfig.Memory=6442450944`(6 GiB),当前实占 3.14 GiB, +宿主机 30 GiB 里还有 19 GiB available。 + +冲突点:buffer pool 想长到 8G,cgroup 只给 6G,长期会挤压其它内存并可能触发容器 OOM kill。 +两条路,都需要重启 mysql 容器: + +- 把 `innodb_buffer_pool_size` 降到 `5G`(留 1G 给连接与运维进程),容器上限不动; +- 或把容器上限抬到 `10G`(宿主机有余量),`8G` 保留。 + +**生效值没能读到**:容器内 `mysql -N` 没有可用凭据,只能确认配置文件写的值。动手前用 +`SELECT @@innodb_buffer_pool_size/1024/1024/1024` 确认实际生效值与是否被截断。 + +同机顺带一条:`innodb_lock_wait_timeout` 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条), +这个阈值对业务侧的表现需要一并看一眼是否要调。 + +### 3. 主机B 的 `aiimage-mysql-replica`:活着,但没有业务在读 + +今晚取证:B 上有 `aiimage-mysql-replica`(mysql:8.4.8,限额 2 GiB,实占 1.67 GiB), +**端口只对 docker 网络内可见**(无 `0.0.0.0:3306` 映射),Java 侧数据源仍指向主机A 内网 `192.168.0.171:3306`。 + +它是"列表页大查询 / 报表 / 导出"这类读分流的现成落点,外观与货源的 LLM 阶段只读库、不依赖本地文件, +所以分流前提成立。**先补两件取证再决定**:副本是否仍在追主库(`SHOW REPLICA STATUS` 的滞后秒数、 +是否 `super_read_only`)、以及 A 的瓶颈是否真的落在读上——上一轮慢日志分析的结论是锁等待为主, +把读挪走对锁等待无解。 + +### 4. 软件版本对象的真删开关仍是 dry-run + +`aiimage.software-version.retention-dry-run` 默认 true(只记日志不删对象)。要启用真删, +先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。 + +### 5. V137 的 20 个冗余索引还只是 INVISIBLE + +V137 只把它们置为不可见,**观察 1~2 周慢日志无退化后要追加 V138 执行 DROP**,否则索引仍占空间、 +仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。 + +### 6. 后台「LLM 使用」的次数口径变了,要提前打招呼 + +外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,**统计次数约掉到 1/6.7**。 +这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多 +(约 30–45%),且走的是用户自己的 apiKey 额度。 + +### 7. 监控指标:端点根本不存在,告警无从挂起 + +`backend-java/pom.xml` 只有 `spring-boot-starter-actuator`,没有 `micrometer-registry-prometheus`; +线上 `GET 127.0.0.1:18080/actuator/prometheus` = 404,`/actuator` 只列 health。 +仓库里那 49 个 `aiimage.*` 指标名从未被任何面板抓到过(`TaskObservabilityMetrics` 无 `@Component`、 +main 代码零调用者)。 + +要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 **18080 在主机A 是公网直连**, +一旦暴露 `/actuator/prometheus` 就等于公网可读的运行指标,需要同步把它从公网收掉 +(只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的 +`taskId= / stage= / jobId= / costMs= / moduleType=` 字段做告警。 + +### 8. `backend/config.py` 里的平台自身明文凭据 + +该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。 +处置是**轮换 + 改走 env + 清历史**,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。 + +## 三、遗留:本地已上线,Gitea 远端还差 2 个提交 + +`git push` 今夜没落库(远端 `master` 仍是 `56913563`,本地 HEAD `6a82697a`)。 +用 `GIT_CURL_VERBOSE` 定位到的真实原因不是网络慢,而是**认证弹窗在等人**: + +``` +01:58:27 <= Recv header: Www-Authenticate: Basic realm="Gitea" +01:58:27 run_command: 'git credential-helper-selector get' ← 弹"选哪个 helper" +01:59:57 run_command: 'git credential-manager get' ← 卡了 90 秒后才走到这里 +``` + +工作站上没有任何可静默使用的凭据(`cmdkey /list` 无 git 条目、无 `~/.netrc`、无 `~/.git-credentials`、 +各仓库 `.git/config` 的 remote URL 均无内嵌凭据),所以非交互推送必然挂在那里等一次人工输入。 + +三种解法,任选其一即可把这两笔推上去: + +- 在有界面的终端里手跑一次 `git push origin master`,凭 GCM 弹窗输入; +- 先定住 helper、跳过那 90 秒选择弹窗:`git config --global credential.helperselector.selected manager`; +- 或在 Gitea 建一个 access token 写进 `~/.netrc`(`machine git.aishufu.top login password `), + 之后可全程非交互。 + +推完用这条回读确认:`git rev-list --left-right --count origin/master...HEAD` 应为 `0 0`。