Gitea 七笔已推完(a58dc8a6→ff182acd);cgroup 限额与 nginx body 上限的改法、 回滚值和四个取证坑(docker update 须同给 memory-swap、ss 要看容器 netns 且对端在第 5 列、 1Panel 访问日志真实路径)写进已核区,避免下次重新推一遍。 实测公网 5–8 Mbps 对私网约 1 GB/s 差一千倍,据此把剩下的两处公网依赖(OSS 端点回环、 MQ namesrv/broker)列为待改项,并记下 A 侧 3306/6379/9000/18080/16890 对公网开放且 MySQL 账号为 % 通配——收口需人在阿里云安全组操作,其中复制已确认走 VPC,收公网 3306 不断副本。
22 KiB
生产待人工决策清单(2026-09-28 夜)
本轮已上线的改动列在第一节,后面每一条都是代码里做不掉、需要人拍一次的动作。 条目按"建议处理顺序"排,不按发现顺序。
一、今夜已完成(无需再决策,列出便于核对)
| 提交 | 改动 | 状态 |
|---|---|---|
8536ddb3 |
外观专利行重发加轮次上限,超限就地判失败并写明原因 | 已上线 |
6a82697a |
MinIO 建连超时 5min→10s;delete-brand / collect-data 巡检 cron 30s→2min | 已上线 |
2d33f478 |
用户态接口的 user_id 归属改由令牌身份判定(只绑定、暂不要求凭据) |
已上线 |
10dec56e |
外观专利:完成标记只打在真正落库的行上(少回的行撤销重发) | 已上线 |
线上产物:162,590,216 B / md5 b834d489c8640fd1f6cc9d51238f4606,两台一致。
(今夜此前两版:e97fd273473db849b705a766b7b505c7 → e0854c23cc99344a6ddadbf2019e08bf。)
发版后回读(重启后 5–15 分钟窗口,A 4780 行 / B 530 行日志):健康 200、Flyway 137 up to date、
instanceId server-110/server-121、ERROR 0 条、绑定 403 0 条、[admin-guard] rejected 0 条、
重发轮次已达上限 0 条(无误杀)、本批结果未全部落库 0 条。
A 上重启时确有一批外观 LLM 在飞(03:15:36 发出 5 品请求),03:20:52 该任务
llm batch done taskId=29447 jobId=20802 rows=10 —— 中断后自行续跑并交付了一批,
本轮未出现开机自回收日志(ready 时没有心跳已停的遗留 RUNNING,属正常分支)。
发版顺序是先 B(当时空闲)后 A(A 上有在飞任务,按"不管有没有任务在跑"的授权执行)。
附:中间件侧今夜已做的三处线上改动(无提交,改的是主机配置,列此便于回滚)
| 改动 | 机器 / 对象 | 前 → 后 | 回滚 |
|---|---|---|---|
| cgroup 内存上限抬高 | A 1Panel-mysql-zbja |
6 GiB → 10 GiB(实占 3.14 GiB) | docker update --memory 6442450944 --memory-swap 6442450944 1Panel-mysql-zbja |
| cgroup 内存上限抬高 | B aiimage-mysql-replica |
2 GiB → 3 GiB(实占 1.67 GiB,已到 84%) | 同上,换数值与容器名 |
| cgroup 内存上限抬高 | B shufu-device-logs-minio |
2 GiB → 3 GiB(实占 1.82 GiB,已到 91%,再涨就是 OOM) | 同上 |
| nginx 请求体上限 | B git.aishufu.top 站点 server 段 |
继承 http 级 50m → 本站 1024m |
同目录留了 .bak-<时间戳>,cp 回去 + nginx -s reload |
三条硬约束,下次改之前先看,否则会踩:
docker update --memory必须同时给--memory-swap。只给--memory且新值大于旧的 swap 上限时, Docker 直接拒绝(Memory limit should be smaller than already set memoryswap limit), 而这条错误只在 stderr 里 —— 用... 2>&1 | sed 's/^/ /'或显式打印${PIPESTATUS[0]}才看得见, 写&& echo 成功会把它吞成一个假成功。改完必须回读cat /sys/fs/cgroup/memory/docker/<全ID>/memory.limit_in_bytes确认真的落地了。- 改 nginx 要改宿主机侧的 bind mount 源,不是容器里的路径。容器
/usr/local/openresty/nginx/conf/conf.d的源是/opt/1panel/www/conf.d(用docker inspect -f '{{range .Mounts}}…'拿,别猜)。 改完nginx -t再nginx -s reload(reload 不断连接,无需重启容器)。 - 宿主机层面的
ss看不到容器 netns 里的连接。今晚"java 没连 MQ""nacos 无人使用"两个结论都由此产生, 都是假的;正确姿势是先docker inspect -f '{{.State.Pid}}' <容器>再nsenter -t <pid> -n ss -tn。 另注意ss -tn的列序是State Recv-Q Send-Q Local Peer,对端在第 5 列(我第一版取了$4, 统计出来的全是本端端口,看着像"全连到 172.19.0.2",其实是把本地地址当真了)。 - 1Panel 的 openresty 站点访问日志不在
/usr/local/openresty/nginx/log/。按那个路径 zcat 会得到空结果, 而空结果和"确实没有 413"长得一模一样。真实位置是容器/www/sites/<站点>/log/access.log(宿主机/opt/1panel/www/sites/<站点>/log/),另有部分服务写/dev/stdout。 凡是"某类错误 0 条"的结论,都要同时报该文件的总行数自证读到了东西。
改完的验证:nginx 侧用 60MB 体打 git.aishufu.top(127.0.0.1 回环 + --resolve 指站点)得到
405 / 0.113s(进了 Gitea 应用层,说明代理不再拦),对照未改的 devops 站仍是 413。
附:健康评估报告第 6 条(外观/货源"静默降级")已核,不必再追
报告称 allRowCount 读失败 return 0、loadAllRowsByBaseId 读失败返回空,会把期望行数压低造成"假完成"。
逐个调用点读完后的结论是不成立,记录在此免得再查一遍:
allRowCount的返回值只喂两处:FileResultEntity.row_count(列表页显示的"共 N 条")和进度分母。 两处都写了"0 不覆盖已有非零值"(finalizeTask的rowCount > 0 ? rowCount : result.getRowCount()、 货源resolvePythonUploadProgress的totalRows <= 0 && uploadedRows > 0兜底), 而createResultRecordForAssembly的兜底分支自己会重读载荷,读不动时异常照常上抛。 没有任何成功/失败判定吃这个数。- 真正的完成判定是
validateCompleteLlmCoverage,它的分母来自assembleResultWorkbook里 不带 try/catch 的readParsedPayload(task)——载荷坏了会直接抛,不会静按 0 行放行; 覆盖率低于llm-coverage-min-ratio(默认 0.5)时抛"LLM 结果不完整"。 loadAllRowsByBaseId返回空只影响expandRows的同组兄弟回填,不影响发不发检测 (候选行来自分片自身的readChunkRows),落库匹配也不看它。所以后果是"兄弟行各发一次、多扣几次", 而不是丢行。- 顺着这条链查到的是另一个口子,已在
10dec56e修掉:整批完成标记此前不区分"结果有没有真的写进分片"。
二、需人工决策
1. 用户态接口的越权读取:建议做"绑定",暂缓"要求凭据"
现状(今晚重新取证,非引用旧笔记):
- 数据归属由请求参数
user_id决定:controller 层共 19 个文件出现user_id,其中只有 2 个文件里 出现过任何身份调用(requireUser/requireUserOrInternal/currentUser)。这是文件级统计, 端点级未逐个核对,但比例与"归属靠请求参数"的判断一致。 aiimage.security.user-tool-guard-enabled默认 false,生产未覆盖 → query-asin / similar-asin / appearance-patent / collect-data / price-track / patrol-delete / files / tasks 等 14 个前缀匿名可达。- 桌面客户端
app_client对这 14 个前缀共 15 个调用文件,其中只有 4 个文件里出现过任何凭据头 (collect-data 2、price-track 1、shop-match 1)。文件级统计是上界——同一文件里也可能只有一部分 请求带抬头。 AdminApiGuardFilterTest(HEAD 版,20 个用例)对当前代码全绿。
两个可分开的动作:
| 动作 | 效果 | 代价 | 状态 |
|---|---|---|---|
A. 绑定:请求带 JWT 时,校验 user_id 参数必须等于令牌身份;管理员令牌可代客查询;匿名请求不参与绑定 |
已登录用户不能再互相冒读,19 个 controller 文件不用逐个改 | 对匿名与内部令牌调用零影响 | 已实现(见下"绑定的落地依据") |
| B. 要求凭据:把上述前缀纳入兜底鉴权(开关置 true) | 未登录直接 401 | 按上面的取证,约 11/15 个调用文件的现网客户端会整条产品线 401 | 等客户端普遍携带凭据之后再开 |
绑定的落地依据(今晚逐条查证,不是推断):
- 角色词汇表只有三态:
DeviceSessionPolicy.resolveRole只会返回super_admin/admin/null, 没有第三种"员工"角色;生产users表 135 个账号分布为normal子账号 120、admin子账号 13、admin1、super_admin1 → 管理员豁免面闭合。 - 网页端
getCurrentUserId()读localStorage['uid'],而uid由登录响应data.userId写入;AuthService.buildResult里vo.setUserId(user.getId())与jwtService.issue(user.getId(), …)同源 → 诚实客户端的参数恒等于令牌主体,正常用户不会撞 403。 frontend-vue各 tab 一律传getCurrentUserId()/uidForStorage();只有admin-frontend-vue传任意user_id,而它是管理员身份 → 落在豁免里。- 带凭据的 4 个桌面模块(
price_match_new/search_spider/tool/log_uploader)用的都是X-Internal-Token,在shouldNotFilter里由isTrustedInternalToken提前整体放行,不参与绑定。 - 实现范围刻意收窄到
USER_TOOL_PREFIXES:/api/admin、/debug、自助接口仍只做"有没有身份", 不做参数比对,避免误伤后台里合法传他人 id 的流程。 - 代价:每个带
user_id的用户态请求会多走一次requireUserOrInternal。匿名请求在resolveToken处即抛BusinessException(未登录)返回,不查库,但会构造一个带栈异常。按现网这个接口的 轮询频率,量级可忽略,若日后要省掉,可加"仅在带了凭据线索时才解析"的短路。
紧急回退仍是一个:aiimage.security.admin-guard-enabled=false 会把绑定与原有兜底一起关掉。
若要单独关绑定,需要另加开关(当前没有,按规格它就是无条件生效的)。
2. 主机A MySQL:8G buffer pool 与旧 6 GiB 上限的冲突已按"抬上限"解掉,但A 的生效值仍是空白
/opt/1panel/apps/mysql/mysql/conf/my.cnf 写 innodb_buffer_pool_size=8G(instances=8),
容器上限已从 6 GiB 抬到 10 GiB(今夜已生效,回读 memory.limit_in_bytes=10737418240;
实占 3.14 GiB,宿主机 30 GiB 里还有 19 GiB available)→ OOM 悬崖拆除,8G 原样保留。
两件事没做掉,需要人:
- A 的实际生效值至今没读到。08:2x 用容器内
MYSQL_ROOT_PASSWORD连mysql -uroot得到的是ERROR 1045 (28000): Access denied for user 'root'@'localhost'—— 也就是宿主机上那份口令不是库的口令, 之前"生效值待确认"这句话没有被推翻,只是换了失败原因。B 侧三台 MySQL 用同样方法读到了 (replica 1.0000 G、gateway-new-mysql-10.1250 G、1Panel-mysql-elmo0.1250 G), 所以 A 读不到是凭据问题不是方法问题。下一步:拿应用账号或运维账号跑一次SELECT @@innodb_buffer_pool_size/1024/1024/1024, @@innodb_buffer_pool_instances, 确认 8G 没被截断(replica 那台声明值和生效值就差了一截,说明这个截断是真实存在的)。 - docker update 是运行态改动,容器重建就回滚到 6 GiB。1Panel 的 compose 用的是
memory: ${MEMORY_LIMIT},而 A/B 两台每个应用的.env里都写着MEMORY_LIMIT=0(0=不限), 说明这个 6 GiB 不在.env里、是 1Panel 界面/数据库里配的。要让它扛得住重建,得在 1Panel 控制台把 mysql 容器限额改成 10G(或者按MEMORY_LIMIT=10737418240写进/opt/1panel/apps/mysql/mysql/.env后重建容器)。 同一条适用于 B 的aiimage-mysql-replica(2G→3G)和shufu-device-logs-minio(2G→3G)。
同机顺带一条(未动):innodb_lock_wait_timeout 之前实测为 50 秒,而慢日志里锁等待(581 条)远多于大扫描(44 条),
这个阈值对业务侧的表现需要一并看一眼是否要调。
3. 主机B 的 aiimage-mysql-replica:取证已补齐(活着、滞后 0 秒),结论是先别做读分流
08:2x 直读副本状态(SHOW REPLICA STATUS):
Source_Host: 192.168.0.171 Source_Port: 3306
Replica_IO_Running: Yes Replica_SQL_Running: Yes Seconds_Behind_Source: 0
生效 innodb_buffer_pool_size = 1.0000 G(限额已 2 GiB → 3 GiB)
也就是"追不追主库"这一条已经解决:在追,滞后 0 秒,而且走的是 VPC 私网 192.168.0.171
(这一条顺带把"公网 3306 能不能收掉"的顾虑排掉了,见第五节第 1 条)。
第二件取证(A 的瓶颈是否落在读上)答案是否:上一轮慢日志拆下来锁等待 581 条 vs 大扫描 44 条,
把读挪到副本对锁等待无解,只会新增一层"应用要区分读写源"的复杂度和一套副本专属的故障面。
super_read_only 是否置位没读到,真要启用分流前先确认它,否则分流第一天就可能有人往副本写。
所以本条从"待取证"降级为已知可用、暂不接入。触发重新评估的条件写清楚: 当慢日志里大扫描/报表类查询占比明显上升,或者要做"导出全量结果"这类一次性大读时, 副本是现成落点(外观与货源的 LLM 阶段只读库、不依赖本地文件,分流前提成立)。
4. 软件版本对象的真删开关仍是 dry-run
aiimage.software-version.retention-dry-run 默认 true(只记日志不删对象)。要启用真删,
先把日志里列出的候选清单人工核一遍(客户端安装包对象有历史事故,见 KKBROSWER 那条),核对后再置 false。
5. V137 的 20 个冗余索引还只是 INVISIBLE
V137 只把它们置为不可见,观察 1~2 周慢日志无退化后要追加 V138 执行 DROP,否则索引仍占空间、 仍随写入维护。V132/V133 是退役空号,V134~V137 已占用,下一号是 V138。
6. 后台「LLM 使用」的次数口径变了,要提前打招呼
外观专利合批后,同一批 10 行从约 20 次 HTTP 调用降到 3 次,统计次数约掉到 1/6.7。 这是口径变化不是掉量;要还原真实工作量应看"检测行数"而不是"调用次数"。花钱的降幅比次数小得多 (约 30–45%),且走的是用户自己的 apiKey 额度。
7. 监控指标:端点根本不存在,告警无从挂起
backend-java/pom.xml 只有 spring-boot-starter-actuator,没有 micrometer-registry-prometheus;
线上 GET 127.0.0.1:18080/actuator/prometheus = 404,/actuator 只列 health。
仓库里那 49 个 aiimage.* 指标名从未被任何面板抓到过(TaskObservabilityMetrics 无 @Component、
main 代码零调用者)。
要补的话,动作是"加 registry + 把 metrics 类接成 bean",但 18080 在主机A 是公网直连,
一旦暴露 /actuator/prometheus 就等于公网可读的运行指标,需要同步把它从公网收掉
(只留 127.0.0.1 或加守卫)。近期更省事的做法是直接用日志里已稳定的
taskId= / stage= / jobId= / costMs= / moduleType= 字段做告警。
8. backend/config.py 里的平台自身明文凭据
该文件被 git 跟踪,含生产库口令与 OSS secret。这与"result_json 存用户 apiKey"是两件事。 处置是轮换 + 改走 env + 清历史,三步都需要人执行(轮换会影响所有读这些值的服务,需同窗口发布)。
9. 主机A 的 Nacos:无任何客户端连接,白吃 1.95 GiB
取证链(两条都是今晚重跑的,不是引用旧笔记):
- 在 nacos 容器自己的 netns 里数 8848 的 established = 0(
nsenter后的结果, 避开了宿主机ss看不见容器网络的那个坑)。它自己只有两条到172.22.0.2:7848的 gRPC 尾巴。 - 容器
1Panel-nacos-dsLA-standalone:内存无上限、实占1.952 GiB、restarts=0。 - Java 侧
env里没有任何NACOS变量,进程 cmdline 里没有nacos字样。
也就是说"停掉它能给 A 腾出近 2 GiB"(A 是 MySQL+MinIO+java+redis 那台,正是最紧的一台)。
我没有停,因为"现在没人连"不等于"没人配置要连":如果哪个服务是按需启动、或者 1Panel 之外还有别的
消费方,停了就是它起不来的时候才被发现。要动的话顺序是
先 docker update --memory 512m --memory-swap 512m 把它的胃口压下去(可逆、立刻见效),
观察几天有没有人报"配置中心连不上",确认没人用再 docker stop + 取消自启。
三、已解决:Gitea 那 7 个提交推上去了(08:10)
远端 master 56913563 → 7aa9f3df,回读 git rev-list --left-right --count origin/master...HEAD = 0 0。
之前"工作站上没有任何可静默使用的凭据"这句话是假阴性,成因是 Git Bash 的路径转换把
cmdkey /list 变成了别的调用(要写 cmdkey //list)。实际凭据管理器里早就有
git:https://gitserver@git.aishufu.top。可用的静默推送咒语:
GIT_TERMINAL_PROMPT=0 GCM_INTERACTIVE=never GCM_PROVIDER=basic git push origin master
GCM 会 warn no such provider 'basic' 然后回退自动探测 —— 这个 warn 无害、照样成功,
关键是 GCM_INTERACTIVE=never 让它不再弹"选哪个 helper"那 90 秒。
退出码必须重定向到文件再看:git push | tail 拿到的是 tail 的 0,不是 git 的。
四、今晚新查出来的:两台之间的流量大量走公网,只有 5–8 Mbps
这是本轮最有价值的一条,因为它解释了一批"莫名其妙慢/超时"的老问题,而且修它的代价是配置项级别的。
4.1 实测带宽差(30MB 测试体,08:3x)
| 路径 | 结果 | 折算 |
|---|---|---|
A → A 公网 https://oss.aishufu.top(Java 现在写对象走的就是这条) |
3.37 MB / 3.45 s | ≈ 0.98 MB/s |
| B → A 公网同一入口 | 3.23 MB / 3.27 s | ≈ 0.99 MB/s |
A → B 公网 https://download.aishufu.top |
27.5 MB / 45 s(撞 max-time) | ≈ 0.61 MB/s |
A → A 私网 http://192.168.0.171:9000 |
5.5 MB / 0.006 s | ≈ 900 MB/s |
| B → A 私网同一入口 | 6.75 MB / 0.009 s | ≈ 750 MB/s |
A/B → B 私网 http://192.168.0.170:9000 |
≈ 0.009–0.026 s | 1.1–3.5 GB/s |
路由已确认 ip route get 47.110.241.161(在 A 上)= via 192.168.0.253 dev eth0 ——
发往自己的公网 IP 也要出 VPC 网关绕一圈,所以"回环"确实吃公网额度。
公网与私网差 约 1000 倍。
对上面 A→A 那两行的诚实注脚:服务端提前回了 400,只发出去 3.3MB,样本里含 TCP 慢启动。
但该路径 RTT 只有 11 ms(TLS 首字节实测 connect=0.000705s tls=0.010896s),
11 ms RTT 下慢启动几百毫秒就能爬到几百 MB/s,3.45 s 发 3.37MB 解释不通,
而且跨机那条持续 45 s 的 0.61 MB/s 是干净的持续值 —— 结论(公网 ~5–8 Mbps)不受这个瑕疵影响。
4.2 现在还有哪些地址指公网(A 上 java-server 的 env 逐项对过)
| 配置 | 当前值 | 走公网? |
|---|---|---|
AIIMAGE_OSS_ENDPOINT / public-endpoint |
https://oss.aishufu.top |
是,且是 A 指向自己的回环 |
AIIMAGE_ROCKETMQ_NAME_SERVER |
121.196.149.225:9876 |
是,跨机走公网 |
AIIMAGE_TRANSIENT_STORAGE_ENDPOINT |
http://192.168.0.170:9000 |
否 |
AIIMAGE_DEVICE_LOG_OSS_ENDPOINT |
http://192.168.0.170:9610 |
否 |
AIIMAGE_REDIS_HOST |
192.168.0.172 |
否 |
AIIMAGE_DB_URL |
192.168.0.171:3306 |
否 |
副本复制也已经在私网(Source_Host: 192.168.0.171)。所以剩下的公网依赖只有两处:OSS 端点和 MQ namesrv。
MQ 那处已用 broker/namesrv 容器 netns 证实:broker 上能看到来自 47.110.241.161(A 的公网 IP)的 established 连接,
也就是 A→broker 走的也是公网,而不只是 namesrv 引导那一下。
4.3 两处改法(一条需要人配合,一条纯配置)
- OSS 端点拆分(代码改动,已在做):
endpoint与public-endpoint现在是同一个域名, 而OssStorageService刻意让它们一致 —— 预签名 URL 的主机名必须等于浏览器能到达的反代入口 (见OssStorageService.java:136的注释、:765-766的firstNonBlank(publicEndpoint, endpoint)回退)。 所以不能简单把AIIMAGE_OSS_ENDPOINT改成内网 IP:那样服务端自己读写快了, 但签给浏览器直传 PUT 的 URL 会变成192.168.0.171:9000,用户侧上传当场全断。 正确形状是"服务端 I/O 用内网 client,预签名用公网入口"两把钥匙分开。 - MQ 走私网:光把
AIIMAGE_ROCKETMQ_NAME_SERVER换成192.168.0.170:9876不够 —— broker 注册地址由它自己决定,broker.conf和conf/2m-noslave/broker-a.properties里都没有brokerIP1, 现在 A 能连上公网说明它注册的就是公网可达地址。要真正切私网必须 ①在 broker 配置里加brokerIP1 = 192.168.0.170并重启 broker,②再把两台 java 的 namesrv 改成私网。 风险与收益要一起看:MQ 消息体很小,改它省不了带宽,省的是**"文件流量打满 5 Mbps 时把作业通道一起拖死"的耦合** (结果文件作业有本地兜底,broker 重启期间任务不会丢,但会退化成同机执行)。 这条我没有自行执行,因为要重启 broker 且收益属于"削峰耦合"而非"提吞吐",先报数给你拍。
五、暴露面:主机A 有一批端口对公网开放,且 MySQL 账号是 % 主机通配
这条要人在阿里云控制台动手(安全组),代码里做不掉,所以我没碰。
- A 上
0.0.0.0监口的有 3306 / 6379 / 9000 / 18080 / 16890(B 侧对照过,replica 的 3306 只在 docker 网络内, B 对外只有 443)。 - 主库账号表里读到的是
root@%、gitea_dpCCcA@%、py_Task@%、py_Task_test@%—— 口令猜不出来也不该猜,但"任意来源主机"这个条件意味着端口收掉之前,这些账号只靠口令守。 - 收掉公网 3306 不会打断复制:副本的
Source_Host已经是192.168.0.171(VPC 私网), 这是本条里唯一"已经确认可以安全收"的部分,我提前把它验掉了。 - 同类:18080 是 Java 的 actuator + 业务端口直连公网,所以第七节里"要不要暴露
/actuator/prometheus" 的前提是先把它从公网收掉;9000 是主 MinIO 裸口,公网可直接打 S3 请求。 - 建议动作(一次性、可回滚):阿里云安全组把 A 的入方向限制为 仅 443(+ 运维来源 IP 的 SSH), 先加规则、再从工作站和 B 各验一次"私网仍可连、公网已不可连",最后才考虑删规则。 VPC 内互通(192.168.0.170/171/172 之间的 3306/6379/9000/9876/10911)不受影响 —— 今晚已实测三个私网地址全通。