Commit Graph

1416 Commits

Author SHA1 Message Date
huangzd1997 881d35acfa fix(任务终态): 店铺级部分失败不再静默SUCCESS——四模块按失败原因如实标FAILED
- ProductRiskTaskService: 新增结果组装守卫(isResultAwaitingFileAssembly),部分店铺失败→FAILED; 补ProductRiskTaskServiceTest
- PriceTrackTaskService: 部分店铺失败→FAILED
- DeleteBrandRunService: failedCount>0→FAILED(不再"有成功就算成功"),预览行与计数反映组装终态
- ShopMatchTaskService: 同模式
2026-09-30 11:07:45 +08:00
huangzd1997 c0492f7c86 feat(任务兜底拉取): 新增服务端内部认领端点 /api/internal/tasks/pull-pending —— Linux 后台 worker 专用(X-Internal-Token), 不限用户认领长期 PENDING 任务, 独立开关 internal-enabled 与客户端兜底解耦; 外观专利详情页抓取迁 Linux 前置 2026-09-30 11:00:34 +08:00
huangzd1997 b0676e09c1 chore(更新日志): 追加 4.0.38/4.0.39 条目(跟价+全模块适配新版库存页) 2026-09-30 08:18:18 +08:00
huangzd1997 76954280b1 feat(通知): 新增「采集机掉线」告警,并把队列积压判据改成「有活没人干」
背景(2026-09-29):麦象采集机 15:19 起整机停摆 6 小时(5 个 worker 全没,机器
无开机自启),现有告警完全没发现 —— 五类检查全靠「任务 update_time 不新鲜」间接
推断,一次停摆被摊成几十条"任务失败";队列积压又卡在 pending≥300 的阈值上
(当时停在 210),用户看到的是大面积业务失败,误导排查方向。

- 新增第 6 项检查「采集机掉线」:读 18960 新接口 /api/console/workers 的
  machineIdleSeconds(采集端打点,见 maixiang_run_task 同批提交),超阈值(默认 10
  分钟)推一条管理员告警,文案含逐信号静默时长便于定位。
  * 按**机器级**判活而不是逐 worker:变体采集领到长任务后不再调 /batch/task/get,
    逐 worker 判会在长任务正常运行时误报「vc 掉线」(实测踩到)。
  * machineIdleSeconds=null(从未上报)视为未知并跳过,避免刚上线误报一次。
- 队列积压判据改为 pending≥阈值 **且 processing=0**,阈值默认 300→100:
  只看 pending 两边都不讨好(低了误报"一时来不及",高了真出事也不报)。
  单 worker 死掉(机器还活着)由这条覆盖。
- 配置:新增 AIIMAGE_NOTIFICATION_MAIXIANG_SILENT_MINUTES(默认 10)。
2026-09-29 21:45:16 +08:00
huangzd1997 209ec386a2 docs(运维): §二十 热修 8c9141d6 已发两台并端到端复核;补 §二十一 前端设备列删除与进度口径核查 2026-09-29 01:12:56 +08:00
huangzd1997 52ef172803 feat(taskcenter): 任务列表移除设备列
设备维度保留在设备条、设备筛选与详情抽屉;同步更新设计文档 16 的列表字段。
2026-09-29 00:45:52 +08:00
huangzd1997 ac8b34afcc docs(运维): §十九/§二十 发版记录(看板 c6ee759d)与 SQL 空跑发现的 collation 热修(8c9141d6 待发布)
§十九 记录 Java 双机 + 麦象接口 + admin-vue 三处同批上线与回读口径;
§二十 记录把 21 条 @Select 渲染进生产库只读空跑发现设备页 3 条语句 ERROR 1271、
修复与验证数字、以及"授权菜单前必须先发热修"的顺序约束。
顺带把盘点里的取号提示 V138 → V139。
2026-09-29 00:22:13 +08:00
huangzd1997 8c9141d661 fix(taskcenter): 设备花名册 UNION 显式统一 device_id 排序规则
device_log_file.device_id 是 utf8mb4_0900_ai_ci,两张任务表是 utf8mb4_general_ci,
三个 UNION 分支混排规则在运行期直接报 ERROR 1271(生产库空跑 21 条语句时发现,
设备页 4 条 SQL 全挂)。日志侧显式 COLLATE utf8mb4_general_ci 归一,并加回归测试钉住。
2026-09-29 00:14:11 +08:00
huangzd1997 3a8f6968ff feat(taskcenter): 前端看板页面(页签/筛选/汇总卡/设备条/详情抽屉)
- 路由 task-center/board(menuKey admin_task_center)+ guides 文案,both 由既有门禁守
- api 层 5 个只读接口;详情接口把后端 data:null 归一为 null(unwrap 对 null data 回传信封)
- 页签一:5 项汇总卡 + 设备卡条(点击按设备筛选/再点取消)+ 10 列任务表(stuck/网页/失败角标、进度条)+ 详情抽屉(分组明细)
- 页签二:变体采集专列(不显示设备与店铺),展示麦象 res_mes 与任务参数
- 30s 轮询:页面隐藏跳过、回前台立即刷新、卸载清理;另有手动刷新
- 顺带补 admin_device_logs 缺失的 guide(a7f244f9 登记路由时漏补,align-operation-guide 一直红)

Tests run: 1634, Failures: 0(node --test 全量)+ vue-tsc 无错误 + vite build 通过,
浏览器真跑:页签切换、设备卡筛选、详情抽屉均正常,控制台无报错
2026-09-28 23:35:54 +08:00
huangzd1997 4f414b46e6 feat(taskcenter): 变体采集接口(麦象代理,多 uid + res_mes) 2026-09-28 23:22:41 +08:00
huangzd1997 f9d702f9a6 feat(taskcenter): 任务详情接口 2026-09-28 23:16:28 +08:00
huangzd1997 186c288dbf feat(taskcenter): 两表 UNION 任务列表 + 筛选 + 店铺/进度装配
- biz_file_task(12 个客户端模块)∪ brand_crawl_tasks,品牌任务号合成 brand-<id>、
  终态用 updated_at 充当 finished_at;子查询内下推过滤、外层排序分页
- 筛选:账号名(users LIKE → ∩ 可见账号)、业务、状态、设备、店铺(4 个来源 EXISTS)、
  创建时间范围;选具体业务时品牌分支恒空,带店铺筛选时品牌分支直接排除(防撞号误判)
- 状态口径单一来源:SQL 字面量与 Java 集合由测试守同步,服务层判「卡住」复用同一集合
- 店铺来源优先级链:上架结果文件 → 任务结果分组 → 结果文件名 → 快照 scope → 请求体
  items[].shopName(最后一级批量一次拉取,列表主查询不拉大 JSON 列);品牌行店铺恒空
- 进度:快照(按 moduleType+taskId 匹配,防品牌 id 撞号)优先,无快照用行内文件计数

Tests run: 42, Failures: 0, Errors: 0
2026-09-28 23:09:21 +08:00
huangzd1997 cd9bf509ec feat(taskcenter): 设备花名册与在线状态接口
新增 GET /api/admin/task-center/devices:任务设备(近 30 天)∪ 客户端日志设备
(近 7 天、uid 非空)合并去重,设备名取日志侧、最近任务时间取任务侧;在线 =
最近活动(任务 updated_at ∪ 日志上报)≤ 5 分钟,在线优先排序。`web-` 前缀标
webDevice 供前端标注「网页」。

SQL 侧把原来的 ROSTER_ROWS 拆成 TASK_DEVICE_ROWS + LOG_DEVICE_ROWS 再组合,
统计口径与列表共用同一段并集,避免两处漂移;新增按设备统计进行中任务数
(空设备号不归属任何设备)。overview 的 deviceTotal/deviceOnline 继续走
COUNT 查询(同一并集常量派生),不再从列表二次计算。

测试:Service 合并/在线阈值/空设备号/排序/网页标记 8 项,Mapper 动态 SQL 9 项。
2026-09-28 22:54:36 +08:00
huangzd1997 8485469137 feat(taskcenter): 客户端任务管理模块骨架、菜单授权与汇总接口
新增 modules/taskcenter:组范围裁剪(超管直通 / 非超管取本组用户)、
两表 UNION 统计(biz_file_task 12 模块 + brand_crawl_tasks)、设备花名册
(任务设备近 30 天 + 客户端日志设备近 7 天且 uid 非空)。overview 返回
设备总数/在线数/进行中/今日完成/疑似卡住五项。

权限复用既有菜单授权:PermissionMenuService.requireClientTaskCenterAccess
(超管直通,非超管要求 admin_task_center 授权,无记录即 403)。

测试:ScopeService 7 项 + Mapper 动态 SQL 渲染 7 项(不连库,守住 XML
实体转义与可见账号占位符数量)。
2026-09-28 22:48:18 +08:00
huangzd1997 fa59de52fb feat(taskcenter): 13 个客户端任务创建入口记录 JWT 设备号
设备号只认 JWT 签名 claim(不接受客户端可控请求头),controller 读取、service
归一化落库;续跑任务由服务端发起,继承原任务设备号。品牌检测走独立
brand_crawl_tasks 表,同一口径。
2026-09-28 22:33:53 +08:00
huangzd1997 0a7e1b9c01 feat(taskcenter): V138 客户端任务管理迁移与设计文档
biz_file_task / brand_crawl_tasks 补 device_id 列(JWT 签名 claim,历史任务留空),
并挂载 admin_task_center 菜单:只写 columns 不写 user_column_permission,
管理员默认不可见,超管授权后可见。
2026-09-28 22:33:49 +08:00
huangzd1997 d087b0ff49 docs(运维): §十八 本批发版记录(a31df4a2,外观/品牌状态与心跳 + 密钥后台代填锁定)
含两笔提交的分工、验证读数(后端 3283/0、app 800/0、admin 1624/1 存量红)、
worktree 干净检出出包与产物自查、两台发版表(B 19:43 空闲先发 / A 19:45 在飞后发,
A 自回收 4、claimed 9、busy requeue 32→4、ERROR 0)、两条前端通道的软链与线上字节校验、
新端点守卫形状,以及 admin_device_logs 缺 guide 这条存量红灯留人决定。
2026-09-28 19:55:13 +08:00
huangzd1997 8b4425dcbf feat(密钥管理): 后台可代填并锁定用户代理设置,客户端只读并回填本地配置
代理是选配、不进 items 也不参与门禁,但客户端各任务链读的是本地 app.json 的
proxy_url,用户自填值与后台不一致时排查成本高。改法:

- 后台 PUT/DELETE /api/admin/user-secrets/{userId}/modules/{moduleKey} 代填/解锁,
  写入后该行 source=admin;数据权限走 resolveVisibleUserIds,超管不限;
- 客户端 save/clear 命中锁定行时服务端直接拒绝并给出原因(只置灰挡不住直接调接口);
- 密钥包把代理单独放 proxy 字段下发(仍不进 items、不影响 complete 判定),
  锁定时带 full 明文,客户端据此幂等地对齐本地配置;解锁 = 删除该行。

只开放代理代填:密钥模块要客户端提交任务时携带本地明文,代填会把用户卡死。
2026-09-28 19:39:08 +08:00
huangzd1997 5dd11f7048 fix(外观专利/品牌任务): 判死任务不再显示"结果生成中",批次心跳与进度取大写入防误杀
29473/29479 心跳超时判死后,前端 statusText/statusClass 先判 isResultPreparing 再看
FAILED,用户看到的是"结果生成中",会以为任务还在跑而继续等(后台检测可能确实还在跑、
文件生成后下载按钮照常出现,但文案必须是失败)。改成 FAILED 一律优先判定,
pendingResultHint 也随之切成"任务已失败,结果文件…"。

后端两处心跳:外观专利 LLM 每批 touchJavaSideTaskActivity —— 软恢复后的检测阶段可达
数小时,不刷会被通用兜底线的 updated_at 超 120 分钟误杀;品牌进度改走 Redis Lua 合并
写入,phase 不被 crawling 打回(assembling/uploading/failed 受保护)、
current_line/total_lines 只增不减,消掉多执行方互相覆盖。
2026-09-28 19:39:00 +08:00
huangzd1997 a95cf4e64e docs: 更正两条我自己说错的口径,并附两台 /tmp 全量列名的实测
- "容器内外各查过 0 残留"在方法上是假阴性:`ls /tmp/.my*` 探不到 tempfile 生成的
  `tmpXXXX` 名字。改成列全 /tmp 后确认无凭据残留,但判据要换成"全量列名"。
- 上一稿说 reclaim_mysql_fragmentation.py 没自清理是错的,它 finally 里就 rm -f。
- scripts/ 里 password 字面量真实数 14 处/13 文件(非"5 个老脚本"),SSH 侧 7 处已换密钥、
  剩 12 处是 pymysql 库口令。另列出两台 /tmp 里别人留下的 113MB 日志等大文件,不代删。
2026-09-28 19:24:20 +08:00
huangzd1997 37fb65cecd docs: 记 e344111a 两台发版验收,并纠正一条读法——200 不是守卫放行
A 重启代价:开机自回收本机遗留作业 count=3、7 分钟 20 条 scheduled worker claimed、
超限 0 条、ERROR 0;busy requeue 34 条含重启追赶,仍远低于 §十一 修前量级。

验收口径补一条:writeFailure 走 setStatus(SC_OK) + body code=401,401 又只打 debug,
所以"HTTP 200"和"[admin-guard] 0 条"都不能当"守卫没生效"的证据,要读 body 的 code。
2026-09-28 19:14:56 +08:00
huangzd1997 a022bfbe06 docs: 回填版本保留候选清单,并记一次 worktree 全量 26 红的归因
§二.4 直接把 04:50 那轮 dry-run 的 20 个候选版本、两条安全边界(分布式锁已挡并发、
删除路径钉在 nanri-image/versions/ 前缀且需无引用)写清,交人工核对后就能拍 dry-run。

§十六 记下同一批代码在主树 3275/0 绿、在新检出 worktree 却 6 fail + 20 error:
前者是 autocrlf 改写 golden(已由 3bd2b607 钉死),后者是"文档一致性测试"读的是
34 份只活在本机的 md —— 这条属仓库缺口,要人决定入库还是改成缺失即跳过。
2026-09-28 19:05:44 +08:00
huangzd1997 3bd2b60774 build: 把断言会读到的文本钉成 LF,新检出不再被 autocrlf 改写
2026-09-28 在隔离 worktree 跑全量时,ShopDataCrawl/AppearancePatent/PublishBatch
三组快照测试共 6 个失败:golden 文件被检出成 CRLF,而生成串用 append('\n'),
Files.readString 不做归一就整片红(内容与主工作树逐字节一致,去掉 \r 后相等)。
仓库 HEAD 里 0 个文本 blob 含 CR,所以 eol=lf 是零 churn 的钉法:不改现有文件、
不让 git status 变脏,只保证 checkout 形态与 blob 一致。

只列扩展名,不写 `* text`:后者会让 git 去归一化 jar/png/zip 等二进制产物。
2026-09-28 18:59:14 +08:00
huangzd1997 859c0f64c7 docs(运维): §二.10 紫鸟索引里 119 个失效员工绑定每轮空跑(取证在案,行为变更留人拍板) 2026-09-28 18:49:06 +08:00
huangzd1997 d16bb57f50 docs(运维): §十四 内部令牌绕开绑定的洞与取证、§十五 xlsx 输出流无缓冲的分阶段实测,并改掉 §二.1 里已被本次作废的那条依据 2026-09-28 18:46:05 +08:00
huangzd1997 ff3da2557b fix(货源): 结果文件写 xlsx 的输出流补 64KB 缓冲,万级图片导出省约 7 秒
WpsCellImageWriter / ExcelCellImageWriter 都直接把 ZipOutputStream 套在
Files.newOutputStream 上,没有缓冲:每个 entry 的 local header、数据、以及 close() 时
逐条写的中央目录记录都是独立 syscall。10k 图片实测 media loop 2.97s + close 4.07s,
而 patchSheet 只有 0.19s——时间花在写放大,不在压缩。

现网确实吃这段:主机A 近 24h 的 [wps-dispimg] 日志里 images= 最大到 8058。

zip 是纯顺序写,加缓冲不改变产物字节。同一用例从 10.4~12.4s(贴穿测试里那个 10s 墙钟预算)
降到 1.81s,测试阈值一个字没动。

JPEG entry 仍走 DEFLATE(改 STORED 会变产物字节,需要真图 + WPS/Excel 打开回归,另议)。
2026-09-28 18:46:01 +08:00
huangzd1997 31d3c0857d fix(安全): X-Internal-Token 不再绕开用户态接口的 user_id 归属绑定
守卫里"令牌可信即在 shouldNotFilter 整体放行"把刚上线的绑定又开了一个洞:这把
X-Internal-Token 是硬编码在分发出去的桌面客户端里的静态共享密钥(amazon/tool.py:20、
crawler_core/log_uploader.py:38),它能证明"走了内部通道",证明不了"这个 user_id 是谁"。
带 JWT + 这把钥匙的请求因此完全不参与绑定,等于给别人令牌就能读任意 user_id。

改法只拆语义不加开关:令牌继续豁免"要不要凭据"(否则仅凭令牌即鉴权的
/api/admin/shop-manages/credential 会被误拦 401),不再豁免"归属归谁"。
管理员/超管代客操作豁免照旧。

对现网零影响的取证:全工作区 .py 里 operatorId/operator_id 出现 0 处,所以纯令牌请求
进 requireUserOrInternal 后无 JWT→resolveToken 即抛→identity=null→绑定不触发;
不带 user_id 的按 task_id 回调仍然整体跳过守卫(新用例用 verify(never()) 守住)。

AdminApiGuardFilterTest 30 个用例全绿;新增 4 个,其中 internalTokenDoesNotBypassOwnershipBinding
在改代码前是红的,就是那个洞的可执行证明。
2026-09-28 18:45:46 +08:00
huangzd1997 812ac31a48 docs(运维): §13.5 可观测改动两台发版验收(md5 6880abb0,ran=false 已能在巡检里读到) 2026-09-28 17:22:39 +08:00
huangzd1997 575b7f9f8c fix(可观测): 让"续跑/兜底拉取没开"在日志里可辨识,并纠正与 yml 相反的默认值
V129 客户端中断自动续跑从上线至今一次都没执行过:aiimage.task-resume.enabled
继承 aiimage.client-task-pull.enabled,两台生产两个键都没设 → false →
resumeInterruptedTasks() 第一行 return。7 天 12 个「客户端异常中断」任务、
48 轮巡检 resume(s=0 r=0 k=0 u=0)、pull-pending 1 小时 4443 次空返回,
在日志上与"恰好没有中断任务"完全同形。

不改开关(属产品语义:兜底拉取会把用户只解析没点启动的 PENDING 真跑,
而外观专利占 LLM 花费 95% 且扣用户自付次数),已写进决策文档 §十三 交人工决定。
本版只做三件事:
- ResumeStats.ran:真查过库才算跑过;巡检段位改 resume(ran= s= r= k= u=)
- TaskResumeService / TaskClientPullService 各加 @PostConstruct 生效配置启动行
- @Value 的 enabled 默认由 :true 改为继承 client-task-pull.enabled:false(与 yml 同语义)

测试:TaskResumeServiceTest +4、TaskClientPullServiceTest +1,全量 3271 通过 / 0 失败。
2026-09-28 16:52:33 +08:00
huangzd1997 35f0debb69 docs(运维): §12.6 开机自回收上线验收,并更正按文案计数这条判据口径
回收日志 count=3 出现在启动后 9.9 秒,三条在飞作业 retry_count 跨发版一个没涨(含已到 3 的 20833)。
同时记下 error_message 会被下一轮处理覆盖, reclaimed_rows 读到 0 不等于机制没工作。
2026-09-28 16:16:12 +08:00
huangzd1997 7bb03466b0 fix(任务): 开机自回收改以本进程启动时刻为界,发版不再蚕食结果文件作业的重试次数
原判据是 now-max(60,staleSeconds),但 ApplicationReadyEvent 只在重启后几秒响一次,
那时遗留行的心跳也只停了几秒,条件结构上永不成立——线上"实例重启,作业已重新排队"累计 0 条。
遗骸改由 stuck 扫描按 +1 重试处理(今天 A 发了 7 版、重试预算只有 5),
20833 已被吃掉一次,20836/任务29475 就是被这条链判成"已达到最大重试次数"的。
2026-09-28 15:59:47 +08:00
huangzd1997 2689fd5e1f docs(运维): §11.6 锁忙重投修复的验收结果,并记下 jar 路径空输出这个取证坑
同一条 busy 日志新旧对照 54 次/分钟 → 2.7 次/分钟,claimed 由 0 变 25 与 busy 1:1,
证明重投确实改由轮询驱动;process success 在纯窗口内为 0 不足以判成败,留给下一个完成样本。
2026-09-28 15:39:25 +08:00
huangzd1997 505b1c60ac docs(运维): §十一 锁忙零退避重投的取证链与修法,并更正 §10.3 的"29473 已完成"
§10.3 那句把"输入封口"写成了"任务已完成":29473 实际 13:59 后就没动过,
biz_file_task 仍 RUNNING、结果无 url、组装 job 20833 RUNNING retry_count=2。
2026-09-28 15:21:06 +08:00
huangzd1997 ac7412f77d fix(任务): 结果文件作业撞锁后不再自带下一次投递,消除零退避自循环
requeue() 在把行从 RUNNING 翻回 PENDING 的同一刻 publish 一条 dispatch 事件,
于是投递链立刻重新 claim 同一个 job、再撞同一把锁(持锁方是分钟级的 LLM 批次)。
线上实测 20 分钟 667 次、占该实例日志 8.7%,且每次要占满 taskQueueExecutor 的
10 秒探锁 —— 该池只有 12 个许可且与货源 LLM 重提、图像视频轮询共用,按 Little 定律
相当于长期吃掉近一半容量。

撞锁分支改用同语义但不发事件的 deferRunning(),重投节奏交回 runPendingJobs 的
10 秒周期;本地轮询关闭的 profile 没有周期兜底,继续走 requeue 以免作业搁死在 PENDING。
2026-09-28 15:20:59 +08:00
huangzd1997 a9ddf8a696 docs(运维): §9.6 发版后验收,并给"0 命中"划清边界
两台同一 md5 已起、锁等待 60 秒增量 0、被打断的 4 笔 job 全部续跑(外观 20833 抬了 2 次 retry)。
但这窗口里没有外观的 stale 恢复长批次,所以只证明没回归、不证明长事务已消除;另记下发版脚本
异常采样会把旧 JVM 最后一段混进来,那条 NoClassDefFoundError 的时间戳在容器启动前 1.4 秒。
2026-09-28 14:29:41 +08:00
huangzd1997 6df20ff5c6 docs(运维): §九 补齐 110 秒锁等待的持锁方取证与两处修法
上一版写"持锁方仍未定位"是错的,实际已定位到外观专利的 stale 恢复路径。
同时记两条当时看着像证据其实不是的判据(CglibAopProxy 出现在栈里 ≠ 在事务里;
burst 之后抓的线程转储不能当反证),以及 MySQL 业务账号无 PROCESS、加权限留人工决定。
2026-09-28 14:11:49 +08:00
huangzd1997 aa7e07cf02 fix(外观专利): stale 恢复不再把整批 LLM 包进事务,行锁不再持十几分钟
那 50 秒锁等待的持锁方就是这里:三个调用点把整个 finalizeStaleTask 包进
PROPAGATION_REQUIRES_NEW,而恢复分支里 submitLlmBatches 每批开头的 touchRunning
是 UPDATE biz_task_file_job ... WHERE id=? AND status='RUNNING',锁要活到串行发完
整批 LLM 请求(线上实测单批 costMs=1077959)之后才释放。改为只把封口和 finalizeTask
各自包成短事务,LLM 批次留在事务外;另在发批前查 isActualTransactionActive 做回归哨兵。
同源的 SimilarAsinTaskService 一直是正确形状,这里只是回到一致。
2026-09-28 14:11:36 +08:00
huangzd1997 3a416f3935 fix(任务): 卡死自愈扫描不再被一行的锁等待作废整轮
线上 12:58–13:13 每 110 秒一次 1205:扫描按 updated_at 升序取到的第一行正被另一台
持着行锁,一抛就把本轮已复位成功的 job 的 dispatch 事件一起带走(它们已是 PENDING
却没人派发),该判终态失败的作业也不 finalize。改成循环体逐行 try/catch、派发也逐个包,
只跳过这一行。刻意不加事务:每行本就带 status+updated_at 的幂等 CAS 条件。
2026-09-28 14:11:26 +08:00
huangzd1997 d70c472cab docs(运维): 记下落域修复的实测(26/26 救回、行失败 0)与品牌检测坏上游
品牌检测现在整小时 270 个品牌被判"查询失败",根因在 16890 自己的日志里:
代理 IP 供应商回「套餐不存在」——java 侧调参救不了,砍重试只会把可恢复的品牌写死。
顺带把容器日志的增速/保留期换成可复跑的实测法,并纠正"A 访问自己 EIP 很慢"这条:
小请求握手只差 0.2ms,5–8Mbps 只咬大块传输。
2026-09-28 12:47:03 +08:00
huangzd1997 e5b79b71e1 fix(货源): 主图重试换备用域名绕开被钉死的坏 CDN 节点
根因不是"瞬时抖动":m.media-amazon.com 的多 CDN 池里 Akamai 系边缘没配这个
虚拟主机名,带该 SNI 一律 RST(同 IP 不带 SNI 或用 images-na.ssl-images-amazon.com
则正常),而 JVM 正向 DNS 缓存会把坏节点钉住一整批 → 秒级重试三次全打在它身上。
实测最近 20 条失败 URL 走备用域名 20/20 成功且 md5 与原域名逐字节相同。
2026-09-28 12:29:39 +08:00
huangzd1997 8f3b879d80 docs(货源): 记下发版后实测——秒级重试只救回 17%,真实收益是失败原因上行
原判断"瞬时抖动,重试就能救回整行"被自己这次的数推翻(行失败率 14.0% vs
旧代码 14.6%),恢复窗口是分钟级;注释与文档一并改成实测口径,避免下一个人
照错的结论去抬 backoff。
2026-09-28 12:05:53 +08:00
huangzd1997 3a39c36bde fix(货源): 主图转存对瞬时 TLS 重置做有界重试,失败行日志带上真实原因
生产取证:主机A 近 3 小时 252 条 `main download fail` 全是 m.media-amazon.com 的
"Remote host terminated the handshake",而这些 URL 事后重取 8 条里 7 条直接 200。
旧实现单发、握手被 RST 就 return null 并丢掉真实异常,导致整行白占一轮重发。

新增 aiimage.similar-asin.llm-image-download-retry-times(默认额外 2 次,置 0 退回旧行为),
只重试连接级异常,非 200 不重试;25 秒总预算防慢源放大尾延迟;重试耗尽抛 IOException
让行失败原因上行到日志。
2026-09-28 11:52:11 +08:00
huangzd1997 9efb39b0a5 docs(运维): 把 env 三层读值坑补成可复跑配方(含 11:1x 三层实测值)
收尾体检时用 pgrep 拿到 java 子进程 PID 回读,确认 /.env 的两行覆盖真吃到了:
Config.Env 与容器入口进程 environ 都还是公网 121.196.149.225:9876,只有 java 子进程是
192.168.0.170:9876 —— 原因是 /proc/pid/environ 只反映最后一次 execve,shell 之后 source
不回写。顺带记下一条禁令:不要用 docker exec 手工起服务,那条路会绕过 run.sh 退回公网值。
2026-09-28 10:48:59 +08:00
huangzd1997 0729e15875 docs(运维): 认领那条 26ms 公网依赖=1688 商品图 CDN,归为不可改造项
前一版只写到"认不出属于哪个业务调用"。现在用"在 A 本机解析外部 CDN 域名"补齐了:
47.115.192.140 是 cbu01.alicdn.com 的 8 条 A 记录之一(工作站解析拿不到这批节点,
所以按 IP 反查会漏,也因此解释了它时有时无)。代码侧四处注释互证为货源图片下载链路。
结论是外部 CDN、没有切内网的选项,抬并发只会抢 5-8Mbps 公网出口,归入"不动"。
顺带纠正自己上一版把 0.405ms 当成其中一条连接 rtt 的取数错误。
2026-09-28 10:44:27 +08:00
huangzd1997 55d7f2c544 docs(运维): 补 MySQL 生效值与 VPC 内 RTT 实测,修正端口暴露面清单
A 的 MySQL 生效值终于读到(bp=8192MB、命中 99.99994%、连接峰值 45/500),
结论是这台不该再动内存/连接数;A 绑 0.0.0.0 的端口实为 18 个而非 5 个,
四个 redis 口实测均要求鉴权。同时记下一个 ss -ti 字段误读:retrans 抓到的是
bytes_retrans(字节)而非重传次数,内网对象通道 37MB 上传仅 0.11% 字节重传。
2026-09-28 10:30:03 +08:00
huangzd1997 41af66bb4c docs(运维): 记录 RocketMQ 走私网与 Nacos 关停,纠正 brokerIP1 取证错判
MQ 侧 brokerIP1 与 namesrv 两处都改完并回读到真实跨机投递(10:12 的 jobId=20831
A 投 B 收,约 370ms),Nacos 因鉴权关闭 + 三端口绑 0.0.0.0 且零客户端而停掉。
上一版"broker.conf 里没有 brokerIP1"是查错了文件(读的是发行包默认那份而非
bind mount 实际加载那份),已写明正确路径与备份位置。
2026-09-28 10:20:53 +08:00
huangzd1997 fcec51bb71 perf(OSS): 服务端对象读写与浏览器预签名拆成两张 client
Java 在自己机器上用 https://oss.aishufu.top 读写对象,等于走公网 EIP 回环
(ip route get 自己的公网 IP 是 via 192.168.0.253 dev eth0),实测只有 0.98 MB/s、
TLS 首字节 39ms;同一台走 VPC 内网是 900 MB/s、0.9ms。结果 Excel 出表与输入件下载都吃这条。

不能直接把 endpoint 改成内网地址:预签名 URL 的 host 必须是浏览器可达的反代入口,
否则用户侧直传当场全断。所以新增 aiimage.oss.internal-endpoint(默认空=沿用 endpoint,
行为与今天完全一致),只给服务端 I/O 的 client 用;presign 那两处改用 public-endpoint 的 client,
并把内网地址纳入 managedEndpoints,避免历史数据里出现内网 host 时不归一化。

启动打一行 [oss] 服务端读写端点=…(预签名端点=…),发版后直接回读生效值。
2026-09-28 09:27:19 +08:00
huangzd1997 a79f7f4bc6 docs(运维): 补中间件三处线上改动与公网/私网带宽实测
Gitea 七笔已推完(a58dc8a6→ff182acd);cgroup 限额与 nginx body 上限的改法、
回滚值和四个取证坑(docker update 须同给 memory-swap、ss 要看容器 netns 且对端在第 5 列、
1Panel 访问日志真实路径)写进已核区,避免下次重新推一遍。

实测公网 5–8 Mbps 对私网约 1 GB/s 差一千倍,据此把剩下的两处公网依赖(OSS 端点回环、
MQ namesrv/broker)列为待改项,并记下 A 侧 3306/6379/9000/18080/16890 对公网开放且 MySQL
账号为 % 通配——收口需人在阿里云安全组操作,其中复制已确认走 VPC,收公网 3306 不断副本。
2026-09-28 08:42:13 +08:00
huangzd1997 ff182acd16 docs(运维): 补记今夜两版上线回读,并核掉健康评估报告第 6 条
报告称外观/货源的 allRowCount/loadAllRowsByBaseId 静默返回 0 会造成假完成,
逐个调用点读完确认不成立:它们只喂展示字段与同组回填,完成判定走的是不带
try/catch 的载荷读取 + 覆盖率阈值。顺这条链查出的是整批完成标记不区分是否
真的落库,已在上一笔修掉。
2026-09-28 03:23:33 +08:00
huangzd1997 f4f6e414f0 fix(外观专利): 完成标记只打在真正落库的行上
网关少回一行、或回来的 rowToken 在分片里匹配不到时,整批结果落库不完整,
但调用方仍把全部发送行标成已检测:没落库的那行带着"已检测"的空壳 24 小时内
不再补检,用户扣了次数却在结果里永久没有结论。合并写入改为回报真正写进去的
行键,只对这些行打完成标记,其余撤销交下一轮重发(受轮次上限约束)。
2026-09-28 03:09:49 +08:00