huangzd1997
|
380e41bb4a
|
docs(公司tab): 设计与实施计划入仓(批次 0-1,16 页普查与四条口径锁定)
|
2026-10-04 18:10:53 +08:00 |
|
huangzd1997
|
f9356e95c9
|
docs(计划): 18 号计划补执行记录,写清 Task 3–8 已停、串扰仍未解决
计划正文不改写(它记的是当时的判断),以「执行记录」段做对账:
Task 0/1/2 完成与两处被实查数据推翻的偏离、Task 3–8 按用户指令停止、Task 9 取消并反向执行。
最关键的一条要留在文档最显眼处:**V145 单独上线不解决跨公司串扰**,
A 公司导入的 ASIN 仍会被 B 公司的去重掉,止血点在消费侧那四个裸 SQL 出口(Task 5–6)。
哪天接着做,从这里接。取号起点同时订正为 V146。
|
2026-10-04 16:15:22 +08:00 |
|
huangzd1997
|
0311f9fa2a
|
feat(公司隔离): 加 CompanyScopeSupport 与二期实施计划
取不到公司一律抛 BusinessException,不返回 null:null 进实体会被 MyBatis-Plus
跳过该列,落库时由 V145 的列 DEFAULT=1 静默兜住,第二家公司开通后每个漏传都
会归错公司且不报错。同时把 18 号实施计划入库(docs/plans 已不再 gitignore)。
|
2026-10-04 15:09:05 +08:00 |
|
huangzd1997
|
49c3fc1491
|
docs(仓库): 规划文档改为入库,落盘品牌库/去重库每公司一套二期方案
`.gitignore` 原先把 docs/plans/ 与 backend-java/docs/plans/ 记成「本地不入库」,
代价有两头:干净 worktree 出包时这些文件根本不存在(门禁要读它们的用例先假红),
跨会话的实施计划也没有留存通道。改为入库,本批把 34 个 md 落进仓库。
|
2026-10-04 13:51:16 +08:00 |
|
huangzd1997
|
f95932747e
|
docs(看板): 记 39/21/18 的实算与「默认不锁创建时间」定案,含 date-filter-default-today 豁免理由
|
2026-10-04 13:33:04 +08:00 |
|
huangzd1997
|
48aad3f2fd
|
feat(看板): 删净在跑店铺看板,进度文案对齐客户端,加国家列,默认筛「在跑」
- 店铺看板整条移除(面板/`/shops`/`shops()`/`TaskCenterShopVo`),汇总卡「在跑店铺」保留;
- 采集数据行进度改成客户端那句「关键词进度:第 N/总 个」(只改文字,数字口径与夹取不变),
其余无进度条的模块仍显示「—」;
- 列表加「国家」列:值来自 request_json 的 7 条路径(线上实测顺序与覆盖 315/451=69.8%),
按页内主键点查、不进列表 UNION,以免把大 JSON 列拉回已知慢查询;品牌行不发查询;
只展示不筛选,无迁移;
- 状态默认「在跑」= PENDING∪RUNNING∪SCHEDULED,前端下发 ACTIVE 哨兵、只在服务层 statusFilter
一处展开,成员与 ACTIVE_STATUS_SET/ACTIVE_STATUSES 同源钉死;
- 护栏:后端 task-center 77 例(新增状态 IN 渲染、7 路径顺序、归一两形态、品牌不查国家等)、
前端 21 例;4 个变异点(路径顺序/哨兵不展开/归一截断/文案分支)全部被抓到并字节级还原。
|
2026-10-04 12:48:18 +08:00 |
|
huangzd1997
|
ea15cc58bf
|
docs(多公司): §6.7 补 V144 轮干净 worktree 全量读数与计时红的四跑归因
那条 measurementRepeatableWithinTolerance 单条红此前只出现在全量套件里,
用 BASE/GATE 两个干净 worktree 各隔离单跑两轮证成计时假红,并把「主树并发
mvn 换掉 target/classes 会造出 NoClassDefFoundError」记成读数坑。
|
2026-10-04 12:08:11 +08:00 |
|
huangzd1997
|
a5a8f90ab7
|
docs(多公司): DEFAULT 口径改为「V144 前向修复」,补生产实跑读数与 users 写入口枚举
- 状态从「待审」改为「一期已上线」,头部写明 V142/V143 的生产校验和与「字节封死」
- §3 补 11:3x 只读实查表(两台 jar 同版 dd899977、COLUMN_DEFAULT 仍为 1、139/0/139、
company=1、索引=1、菜单 109、两台哨兵 0 响、ERROR 0 行),并更正我 11:04 那次
「admin-vue 不含公司页」的读数成因(当时软链还指向 01:45 的旧包)
- §6.3 补一条容易被误用的事实:CompanyDefaultGuard 在只有一家公司时故意闭嘴,
所以 V144 摘没摘成功不能靠哨兵,只能靠 SHOW COLUMNS 的 Default 列
- §6.4 记 V144 的 8 例与 M1–M7 变异清单
- §8.1/§8.2/§8.3 改写为前向修复口径,并区分「口径前向修复」与「撤销已应用那笔」
- §10 新增 users 写入口枚举:唯一 INSERT 在 AdminUserService:186,无 XML mapper、
注解 SQL 0 处 ⇒ V144 不新增 1364
|
2026-10-04 11:49:25 +08:00 |
|
huangzd1997
|
e832418f4b
|
feat(看板): 变体采集只看在跑,进度列改客户端同源口径
两件事,都是用户当场指出的读数误导:
1. 变体采集页签徽章 106 是麦象历史全量。console 代理一次只接受一个 status,
故 status 缺省时服务端合并 0(等待)∪1(处理中),按 createTime 倒序后内存切片;
单状态各拉 200 条,触顶打 warn。前端状态下拉去掉「已完成/处理失败」两个入口。
2. 进度列的「已完成 0 / 总 1」来自 source_file_count(采集/跟价都是单文件任务),
与客户端进度条不同源。改为按模块分档:COLLECT_DATA 取 result_json 的
$.totalRows/$.processedRows(与客户端「关键词进度:第 X/N 个」同一对数),
PRICE_TRACK/SHOP_MATCH 这类客户端本来没有进度条的返回 0,前端 progressTotal<=0
显示「—」且不再画 0% 进度轨;PUBLISH/DELETE_BRAND/品牌行保持文件数/品牌行数。
护栏:Mapper SQL 渲染 26 例、QueryService 34 例、VariantService 8 例、
ScopeService 7 例;前端 node:test 1653 例。docs/specs/16-client-task-console.md
的「进度口径」一节按新规则重写。
|
2026-10-04 10:27:09 +08:00 |
|
huangzd1997
|
06b6d3fae3
|
docs(多公司): 补第二批变异自证与全量回归读数,订正 4 处行号引用
- 新增 §6.6:29 条变异的真实读数(首轮 25/28 KILLED、2 存活、1 INCONCLUSIVE,
复跑 4/4 KILLED),两条存活都是**用例侧**的洞(namesByIds 被 mock 掉所以内部
去重从未被证明;contains("公司") 分不清闸门与创建人不变式),并记下新规矩
「变异点落在被 mock 的依赖内部必然存活」。
- §6.7 补 `mvn test` 全量实跑 3589 例 0 失败(07:09,BUILD SUCCESS),
并写清这一轮绿是同树含未提交 task-center 改动跑出来的、差分取证过程与
「提交子集未单独重跑」这一条欠账。
- 撤回两处失实声明:§5.1 原写 session.ts/admin-session.ts 已加 companyId
(grep 两文件零命中,实际不改,因为前者直接把它当 AdminUser 用);
e2e 从未跑过,改列缺口。
- 4 处 file:line 因本批改动漂移,逐行回读后订正(161-175 / 136-140 / 466-470 / 92-102)。
|
2026-10-04 07:12:57 +08:00 |
|
huangzd1997
|
5633898a0d
|
feat(多公司): V143 建 company 与 users.company_id,配 12 例迁移护栏
一期只做账号归属:company 主表 + users.company_id,57 张业务表零 DDL、零回填,
公司维度全部由 user_id → users.company_id 派生。存量账号在迁移里归入「厦门米椿花」,
不需要另外拿脚本对着生产库 UPDATE。
两个不落进代码就会丢的判断:
1) 每条语句都写成幂等。MySQL 的 DDL 不进事务,NOT NULL 闸门失败时前面的建表/插数/加列
已经落库,而 repair + 重启会让 Flyway 从第一条语句重跑整个文件;写成裸 CREATE TABLE /
裸 INSERT 的话,恢复路径自己撞 1050/1060/1062,"补数据后重启"就变成"必须手工清库"。
2) 回滚是 docs/rollback-V143-company.sql,不是一条 V144 迁移。放进 src/main/resources/db/
等于让 Flyway 在下次启动时自动执行回滚。这两条口径一并写进 migration-inventory.md 的
约束段,供后续所有迁移引用。
闸门留 DEFAULT 1 只为混合版本窗口存在(旧 jar 建号不带 company_id),摘除时机改由启动期
巡检盯(下一步实现),不靠人记。
CompanyMigrationV143Test 12 例,断言打在剥掉注释后的可执行 SQL 上(否则"注释里写了这句话"
就算通过);16 条变异全部被抓到。全量 mvn test 3515 例 0 红。
后端 modules/company、两端前端、DEFAULT 摘除巡检尚未开始。
|
2026-10-04 03:27:27 +08:00 |
|
huangzd1997
|
7ad4932bd5
|
docs(多公司): 一期租户改造设计 —— company 表 + users.company_id,业务表零 DDL
现有 company_name 两处均为紫鸟语义不可复用,全库无租户机制(89 处手写
user_id 过滤散在 34 文件),故一期只落账号归属:V143 建 company 主表、
users 挂 company_id 并全量归属厦门米椿花,公司维度由 user_id 派生。
唯一索引切换、登录定位、数据隔离出口一律推迟到第二家公司开通时,
并记录两个必须同批改的点(username 唯一索引 vs 登录 selectOne、
锁定 key 裸 username 造成的跨租户 DoS)与 14 个匿名可达前缀的收口前提。
回滚刻意写成迁移目录外的补丁脚本:放成 V144 会被 Flyway 下次启动
直接执行,等于自动撤销 V143。
|
2026-10-04 02:29:14 +08:00 |
|
huangzd1997
|
4a6e139ae9
|
feat(后台): 日期筛选统一默认当天(7 页 + 告警铃铛),并带上看板列改造的在途改动
- utils/datetime 新增 todayDateInput()/todayDateTimeRange(),8 处日期筛选的初值与「重置」都锁当天;
撞款监控按口径排除(该页日期是 ASIN 上架时间,默认当天会让首屏几乎为空)。
- NotificationBell 的 hasFilter 不再把日期计入:日期恒有值是默认视图,计入会让
「无筛选才记录已提醒 id」那条分支永久失效。
- 新增护栏 tests/date-filter-default-today.test.ts(6 例,变异自证 3/3 转红):
凡带日期控件的页面没接入当天默认就红,不等人工发现首屏是空的。
- 同批带上另一路会话的看板在途改动(task-center-model 的 tabCount/完成数口径、
TaskCenterBoardPage 列改造与对应用例):它与本页的日期默认改动落在同一文件,
拆开会让单次提交编译不过,故按现状一起上。
|
2026-10-04 01:19:28 +08:00 |
|
huangzd1997
|
23e15fad3f
|
docs(看板): 出包命令按发版通道口径订正为 mvn -o clean package,并补齐前端发布链路
|
2026-10-03 22:46:55 +08:00 |
|
huangzd1997
|
e1f1aa8b16
|
feat(看板): 客户端任务管理从设备维度改为店铺维度全局在跑看板
原「在线设备」卡按日志上报窗口统计,把 89 台算成在线,与实际在跑的客户端数差一个
量级,且设备维度并不能回答"哪台机器上有任务卡住"。改为:
- 汇总卡:总店铺 / 在跑店铺 / 进行中任务 / 今日完成 / 疑似卡住
- 新增「在跑店铺看板」:当前所有进行中任务按店铺归组(在跑数、卡住数、业务分布、
最近上报),点店铺行下筛该店铺任务;不落店铺的任务归「不挂店铺」桶
- 卡片与面板同源(同一个 aggregateShops),杜绝口径分裂
- 店铺只认两个真来源:上架结果文件 + 逐店落行的结果文件名;
biz_task_progress_snapshot.current_scope_key 是实例锁不是店铺,已从口径中剔除
- 设备号退为详情附注,花名册 /devices 与在线判定整条链删除
- 上报口径只留一个 10 分钟窗口(进行中且超 10 分钟无上报 = 疑似卡住)
后端 3487 例全绿;新增反射护栏断言设备维度查询与快照当店铺的来源已彻底移除。
|
2026-10-03 22:41:29 +08:00 |
|
huangzd1997
|
9378567641
|
docs(运维): 货源两处分片双读已消除记录,剩余倍数在 flush 按组重读
|
2026-10-02 13:13:14 +08:00 |
|
huangzd1997
|
8812a3b64a
|
feat(安全): 店铺凭据解密支持历史密钥,为轮换留出双密钥窗口
换 shop-credential-key 会让 435 行历史密文全部解不开,而调用方拿到解不开的串
是当明文口令往外发(紫鸟账号、1688 店铺、第三方 api_key 都这样用)。
现在新增 aiimage.security.shop-credential-key-previous(逗号分隔),解密按
当前→历史的顺序回试,加密只用当前密钥;全部不中时 WARN 写明"这串密文会被
当成明文口令发出去",不再静默回退。与当前密钥相同的历史项自动丢弃。
previous 留空时行为与改动前逐字节一致(6 例单测盯着这一条)。
轮换设计与取证见 docs/ops/credential-rotation-design-2026-10-02.md(只含长度与
sha8 指纹,无明文值);轮换本身与存量重加密脚本仍未做。
|
2026-10-02 11:01:18 +08:00 |
|
huangzd1997
|
5f7f37c788
|
docs(运维): A1 外观批间全量重读已改码 b728bb3f,记下未做的改法2与货源同形态
|
2026-10-02 10:36:18 +08:00 |
|
huangzd1997
|
b5614c9f10
|
docs(运维): 上线后性能/逻辑审查报告(外观与货源两条链的批间串行等待是大头)
只读代码审查,每条带 file:line,依赖线上数才能定量化的标了【待测】并附取数 SQL。
四条 P0 的共同形态是「贵的不是 LLM 本身,是夹在批次之间的串行等待」;另记两处
有现成批量接口没接上的系统性浪费与一处调度自相矛盾(PENDING 排队超 5 分钟被 retry
顶到上限,之后一次真实超时直接判死)。
|
2026-10-02 09:22:48 +08:00 |
|
huangzd1997
|
051eab6de5
|
docs(运维决策): 记录续跑/兜底拉取开关 10-01 已开启与回读证据
§13.4 的"要不要开"由用户拍板为开,落地的只有 .env 两行;
同时记下与 13.4 的两处偏差(白名单已在代码里收窄、A 保持内部认领关闭)
以及外观专利中断单会被自动重跑并扣用户自付次数这个客户可感知代价。
|
2026-10-01 00:53:37 +08:00 |
|
huangzd1997
|
209ec386a2
|
docs(运维): §二十 热修 8c9141d6 已发两台并端到端复核;补 §二十一 前端设备列删除与进度口径核查
|
2026-09-29 01:12:56 +08:00 |
|
huangzd1997
|
52ef172803
|
feat(taskcenter): 任务列表移除设备列
设备维度保留在设备条、设备筛选与详情抽屉;同步更新设计文档 16 的列表字段。
|
2026-09-29 00:45:52 +08:00 |
|
huangzd1997
|
ac8b34afcc
|
docs(运维): §十九/§二十 发版记录(看板 c6ee759d)与 SQL 空跑发现的 collation 热修(8c9141d6 待发布)
§十九 记录 Java 双机 + 麦象接口 + admin-vue 三处同批上线与回读口径;
§二十 记录把 21 条 @Select 渲染进生产库只读空跑发现设备页 3 条语句 ERROR 1271、
修复与验证数字、以及"授权菜单前必须先发热修"的顺序约束。
顺带把盘点里的取号提示 V138 → V139。
|
2026-09-29 00:22:13 +08:00 |
|
huangzd1997
|
186c288dbf
|
feat(taskcenter): 两表 UNION 任务列表 + 筛选 + 店铺/进度装配
- biz_file_task(12 个客户端模块)∪ brand_crawl_tasks,品牌任务号合成 brand-<id>、
终态用 updated_at 充当 finished_at;子查询内下推过滤、外层排序分页
- 筛选:账号名(users LIKE → ∩ 可见账号)、业务、状态、设备、店铺(4 个来源 EXISTS)、
创建时间范围;选具体业务时品牌分支恒空,带店铺筛选时品牌分支直接排除(防撞号误判)
- 状态口径单一来源:SQL 字面量与 Java 集合由测试守同步,服务层判「卡住」复用同一集合
- 店铺来源优先级链:上架结果文件 → 任务结果分组 → 结果文件名 → 快照 scope → 请求体
items[].shopName(最后一级批量一次拉取,列表主查询不拉大 JSON 列);品牌行店铺恒空
- 进度:快照(按 moduleType+taskId 匹配,防品牌 id 撞号)优先,无快照用行内文件计数
Tests run: 42, Failures: 0, Errors: 0
|
2026-09-28 23:09:21 +08:00 |
|
huangzd1997
|
cd9bf509ec
|
feat(taskcenter): 设备花名册与在线状态接口
新增 GET /api/admin/task-center/devices:任务设备(近 30 天)∪ 客户端日志设备
(近 7 天、uid 非空)合并去重,设备名取日志侧、最近任务时间取任务侧;在线 =
最近活动(任务 updated_at ∪ 日志上报)≤ 5 分钟,在线优先排序。`web-` 前缀标
webDevice 供前端标注「网页」。
SQL 侧把原来的 ROSTER_ROWS 拆成 TASK_DEVICE_ROWS + LOG_DEVICE_ROWS 再组合,
统计口径与列表共用同一段并集,避免两处漂移;新增按设备统计进行中任务数
(空设备号不归属任何设备)。overview 的 deviceTotal/deviceOnline 继续走
COUNT 查询(同一并集常量派生),不再从列表二次计算。
测试:Service 合并/在线阈值/空设备号/排序/网页标记 8 项,Mapper 动态 SQL 9 项。
|
2026-09-28 22:54:36 +08:00 |
|
huangzd1997
|
8485469137
|
feat(taskcenter): 客户端任务管理模块骨架、菜单授权与汇总接口
新增 modules/taskcenter:组范围裁剪(超管直通 / 非超管取本组用户)、
两表 UNION 统计(biz_file_task 12 模块 + brand_crawl_tasks)、设备花名册
(任务设备近 30 天 + 客户端日志设备近 7 天且 uid 非空)。overview 返回
设备总数/在线数/进行中/今日完成/疑似卡住五项。
权限复用既有菜单授权:PermissionMenuService.requireClientTaskCenterAccess
(超管直通,非超管要求 admin_task_center 授权,无记录即 403)。
测试:ScopeService 7 项 + Mapper 动态 SQL 渲染 7 项(不连库,守住 XML
实体转义与可见账号占位符数量)。
|
2026-09-28 22:48:18 +08:00 |
|
huangzd1997
|
0a7e1b9c01
|
feat(taskcenter): V138 客户端任务管理迁移与设计文档
biz_file_task / brand_crawl_tasks 补 device_id 列(JWT 签名 claim,历史任务留空),
并挂载 admin_task_center 菜单:只写 columns 不写 user_column_permission,
管理员默认不可见,超管授权后可见。
|
2026-09-28 22:33:49 +08:00 |
|
huangzd1997
|
d087b0ff49
|
docs(运维): §十八 本批发版记录(a31df4a2,外观/品牌状态与心跳 + 密钥后台代填锁定)
含两笔提交的分工、验证读数(后端 3283/0、app 800/0、admin 1624/1 存量红)、
worktree 干净检出出包与产物自查、两台发版表(B 19:43 空闲先发 / A 19:45 在飞后发,
A 自回收 4、claimed 9、busy requeue 32→4、ERROR 0)、两条前端通道的软链与线上字节校验、
新端点守卫形状,以及 admin_device_logs 缺 guide 这条存量红灯留人决定。
|
2026-09-28 19:55:13 +08:00 |
|
huangzd1997
|
a95cf4e64e
|
docs: 更正两条我自己说错的口径,并附两台 /tmp 全量列名的实测
- "容器内外各查过 0 残留"在方法上是假阴性:`ls /tmp/.my*` 探不到 tempfile 生成的
`tmpXXXX` 名字。改成列全 /tmp 后确认无凭据残留,但判据要换成"全量列名"。
- 上一稿说 reclaim_mysql_fragmentation.py 没自清理是错的,它 finally 里就 rm -f。
- scripts/ 里 password 字面量真实数 14 处/13 文件(非"5 个老脚本"),SSH 侧 7 处已换密钥、
剩 12 处是 pymysql 库口令。另列出两台 /tmp 里别人留下的 113MB 日志等大文件,不代删。
|
2026-09-28 19:24:20 +08:00 |
|
huangzd1997
|
37fb65cecd
|
docs: 记 e344111a 两台发版验收,并纠正一条读法——200 不是守卫放行
A 重启代价:开机自回收本机遗留作业 count=3、7 分钟 20 条 scheduled worker claimed、
超限 0 条、ERROR 0;busy requeue 34 条含重启追赶,仍远低于 §十一 修前量级。
验收口径补一条:writeFailure 走 setStatus(SC_OK) + body code=401,401 又只打 debug,
所以"HTTP 200"和"[admin-guard] 0 条"都不能当"守卫没生效"的证据,要读 body 的 code。
|
2026-09-28 19:14:56 +08:00 |
|
huangzd1997
|
a022bfbe06
|
docs: 回填版本保留候选清单,并记一次 worktree 全量 26 红的归因
§二.4 直接把 04:50 那轮 dry-run 的 20 个候选版本、两条安全边界(分布式锁已挡并发、
删除路径钉在 nanri-image/versions/ 前缀且需无引用)写清,交人工核对后就能拍 dry-run。
§十六 记下同一批代码在主树 3275/0 绿、在新检出 worktree 却 6 fail + 20 error:
前者是 autocrlf 改写 golden(已由 3bd2b607 钉死),后者是"文档一致性测试"读的是
34 份只活在本机的 md —— 这条属仓库缺口,要人决定入库还是改成缺失即跳过。
|
2026-09-28 19:05:44 +08:00 |
|
huangzd1997
|
859c0f64c7
|
docs(运维): §二.10 紫鸟索引里 119 个失效员工绑定每轮空跑(取证在案,行为变更留人拍板)
|
2026-09-28 18:49:06 +08:00 |
|
huangzd1997
|
d16bb57f50
|
docs(运维): §十四 内部令牌绕开绑定的洞与取证、§十五 xlsx 输出流无缓冲的分阶段实测,并改掉 §二.1 里已被本次作废的那条依据
|
2026-09-28 18:46:05 +08:00 |
|
huangzd1997
|
812ac31a48
|
docs(运维): §13.5 可观测改动两台发版验收(md5 6880abb0,ran=false 已能在巡检里读到)
|
2026-09-28 17:22:39 +08:00 |
|
huangzd1997
|
575b7f9f8c
|
fix(可观测): 让"续跑/兜底拉取没开"在日志里可辨识,并纠正与 yml 相反的默认值
V129 客户端中断自动续跑从上线至今一次都没执行过:aiimage.task-resume.enabled
继承 aiimage.client-task-pull.enabled,两台生产两个键都没设 → false →
resumeInterruptedTasks() 第一行 return。7 天 12 个「客户端异常中断」任务、
48 轮巡检 resume(s=0 r=0 k=0 u=0)、pull-pending 1 小时 4443 次空返回,
在日志上与"恰好没有中断任务"完全同形。
不改开关(属产品语义:兜底拉取会把用户只解析没点启动的 PENDING 真跑,
而外观专利占 LLM 花费 95% 且扣用户自付次数),已写进决策文档 §十三 交人工决定。
本版只做三件事:
- ResumeStats.ran:真查过库才算跑过;巡检段位改 resume(ran= s= r= k= u=)
- TaskResumeService / TaskClientPullService 各加 @PostConstruct 生效配置启动行
- @Value 的 enabled 默认由 :true 改为继承 client-task-pull.enabled:false(与 yml 同语义)
测试:TaskResumeServiceTest +4、TaskClientPullServiceTest +1,全量 3271 通过 / 0 失败。
|
2026-09-28 16:52:33 +08:00 |
|
huangzd1997
|
35f0debb69
|
docs(运维): §12.6 开机自回收上线验收,并更正按文案计数这条判据口径
回收日志 count=3 出现在启动后 9.9 秒,三条在飞作业 retry_count 跨发版一个没涨(含已到 3 的 20833)。
同时记下 error_message 会被下一轮处理覆盖, reclaimed_rows 读到 0 不等于机制没工作。
|
2026-09-28 16:16:12 +08:00 |
|
huangzd1997
|
7bb03466b0
|
fix(任务): 开机自回收改以本进程启动时刻为界,发版不再蚕食结果文件作业的重试次数
原判据是 now-max(60,staleSeconds),但 ApplicationReadyEvent 只在重启后几秒响一次,
那时遗留行的心跳也只停了几秒,条件结构上永不成立——线上"实例重启,作业已重新排队"累计 0 条。
遗骸改由 stuck 扫描按 +1 重试处理(今天 A 发了 7 版、重试预算只有 5),
20833 已被吃掉一次,20836/任务29475 就是被这条链判成"已达到最大重试次数"的。
|
2026-09-28 15:59:47 +08:00 |
|
huangzd1997
|
2689fd5e1f
|
docs(运维): §11.6 锁忙重投修复的验收结果,并记下 jar 路径空输出这个取证坑
同一条 busy 日志新旧对照 54 次/分钟 → 2.7 次/分钟,claimed 由 0 变 25 与 busy 1:1,
证明重投确实改由轮询驱动;process success 在纯窗口内为 0 不足以判成败,留给下一个完成样本。
|
2026-09-28 15:39:25 +08:00 |
|
huangzd1997
|
505b1c60ac
|
docs(运维): §十一 锁忙零退避重投的取证链与修法,并更正 §10.3 的"29473 已完成"
§10.3 那句把"输入封口"写成了"任务已完成":29473 实际 13:59 后就没动过,
biz_file_task 仍 RUNNING、结果无 url、组装 job 20833 RUNNING retry_count=2。
|
2026-09-28 15:21:06 +08:00 |
|
huangzd1997
|
a9ddf8a696
|
docs(运维): §9.6 发版后验收,并给"0 命中"划清边界
两台同一 md5 已起、锁等待 60 秒增量 0、被打断的 4 笔 job 全部续跑(外观 20833 抬了 2 次 retry)。
但这窗口里没有外观的 stale 恢复长批次,所以只证明没回归、不证明长事务已消除;另记下发版脚本
异常采样会把旧 JVM 最后一段混进来,那条 NoClassDefFoundError 的时间戳在容器启动前 1.4 秒。
|
2026-09-28 14:29:41 +08:00 |
|
huangzd1997
|
6df20ff5c6
|
docs(运维): §九 补齐 110 秒锁等待的持锁方取证与两处修法
上一版写"持锁方仍未定位"是错的,实际已定位到外观专利的 stale 恢复路径。
同时记两条当时看着像证据其实不是的判据(CglibAopProxy 出现在栈里 ≠ 在事务里;
burst 之后抓的线程转储不能当反证),以及 MySQL 业务账号无 PROCESS、加权限留人工决定。
|
2026-09-28 14:11:49 +08:00 |
|
huangzd1997
|
d70c472cab
|
docs(运维): 记下落域修复的实测(26/26 救回、行失败 0)与品牌检测坏上游
品牌检测现在整小时 270 个品牌被判"查询失败",根因在 16890 自己的日志里:
代理 IP 供应商回「套餐不存在」——java 侧调参救不了,砍重试只会把可恢复的品牌写死。
顺带把容器日志的增速/保留期换成可复跑的实测法,并纠正"A 访问自己 EIP 很慢"这条:
小请求握手只差 0.2ms,5–8Mbps 只咬大块传输。
|
2026-09-28 12:47:03 +08:00 |
|
huangzd1997
|
e5b79b71e1
|
fix(货源): 主图重试换备用域名绕开被钉死的坏 CDN 节点
根因不是"瞬时抖动":m.media-amazon.com 的多 CDN 池里 Akamai 系边缘没配这个
虚拟主机名,带该 SNI 一律 RST(同 IP 不带 SNI 或用 images-na.ssl-images-amazon.com
则正常),而 JVM 正向 DNS 缓存会把坏节点钉住一整批 → 秒级重试三次全打在它身上。
实测最近 20 条失败 URL 走备用域名 20/20 成功且 md5 与原域名逐字节相同。
|
2026-09-28 12:29:39 +08:00 |
|
huangzd1997
|
8f3b879d80
|
docs(货源): 记下发版后实测——秒级重试只救回 17%,真实收益是失败原因上行
原判断"瞬时抖动,重试就能救回整行"被自己这次的数推翻(行失败率 14.0% vs
旧代码 14.6%),恢复窗口是分钟级;注释与文档一并改成实测口径,避免下一个人
照错的结论去抬 backoff。
|
2026-09-28 12:05:53 +08:00 |
|
huangzd1997
|
3a39c36bde
|
fix(货源): 主图转存对瞬时 TLS 重置做有界重试,失败行日志带上真实原因
生产取证:主机A 近 3 小时 252 条 `main download fail` 全是 m.media-amazon.com 的
"Remote host terminated the handshake",而这些 URL 事后重取 8 条里 7 条直接 200。
旧实现单发、握手被 RST 就 return null 并丢掉真实异常,导致整行白占一轮重发。
新增 aiimage.similar-asin.llm-image-download-retry-times(默认额外 2 次,置 0 退回旧行为),
只重试连接级异常,非 200 不重试;25 秒总预算防慢源放大尾延迟;重试耗尽抛 IOException
让行失败原因上行到日志。
|
2026-09-28 11:52:11 +08:00 |
|
huangzd1997
|
9efb39b0a5
|
docs(运维): 把 env 三层读值坑补成可复跑配方(含 11:1x 三层实测值)
收尾体检时用 pgrep 拿到 java 子进程 PID 回读,确认 /.env 的两行覆盖真吃到了:
Config.Env 与容器入口进程 environ 都还是公网 121.196.149.225:9876,只有 java 子进程是
192.168.0.170:9876 —— 原因是 /proc/pid/environ 只反映最后一次 execve,shell 之后 source
不回写。顺带记下一条禁令:不要用 docker exec 手工起服务,那条路会绕过 run.sh 退回公网值。
|
2026-09-28 10:48:59 +08:00 |
|
huangzd1997
|
0729e15875
|
docs(运维): 认领那条 26ms 公网依赖=1688 商品图 CDN,归为不可改造项
前一版只写到"认不出属于哪个业务调用"。现在用"在 A 本机解析外部 CDN 域名"补齐了:
47.115.192.140 是 cbu01.alicdn.com 的 8 条 A 记录之一(工作站解析拿不到这批节点,
所以按 IP 反查会漏,也因此解释了它时有时无)。代码侧四处注释互证为货源图片下载链路。
结论是外部 CDN、没有切内网的选项,抬并发只会抢 5-8Mbps 公网出口,归入"不动"。
顺带纠正自己上一版把 0.405ms 当成其中一条连接 rtt 的取数错误。
|
2026-09-28 10:44:27 +08:00 |
|
huangzd1997
|
55d7f2c544
|
docs(运维): 补 MySQL 生效值与 VPC 内 RTT 实测,修正端口暴露面清单
A 的 MySQL 生效值终于读到(bp=8192MB、命中 99.99994%、连接峰值 45/500),
结论是这台不该再动内存/连接数;A 绑 0.0.0.0 的端口实为 18 个而非 5 个,
四个 redis 口实测均要求鉴权。同时记下一个 ss -ti 字段误读:retrans 抓到的是
bytes_retrans(字节)而非重传次数,内网对象通道 37MB 上传仅 0.11% 字节重传。
|
2026-09-28 10:30:03 +08:00 |
|
huangzd1997
|
41af66bb4c
|
docs(运维): 记录 RocketMQ 走私网与 Nacos 关停,纠正 brokerIP1 取证错判
MQ 侧 brokerIP1 与 namesrv 两处都改完并回读到真实跨机投递(10:12 的 jobId=20831
A 投 B 收,约 370ms),Nacos 因鉴权关闭 + 三端口绑 0.0.0.0 且零客户端而停掉。
上一版"broker.conf 里没有 brokerIP1"是查错了文件(读的是发行包默认那份而非
bind mount 实际加载那份),已写明正确路径与备份位置。
|
2026-09-28 10:20:53 +08:00 |
|
huangzd1997
|
a79f7f4bc6
|
docs(运维): 补中间件三处线上改动与公网/私网带宽实测
Gitea 七笔已推完(a58dc8a6→ff182acd);cgroup 限额与 nginx body 上限的改法、
回滚值和四个取证坑(docker update 须同给 memory-swap、ss 要看容器 netns 且对端在第 5 列、
1Panel 访问日志真实路径)写进已核区,避免下次重新推一遍。
实测公网 5–8 Mbps 对私网约 1 GB/s 差一千倍,据此把剩下的两处公网依赖(OSS 端点回环、
MQ namesrv/broker)列为待改项,并记下 A 侧 3306/6379/9000/18080/16890 对公网开放且 MySQL
账号为 % 通配——收口需人在阿里云安全组操作,其中复制已确认走 VPC,收公网 3306 不断副本。
|
2026-09-28 08:42:13 +08:00 |
|