huangzd1997
|
fcb6b5f545
|
fix(release): AP 部分缺口出表、平台自费计次与工作台预签名 TTL
- AP 抓取缺行不再一律判死,按覆盖率判定;≥95% 出表成功并保留缺口提示
- 无归属代理提取记 0 号平台自费桶,后台可见并推管理员日告警
- 工作台安装包预签名从 180s 提到可配置 3600s,避免慢网上传在途过期
|
2026-10-25 14:51:57 +08:00 |
|
huangzd1997
|
583dad92ec
|
fix(task): 终态任务保留失败兜底出部分结果
B28 的终态守卫把父任务已失败的结果作业直接标终态;terminal_callback_at 一打,
stuck 扫描就再也捞不到它,fallbackAssembleOnFailure 不再执行,失败任务永远没有结果文件。
改为判死但保留兜底回调,由归属实例收口;已终态任务的补检直接放行,按已有分片出部分结果。
|
2026-10-25 14:28:57 +08:00 |
|
huangzd1997
|
5928072c6a
|
fix(backlog): 品牌出口统一、join 截止与进行中任务补回
- BrandLabel 出口守卫扩到全仓 entity.setBrand,撞款/去重/品牌库统一清洗
- FutureDeadline 替换五处无界 join,回传口锁等待降为 1s
- 采集/跟价/外观专利 history 补回窗口外进行中与续跑任务
- 工作台客户端版本强制单调;catch 棘轮按新增出口逐处记名
|
2026-10-25 13:27:46 +08:00 |
|
huangzd1997
|
1dd9e66d21
|
fix(cr-02): CostGuardBaselineStore 公开构造器补 @Autowired
真机拉起后端时 Spring 在双构造器下找不到默认构造器:
No default constructor found。补 @Autowired 指定注入构造器;
仅装配修复,不改共享基线语义。
|
2026-10-25 03:45:36 +08:00 |
|
huangzd1997
|
c2f429f112
|
fix(cr-01/02/03/08/09/10/11/13): 会话世代、损耗共享基线、任务活性与工作台包
- CR-01:users.session_epoch(V172)+ JWT sessionEpoch;登录/登出原子推进,
check_login/requireUser 先比世代再做设备比对;登出不再依赖 machine CAS
- CR-02/09:cost-guard 基线落 Redis(CostGuardBaselineStore),按 elapsed 归一化;
非持锁实例刷新共享密钥快照;pause() 返回写成功,失败不通知且不推进基线
- CR-03:stuck_requeue_count(V173,上限 20)与 retry_count 分账;终态父任务心跳
停止 touchRunning 并 markFailedPermanent;良性停续期 markLost=false
- CR-08:工作台包对象 key 加 UUID、0 字节拒绝、同 objectKey 幂等、同版本重复拒绝、
前端 confirm 超时抬到 10 分钟
- CR-10:Excel onSheetTotal 统一在 onHeader 之后回调(xlsx/xls)
- CR-13/11:迁移头/文件名一致断言(V170 唯一豁免);V167 前置由 CompanyService 同事务
复制菜单树,已应用迁移未回改
|
2026-10-25 03:40:15 +08:00 |
|
huangzd1997
|
112c61afa8
|
feat(brandgating): 品牌Gating库并入店铺数据重复检查页
- 「店铺数据重复检查」新增「品牌Gating库」页签,承接原独立 Gating 网页后台的列表/筛选/统计、单条新增、批量导入、启停与删除。
- 复用既有 /api/admin/brand-gating 模块;接口权限键跟随宿主页 admin_shop_data_duplicate_check(V164 菜单已由 V166 删除)。
- 前端新增 brand-gating 模型/API 适配、BrandGatingPanel 与纯逻辑单测。
|
2026-10-25 02:09:07 +08:00 |
|
huangzd1997
|
37919ae786
|
fix(b27): 去重导入失败的日志带上异常类型与消息
两级日志此前只有一句「导入 Excel 失败」,单行 grep 看不到根因
(堆栈在后续行,B27 台账据此误判为"没有 exception")。首行补
errorType=/msg=,完整堆栈仍照旧输出;复现仍待用户那份源文件。
|
2026-10-25 00:31:31 +08:00 |
|
huangzd1997
|
987b967237
|
fix(b5): WIPO 查询词先剥 Brand: 标签前缀
BrandCheckClient.postCheck 此前只 trim(),带前缀的品牌词原样打到 16890,
现网 19,247 次 undefined field Brand 即由此而来。改走 BrandLabel.strip,
带前缀不再成为查询键;补一条无代理短路用例钉住。
|
2026-10-25 00:31:27 +08:00 |
|
huangzd1997
|
8881f63839
|
fix(b28): 终态任务的结果作业不再被领取、锁停止续期
现网 FAILED 任务 32217/32220/32226/32229 的合批 job 仍在逐行申领,
在持锁续到 86 分钟。两条 claim 入口先读父任务状态:终态则拉满重试并打
终态回调,不再翻转 RUNNING;执行中由心跳复查,终态后停止看门狗续期
(不释放锁,仍由带 token 的 close 收尾)。父任务状态查询进 mapper XML,
SQL 分层账本 128→129、等价账本 88→89 同步登记。
|
2026-10-25 00:22:09 +08:00 |
|
huangzd1997
|
bb4cf3cdd2
|
refactor(phase-7): Excel 栈收口到 POI 并移除 EasyExcel
xlsx 改走 OPCPackage/XSSFReader 事件模型(流式,不整表入内存),
xls 走 HSSF;对外 readFirstSheet/readAllSheets 契约与行回调不变。
解析失败统一收成 IOException,行处理异常按 BusinessException/RuntimeException 原样透传。
pom 删 EasyExcel 4.0.3,只保留 poi-ooxml 5.4.1,消除双 POI 版本劈叉。
|
2026-10-24 22:31:51 +08:00 |
|
huangzd1997
|
a7682bffef
|
fix(鉴权): 单设备开关关闭时登录清除登出吊销标记
开关关掉后登录不再写 users.machine,而登出吊销借 machine 写 revoked@ 标记,
没人覆盖就永久留存——此后每次登录都先成功、再被 assertNotRevoked 判成
401「登录已过期,请重新登录」(2026-10-24 现网 admin 被锁死即此)。
登录成功即视为新会话,遇吊销标记时清空(仍不写设备号)。
|
2026-10-24 20:01:25 +08:00 |
|
huangzd1997
|
eb46a5abc7
|
feat(notification): V171 给去重键补唯一约束,插入侧把竞态念成去重命中(B30)
用户问「后台 488 条未读是不是只进不出、消重到底生效没有」。实测结论:消重在生效
(12h 全表 `GROUP BY dedupe_key HAVING c>1` = 0 组、空键 0 行;管理员扇出走 pushOrRefresh
同键只更新文案不动 read_at),观感上的"每十几分钟一条"是扇出(1 事件 ×24 管理员=24 行)
加节拍(secret_shared 走 cost-guard.shared-scan-interval-ms=600000,实测 15:52/16:12/16:22;
任务失败那路 scan-interval-ms=300000)。未读只进不出的唯一出口是 7 天保留期物理删除。
真缺陷在约束缺失:查重是 SELECT-then-INSERT,表上只有非唯一的 idx_dedupe(V116:19),
双节点同轮撞键会各插一行——今天没踩到靠的是 job 锁(扫描 5 分钟/cost-guard 2 分钟),
不是靠约束。
- V171:`NULLIF(dedupe_key,'')` 的 STORED 投影列 + 唯一键。不给 dedupe_key 直接加唯一键
是因为空串按设计就是"不去重"(服务 javadoc + V116 的 DEFAULT ''),第二条空串会 1062
被 catch 成推送失败 ⇒ 一类通知静默消失;唯一索引允许多个 NULL,投影正好绕开。
存量重复按 MIN(id) 收口——判据与服务自身 selectByDedupeKey 的 orderByAsc(id) limit 1 同一行,
删的是永不被看见的副本。两条 DDL 各查 information_schema 再 PREPARE(repair 重跑不炸),
故意不钉 ALGORITHM=INSTANT(STORED 生成列不支持,钉了 1846 顶死迁移)。
取号 171:生产已应用到 170(今天 17:0x 只读实查 160–167、170 全在),台账
docs/migration-inventory.md 的旧快照"六支未落库"随之更正,DROP COLUMN 那一路顺延 172。
- push():DuplicateKeyException 分诊成「去重命中(竞态由唯一键兜住)」的 info,不并入
「推送落库失败」的 warn。**写成分诊、没新增 catch**——CatchSilenceRatchetTest.STRICT_TOTAL
已钉在 1004 满格,多一块就得重钉基线,那是该逐处记名说话的账,不该由一笔并发兜底花掉。
门禁:定向 46 例绿(新增迁移文本 5 例+服务 3 例,含 CatchSilenceRatchetTest 9 例、
MigrationInventoryTest 7 例);后端整量 `mvn -o test` **4794 例/0 红/0 错/18 skip/
BUILD SUCCESS**(第一遍曾被本笔新增的 catch 顶红棘轮 1004→1005,按上面口径改成分诊后转绿,
未动基线)。变异验证:唯一键改指 dedupe_key ⇒ 迁移用例判红 1 例;摘掉 DuplicateKeyException
分诊 ⇒ 服务用例判红 1 例;两处均逐字节还原(md5 对撞)。
⚠ 残留:这段 DDL 未在真 MySQL 上 dry-run(本机 127.0.0.1:3306 是另一路的 dev server 8.4.9、
无口令且可能是 A 机隧道,不拿来赌;生产实例未获批准不建隔离 schema)。发版前必须补这一次。
|
2026-10-24 18:22:14 +08:00 |
|
huangzd1997
|
5f1dc3ac23
|
fix(task): 补检中的任务不再自动克隆重跑,卡死重排不消耗重试预算
- TaskResumeService:名下还有 PENDING/RUNNING 组装作业的 FAILED 任务不克隆
(现网 2026-10-24 一枚 760 行外观专利被连克隆 3 代,每代全量重跑、同秒显示)
- resetStuckRunningJobsDetailed:RUNNING 行重排不再 +1 retry_count,判死只剩
markFailed 一条真失败的路——补检一轮几十分钟的慢执行不再被记成失败次数
- 新增 hasUnfinishedAssembleJob;测试按新口径重写并补现网回归两例
|
2026-10-24 16:35:23 +08:00 |
|
huangzd1997
|
1743666334
|
fix(cost-guard): 注解 SQL 收进 XML、新端点进守卫名单,并按实扫对齐 catch 棘轮
三格护栏红都在本笔自己头上:UserSecretUsageMapper/UserTaskGuardMapper 的 5 条
注解 SQL 迁进 mapper XML(两处语句台账同步);cost-guard 两个端点身份取自 JWT,
进 AdminApiGuardFilter 无条件名单而不是登记成「方法内自校验」;catch 静默棘轮
先摘掉 6 处能去的静默出口(含 resume 写失败被吞成「已继续任务」的假成功),
余下 6 处带 [cost-guard] 锚点的 fail-open 逐处记名入账。
|
2026-10-24 13:21:47 +08:00 |
|
huangzd1997
|
ba20f5ed42
|
feat(workbench-client): 新增数富AI工作台客户端包管理独立更新渠道
后台上传安装包,confirm 阶段由服务端从 MinIO 实物流式复算 sha256 后落库,
客户端经 /api/workbench-client/version/latest 自动检查更新;与 ShuFuAI 桌面端
的 nanri-image/versions/ 渠道隔离,包体落 client 桶 workbench-client/versions/。
|
2026-10-24 12:49:51 +08:00 |
|
huangzd1997
|
9c4905c94e
|
feat(cost-guard): 代理/LLM 损耗监控与账号级任务暂停
- 每分钟扫描用量增量/日累计,异常置暂停闸并推站内通知
- 品牌补测、跟价派发、外观激活、品牌检测与两个 LLM 客户端统一接闸
- 同一代理/LLM 密钥被 3 个以上账号共用时给出用户提示
- 品牌检测出口拒绝批级熔断;LLM 同 key 共享并发/间隔/429 惩罚
- V170 新增 biz_user_task_guard
|
2026-10-24 10:50:20 +08:00 |
|
huangzd1997
|
68ec48b573
|
revert(permission): V166 删除品牌Gating库菜单行与授权
V164 落库的 admin_brand_gating 菜单与全部直授由新迁移摘除;V164 文件保留
(Flyway validate-on-migrate 要求已应用迁移可解析)。种子默认项同步去掉,
避免 permission-schema-init 打开时把该菜单重新种回来。
|
2026-10-24 09:20:36 +08:00 |
|
huangzd1997
|
4a97725e2a
|
revert(permission): V165 删除常用工具菜单行与授权
回滚 V163 落库的 brand_common_tools 组与三个工具子菜单、全部账号直授;
V163 文件保留(Flyway validate 要求已应用迁移可解析),种子默认项同步移除。
|
2026-10-24 01:43:49 +08:00 |
|
huangzd1997
|
2c85f47c3b
|
feat(brandgating): 品牌Gating库后端模块并入管理后台
直连主库既有 biz_brand_gating 表(原独立小网页后台 8090 下线的前置),
六端点挂 /api/admin/brand-gating,权限键 admin_brand_gating,走 admin
第一道门前缀守卫无需额外登记。列表/统计/新增/删除/启停用对齐桌面版
(停用记 disabled_at、恒刷 updated_at);批量导入 { text } 按桌面版
parse_batch 逐条同款解析,去重靠唯一键+批内四键预检。
SQL 账本 115→124、select 账本 78→86,8 条 select 点入 NOT_MIGRATED。
|
2026-10-23 21:56:45 +08:00 |
|
huangzd1997
|
2d408199d6
|
feat(keywordshare): 五国关键词共享后端模块(桌面工具网页化)
词本体直接读写主库既有 keyword_share 表(已是全量词库),使用状态
keyword_usage,留痕 keyword_add_log/keyword_delete_log;不建新表、无 SQLite。
九个端点挂 /api/keyword-share,权限键 keyword-share,companyId 服务端取。
列表排序对齐桌面版:已使用在前、按 used_time 升序;添加查重跳过+留痕+
自动标记已使用;随机抽词从未使用池。
SQL 账本 99→115(16 条新写语句)、select 账本 67→78(11 条),逐条点入
NOT_MIGRATED;ApiGuardCoverageAuditor METHOD_GUARDED_PATHS 登记
/api/keyword-share(9 端点全部 handler 内 requireConsolePageAccess 把门)。
FILTER_* 命名避开任务状态词表棘轮。
|
2026-10-23 21:54:52 +08:00 |
|
huangzd1997
|
6d9d4b98b2
|
feat(permission): 常用工具与品牌Gating库菜单权限落库
- V163:APP 一级分组 brand_common_tools(105,排前端工具之前)+三工具子菜单
pricing-calc / five-asin / keyword-share,按公司复制树,全量账号默认授组行
(读侧展开子孙,管理员可收组、可按工具单独授)
- V164:admin 菜单 admin_brand_gating(admin_group_data 组,sort 36),
按公司复制树,不预授(管理员在菜单权限配置自行分配)
- PermissionMenuSchemaInitializer 两处默认种子同步登记
|
2026-10-23 21:54:39 +08:00 |
|
huangzd1997
|
09dfb01f9c
|
feat(unreachable-cooldown): 连接层不可达客户端级冷却,四家判定下沉共用
BACKLOG B24(窗长 300s 已拍板):连续 2 次连接未建立即对该 host 进
冷却窗,窗内调用零探针快速失败(归因文案与调用内短路逐字一致);到期
后下一条真实调用兼作探针,失败重进、成功恢复。isConnectFailure 四处
副本(BrandCheckClient/AppearancePatentLlmClient/SimilarAsinLlmClient/
TaskOwnerForwardService)下沉 common/retry 共用。三家客户端接入同一
冷却表(两个 LLM 客户端共用 ai.t8star.org 一格,16890 独立一格),
窗长可配(0=关闭退回调用内短路)。另修 CollectDataBrandBatchFilter
首批预算竞态(1ms 预算下 GC 停顿误切首批,照 BrandCheckClient 首轮
不掐契约补 start>0 守卫)。变异验证:冷却禁用 6 例判红;定向 47/47 绿。
|
2026-10-23 20:58:32 +08:00 |
|
huangzd1997
|
6af19b51ba
|
fix(similar-asin): LLM 连接层故障短路,行级写明服务不可达真因
BACKLOG B23:网关不可达时 invokeChat 原本对任何异常跑满 3 次阶梯,
批量失败再逐行回退把白等乘上行数。现对齐 BrandCheckClient /
AppearancePatentLlmClient 同款口径:连续 2 次连接未建立(读超时与
5xx 不计入且清零证据)即停,抛「LLM 服务不可达(连接未建立,非本行
数据问题)」。变异验证 23.4s 判红→收口 7.7s 绿;后端整量 4709 例
0 红 0 错 BUILD SUCCESS。
|
2026-10-23 19:47:46 +08:00 |
|
huangzd1997
|
b65b709700
|
fix(appearance-patent): LLM 连接层故障短路,行级写明服务不可达真因
invokeChat 的重试阶梯原先不区分故障层:网关根本连不上也把 llmRetryTimes
打满。照 BrandCheckClient 的 SERVICE_UNREACHABLE 同口径补短路——同一次
调用连续 2 次连接未建立(ConnectException/NoRouteToHost/UnknownHost,
顺 cause 链)且中间无一次成功 ⇒ 停止重试,行级原因写成「LLM 服务不可达
(连接未建立,非本行数据问题)」。读超时与 5xx 故意不算,非连接失败
清零证据。结论一字不变,差别只在耗时与归因文案。
新增 2 例互为非零对照:死端口必须在第 2 次连接失败处停(第 3 次不发);
连得上但 5xx 要跑满整个阶梯。
|
2026-10-23 18:00:34 +08:00 |
|
huangzd1997
|
70b3be63a9
|
fix(dedupe): 文件处理槽位等待加上限,等不到判失败并写明原因
原先 Semaphore.acquire() 无超时:一个文件卡在上游读取或 OSS 上传时,
同批与后续任务的每个文件都无限排在这 4 个槽位上——任务不落终态、
进度冻在已提交那格。改为 tryAcquire(默认 600s,可配
aiimage.dedupe.run.file-slot-wait-seconds),等不到把该文件判失败
并写明「是没排到槽位」,不再是静默续等。新增 2 例互为对照:
槽位占满必须到点返回 false 且不占槽位;有空槽位照常放行。
|
2026-10-23 18:00:17 +08:00 |
|
huangzd1997
|
d9cb194575
|
chore(cleanup): 删除旧 Flask 配置里的阿里云 OSS 死代码
backend/config.py 里那组 region/endpoint/accessKey 与 file_url_pre 已无消费者;
同步把静态资源探测注释里的 aliyun.json 去掉(现在只会有 oss.json)。
|
2026-10-23 09:00:03 +08:00 |
|
huangzd1997
|
dbe35dfcb5
|
refactor(phase-4): 解散万能 util——similarasin/util 与 common/util 按域归位
similarasin/util 7 支:
- 域内件(SimilarAsinImageEmbedder/PuzzleImageMerger/SimilarAsinLogSupport/
BoundedImageCache)并入既有 service/support 先例;
- 通用 Excel 件(ExcelCellImageWriter/WpsCellImageWriter)归 common/excel;
- 仅测试用的 SimilarAsinPerfFixture 移出生产源到 src/test。
common/util 13 支解散为四个关注点包:excel(读/写/单元格图片)、
text(BrandLabel/SecretMasking/UserMessages)、task(行过滤/分组传播/判死文案/
删除台账/锁跳过留痕)、support(LRU/下载头/线程池)。老 util 目录不再存在。
纯粹的包搬迁与 import 重写(diff 219 增 / 217 删),零行为改动:
搬迁前后由 SimilarAsinCreateTaskSnapshotTest 的建单入口 golden 对撞相等;
新增 MovedComponentScanTest 钉住三枚 @Component 仍被根包扫描发现、老包零残留。
|
2026-10-23 00:59:53 +08:00 |
|
huangzd1997
|
3766a34360
|
fix(similar-asin): history 保留续跑件并补回窗口外非终态任务,更新打断后不再两头看不见
现场(用户 2026-10-22「更新客户端,在跑的任务列表没掉」):
① 客户端更新打断任务后,V129 自动续跑会克隆一条新的 PENDING
(TaskRetryCloneSupport:status=PENDING + resume_of_task_id 指向原件)。原件已 FAILED
沉进历史,而 SimilarAsinHistoryAssembler 对 PENDING 一律 continue ⇒「当前任务」和
「历史任务」两头都看不到,要等下一个在线客户端把它领走才重新出现。
② 第二条独立成因:history 由结果行驱动、ORDER BY created_at DESC LIMIT 50..100
(每任务一行)。一个还在跑、但结果行被更新任务挤出窗口的任务会从列表里彻底消失;
前端「当前任务」唯一的兜底是内存 liveProgressItems,页面重载/客户端更新即清零。
改法:
① PENDING 只跳过「未启动的解析预览」,续跑克隆件保留(普通预览不进列表,避免用户
没打算跑的预览一直挂在当前任务里);
② history 追加一次固定的非终态任务查询(RUNNING + 续跑件),把窗口外的按任务头补回
列表最前;resultId/downloadUrl 留空、由前端按 taskStatus 渲染(删除按钮本就
v-if="itemSource(item).resultId",不会拿 null 打接口)。
查询数仍是常数:1 次结果行 + 2 次任务 + 1 次 job = 4(性能守卫同步改成 ≤2 / 总数 ≤4)。
门禁:mvn -o test-compile rc=0;整量 4695 例 / 0 红 / 0 错 / 17 skip / BUILD SUCCESS
(07:05);组装器 15 例、history 批次 13 例、性能守卫 8 例全绿(新增 4 例:续跑件保
留、普通预览仍跳过、窗口外补回、窗口内不重复)。
|
2026-10-22 20:55:57 +08:00 |
|
huangzd1997
|
96315fe302
|
fix(brand-check): 连接未建立即收口整批重试阶梯,并留 SERVICE_UNREACHABLE 锚点
现网读数(主机B java-server,窗口 10-21 07:05→10-22 18:26):B→A:16890 自 10-21
16:30:14 起一次也没通过(A 侧 journal 里来自 121.196.149.225 的调用 10-20 1283 次、
10-21 2033 次、10-22 零次;B17 摘掉兜底 DROP 只恢复了 80/443,16890 从没在放行清单里),
而这一侧的日志是 请求异常将重试 err=I/O error … 16890 **14,944 条**、
重试耗尽判定查询失败 同因 **7,667 条**——每个品牌都要烧满 10 轮(约 45~65 秒)才知道
同一个"连不上",而外观专利正在 B 上跑批(taskId 31891),交付表因此成片「商标查询失败」。
改的是白等,不是结论:批内连续两次连接未建立且中间没有任何一次成功 ⇒ 其余品牌不再重试,
每个品牌仍真发得出它那一次首轮请求(与既有 upstreamRejecting 同一条保守口径),
判失败的行一字不变,只是 reason 从空串写成「品牌检测服务不可达(连接未建立,非本行数据问题)」。
isConnectFailure 只认 ConnectException/NoRouteToHostException/UnknownHostException
(顺着 cause 链,Spring 的 ResourceAccessException 把真凶挂在下面,JDK 的
HttpConnectTimeoutException 本就是 ConnectException 子类);读超时与 5xx 故意不算——
那是"连上了但这次没答好",重试救得回来。
用例 2 支:确定性判据用真闭环(指向一个确定没人监听的端口)——变异验证把证据阈值改成
1000000(等于不短路)后该用例判红、实测 38.64s,收口后 <5s;另一支钉 predicate 的
正例/反例(含 null 与别处的 500)。后端面整量 4691 例/0 红/0 错/17 skip/BUILD SUCCESS。
|
2026-10-22 19:19:38 +08:00 |
|
huangzd1997
|
16643f6912
|
fix(task-lock): 持锁封顶改按模块分档,两根平线都实测砍到过合法大单
30 分钟那版在主机A 留下 12 条 heldMs≈1,800,011 的精确撞线,被掐的 31725/31888
照常推进、最终在 43.7/49.3/49.8 分钟正常放过;改成一根 2 小时平线又会去砍
appearance-patent——两台 7 天日志的「放过」分布:similar-asin 7845 次最长 105.9 分,
appearance-patent 660 次最长 453.8 分(对应任务墙钟 9.4 小时、SUCCESS),
collect-data 1079 次最长 9.2 分。
现按模块分档(默认 2h/similar-asin 4h/appearance-patent 12h),6×TTL 项不变;
分档表整表只有一个出处,用例既钉静态线也钉「续期按这把锁的模块查线」的形状。
|
2026-10-22 17:24:47 +08:00 |
|
huangzd1997
|
9c07b28a94
|
fix(task-lock): LLM 响应体补时间界+任务锁跨线程可放与持封顶,掐掉 11 小时无主锁
现网 31888/31856/31725 等任务永久停在 RUNNING,读数链是:
java.net.http 的请求超时只封顶到响应头,响应体 read() 走 ArrayBlockingQueue.take(),
上游只发半截就发呆时这一读永久 park(12 条 similar-asin-llm-row 虚拟线程全停在那)
⇒ 无超时的 join() 把 task-queue 线程一起挂住 ⇒ 它手里的 task:similar-asin:<id>
被看门狗无条件续期(实测 11.3 小时,放过留痕 0 次)⇒ 该任务每次结果回传判 40902
(两小时 2370 次),且 12 个 taskQueueExecutor 许可被占满、44 条排队。
两道界各配非零对照:
- HttpClientPool.readBodyBounded 把响应体读取挪进一次性虚拟线程、由调用方拿预算去等,
到点中断+关流退成可重试 IOException;三处同型 readResponseBodyBounded 改为委托它。
- LockHandle 直接绑住 HeldLock,任意线程 close 都真放手(旧实现按取锁线程的 ThreadLocal
找锁,跨线程 close 静默 no-op 就是无主锁本体);加持锁封顶 max(30 分钟, 6×TTL),
越界停止续期并 error 留痕,让键在 TTL 内自然过期。
裸跳过例外台账随之清空:它保的正是那条被现网证伪的静默 no-op。
门禁:干净 worktree(HEAD 97312821+本笔)后端全量 4686 例 / 0 红 / 17 skip / rc=0。
|
2026-10-22 15:49:24 +08:00 |
|
huangzd1997
|
6d52b95d85
|
fix(task-board): 任务卡片假死自救——轮询失败退避重试+面板刷新按钮+补检轮进度文案
task 31769:外观专利任务后端 18:08 已 SUCCESS,但页面卡片冻在「正在组装 xlsx 92%」
一天多——Patent 轮询配的 propagate 让一次瞬时错误永久杀死轮询,且无自救出口。
- useLiveTaskBoard 摘除 pollErrorMode:失败一律吞掉重试,连续失败按倍数降频(封顶 5x)
- TaskCenterPanel 头部新增「刷新」按钮,外观专利/货源查询两页接上(强拉 history+dashboard)
- 补检轮触发时进度文案改「有 N 行未完成检测,补检中」,不再停在「正在组装 xlsx」假死
- 回归:AppearancePatentRecheckProgressMessageTest+task-board-poll-resilience.test.ts
|
2026-10-22 15:34:36 +08:00 |
|
huangzd1997
|
973128216a
|
fix(task-retry): 原件被迟到回传复活后停掉重复子任务,避免同一份活跑两遍
现网 2026-10-22 实测到一对:子任务 31857 RUNNING,而它的原件 31751 也被迟到回传拉回 RUNNING
(SimilarAsinStaleReopenSupport 那一路)。重试面放宽到「所有 FAILED」之后,心跳超时这类
**可翻转的判死**就接到了真金白银上——两遍抓取+两遍 LLM 计费,烧的是用户本人额度。
清账做在巡检开头而不是复活路径里:复活支持是在 SimilarAsinTaskService(基线点名的 1936 行长文件)
现场 new 的,多一个依赖就得动它;而「父子两条都活着=重复劳动」与模块无关,收在这里一次覆盖
所有复活入口,顺带收掉存量对,代价是最长滞后一个巡检周期(2 分钟)。留原件停子任务:复活是客户端
拿着真实分片回来触发的,数据在原件上。
状态取 FAILED 而非 CANCELLED,照 ExpiredAccountTaskStopService 的先例:TaskResultAdmission 只对
FINISHED_ORDERED(SUCCESS/FAILED) 带 40901,客户端据此才删本地副本收口;取消态不在那张表里,
被领走的子任务会陷入「永远送不进也不放手」的补发循环(10-11 那起单设备 14,906 行/天的病理)。
因此 TaskRetryEligibility 补第四类 STOPPED,文案直接引 DUPLICATE_STOP_REASON 常量而非抄字面量——
两处各写一遍,改一处就静默失效、双跑被自己捡回来。
LIVE_STATUSES 引用 TaskStatuses.FileTask 常量:状态词表棘轮判的就是新增内联状态集合字面量,
被它管的对象不该另立一份(这是全量跑出来的红,局部三支类测不到)。
验证:后端全量 4677 例 / 0 红 / 17 skip,rc=0;新增 3 例契约(停对、原件仍 FAILED 时一条都不许停、
dryRun 只数不落库)+ 2 例判据。变异验证:摘掉两处调用点 ⇒ 失败数 1→2,非空跑。
|
2026-10-22 14:12:44 +08:00 |
|
huangzd1997
|
cac901df34
|
refactor(phase-3): Publish 那枚私有 writeJson 并进底座,七支序列化出口收成一枚
Phase 3 收口清单里最后一项可选项。PublishTaskService 的私有
writeJson(Object, String) 与底座 AbstractFileTaskPipeline
writeJson(ObjectMapper, Object, String) 逐字同形(宽捕获 Exception、
抛 BusinessException(文案) 且不带 cause),四个调用点改成显式传 mapper,
本地同名件退场。文案四条一字未动,包括那句现网会说谎的「序列化上架任务失败」
系列与一条英文文案——文案是对外语义,改它=改线协议,不归本笔。
判据一格没花:用户授权的 RETHROW_FLOOR 380→379 实测不需要动。用该尺自述的
复现办法(上限压 0、下限抬 99999 各单跑本类一次)量到并档后整树
rethrow=383/total=1000,两格都在界内——380 这一格至今原样,未改基线、
未逐处记名。前例同 3D 第三笔:腾出的额度让「须授权」这项动作变成不必要。
底座 javadoc 两处指针同步更新(原来都写着 Publish「未并档」),并把
「归并 task 那三份会跌破下限」那句的前提数如实更正为 383/1000——
下一支若只归并其中一部分,先复现再判,别照抄旧结论。
门禁读数:mvn -o test-compile rc=0;定向 354 例/0 红/0 错/2 skipped
(Publish 全面+两支 golden+装配切片+CatchSilence/SourceScan/
SqlLayering/TaskStatusVocabulary/ArchitectureBoundary/TaskLifecycleDebt/
ResultFileJobHandler 家族/TaskResultFileJobWorker 家族;2 skip 是
SHUFU_SNAPSHOT_WRITE 未设时的写档器);publish 建单 35 段+回传 27 段
golden 在非写模式逐字节复现(git status -- src/test/resources 一字未动);
PublishTaskService 2132→2124(在册基线 2250,只许降这格满足)。
|
2026-10-22 10:53:45 +08:00 |
|
huangzd1997
|
e4471e08c3
|
refactor(oss): 摘两支零调用件+并档八格前缀守卫,可读性棘轮 973→958
红因:961→973 那 12 行来自 950f379d 的 download-endpoint 修复(真实增量,
不回退它)。本轮按 ops BACKLOG 口径把这一格真降回基线以下,不动
docs/readability-baseline.json、不 --write。
两条降法都刻意避开 catch 面,免得撞上 CatchSilence 的 RETHROW 下限:
1) 摘五棵树零调用件 uploadTaskScopePayload/uploadTaskParsedPayload
(自 54ee3f304/7e1974a68 引入,正本通道早已是
TransientPayloadStorageService.store("task-scope"|"task-parsed", …),
测试也直接吃 uploadText+拼好的 key,两处方法名在 main/test/前端/ops
全树零命中,无反射点名、无 XML/YML 绑定)。
2) 软件版本族四格与教程族守卫那八处逐字同形的 objectKey 前缀检查并成
requirePrefixedObjectKey(objectKey, prefix, what)。异常类型与消息文本
逐字不变(what + " objectKey must start with " + prefix 拼出的就是原来
那两句),requireTutorialKey 保留为具名守卫转调公共件。
门禁读数:mvn -o test-compile rc=0;定向 120 例/0 红/0 错/0 skip
(OssStorageService/InternalAudio/DownloadUrlNonExpiring/SoftwareVersion
四支业务测试+CatchSilence/SourceScan/SqlLayering/TaskStatusVocabulary/
ArchitectureBoundary/TaskLifecycleDebt 六把守门尺,后两格证明本笔没动
catch 账与状态字面量账);ops 面 test_readability_ratchet 9 passed。
|
2026-10-22 10:39:36 +08:00 |
|
huangzd1997
|
d268ecdf6b
|
feat(通知): task_failed 带 ref_json 定位锚点,明细可点直达任务详情
用户原话「都没体现哪个任务id/店铺/用户,咋排查」:通知表只有 title/content,
失败任务又按「用户×模块×自然日」聚合成一条,明细被 5 个 taskNo 预览 + 512 字截断吃掉。
- V162 给 biz_user_notification 加 ref_json(TEXT,可重跑迁移,存量不回填)
- 扫描器把桶内每个失败任务写成锚点(taskId/taskNo/moduleType/reason/updatedAt/
deviceId),上限 20 条;品牌任务无 task_no 用 #<id> 兜底,保证至少一条可定位
- 详情接口回传 refs;同键刷新时锚点变化也更新,且不重新点亮已读
- 后台铃铛「展开明细」渲染成可点行,跳任务中心 ?taskNo= 自动开详情抽屉
- 新增判据 taskFailedAdminNotificationCarriesUidAndTaskNoAnchor:管理端正文必须含
uid、每个桶的 ref_json 至少一条非空 taskNo
|
2026-10-22 10:28:12 +08:00 |
|
huangzd1997
|
3413904d5f
|
feat(task-retry): 失败任务克隆重试,最多 3 代并跳过欠费/宕机
- 废弃只复制 request_json 的空壳续跑:三类任务的解析输入都在模块侧状态里,
线上历史 19 条续跑因此全部失败;改为由 ClientTaskRetrySpi 克隆任务头 +
采集明细 / 解析 scope state / 源结果行,新任务直接可执行。
- 不可抗力不重试:LLM 密钥或代理 IP 欠费、服务宕机、账号自动登录失败。
- 新增内部回填端点 POST /api/internal/tasks/retry-failed(内部令牌,
dryRun 默认 true),用于补扫 30 分钟窗口之外的历史失败。
|
2026-10-22 08:00:49 +08:00 |
|
huangzd1997
|
950f379d48
|
fix(oss): 软件版本下载 URL 优先走 download-endpoint
机 A 的 oss.aishufu.top:443 事件隔离期只放行管理 IP,软件版本直链落在该
入口时外部用户不可达。复用既有 download-endpoint(主机 B 反代回源),
上传预签名仍按 public-endpoint 签,避免签名 host 与反代 Host 不一致。
|
2026-10-22 00:38:53 +08:00 |
|
huangzd1997
|
bae954d8d0
|
fix(oss): 建 client 时带上 region,预签名不再联网探 GetBucketLocation
minio-java 未设 region 时,getPresignedObjectUrl/putObject 都会先向端点发一发
GetBucketLocation。预签名本身不需要网络,却被这一步吊在端点可达性上——
2026-10-21 主机A 隔离期间,出链因此吃满 10 秒建连超时、整条上传链路报 500。
region 留空时保持旧行为(不替配置猜值),并配一条"摘掉 region 必须失败"的反向对照。
|
2026-10-21 23:23:09 +08:00 |
|
huangzd1997
|
66b71a544c
|
feat(internal-audio): 内部音频上传口收口落桶与出链,外部工作流免持对象存储凭据
主机 A 事件隔离期间 oss.aishufu.top:443 对公网不可达,外部平台自签 SigV4 直连
MinIO 的链路当场失效;那把自签凭据又正是生产 root,随微信文件明文外流。
新增 POST /api/internal/audio(X-Internal-Token,只收 audio/*、50MB 上限),
服务端走 VPC 内网落桶 upload/audio/{uuid}/{filename},出 24h 预签名链并把 host
换成 download.aishufu.top——反代按 Host: oss.aishufu.top 回源,SigV4 只对收到的
host 验签,故签名不变、主机 A 无需对外开放公网入口。
|
2026-10-21 22:43:54 +08:00 |
|
huangzd1997
|
2adf3071a9
|
perf(临时载荷): extractTaskId 剥掉 local:i 实例段,删检不再全表扫
oversize 回落本地产生的 local:i/<instanceId>/<objectKey> 指针,第三段是
类目词而非数字,extractTaskId 必然解析失败 → 删除引用检查退化为
biz_task_chunk.payload_json(12 万行 JSON 列,无索引)全局全表扫描,
2026-10-21 现网实测把 MySQL 顶到单核 105%。剥掉 i/<instanceId> 两段后
按标准 objectKey 解析,引用检查带上 task_id 走 uk_task_scope_chunk
最左前缀;异形指针仍回退全局查询,保守口径不变。
|
2026-10-21 20:22:15 +08:00 |
|
huangzd1997
|
9a9d90a7a1
|
fix(ratchet): SimilarAsin 迟到回传新件的归属谓词接回 TaskFinalizeSupport
TaskLifecycleDebtRatchetTest 手写归属谓词的文件数 15→16 判红(全量 4644 例唯一那记红),
多出来的是 df77a62b2 新增的 SimilarAsinStaleReopenSupport:62 那处 !MODULE_TYPE.equals(...)。
按该尺自述的处置口径「新增归属校验一律改走 TaskFinalizeSupport 出口,而不是把数字调大」
归位为 belongsToModule(MODULE_TYPE, ...):常量非空 ⇒ 与旧写法逐字等价,null 语义不变。
文件数降回 15、遍数 109→108,两条判据(hasSize(15)/≤130)一格未放宽。
验证:定向 19 例 0 红;后端整量 4644 例 / 0 红 / 0 错 / 17 skipped / BUILD SUCCESS。
|
2026-10-21 16:51:28 +08:00 |
|
huangzd1997
|
6096e85d32
|
refactor(代理): 用户余量巡检与长样式出件,压回可读性棘轮
推送闸门抓到 UserApiSecretService 1278→1408、两枚 Vue 超过 800 行:
把用户级余量查询/缓存/巡检拆到 UserProxyBalanceService,两端组件的大段
样式移到同名 .css 由 scoped src 挂载。行为与选择器不变,只为让长文件棘轮
回到基线以内(不调基线、不整份回写)。
|
2026-10-21 14:26:03 +08:00 |
|
huangzd1997
|
86d78160fd
|
feat(通知): 四级严重度与严重度/时间双排序,客户端与后台管理同步
通知表新增 severity(紧急/高危/中危/低危,V161),由 scene + level 推导且
不回改 level:老客户端配色不受影响,secret_balance 的余量偏低与欠费也能分档。
列表与聚合接口默认按严重度倒序(同档按时间倒序),sort=time 切纯时间排序;
聚合组取组内最高严重度。两端铃铛加彩色等级标签与排序切换,展开明细沿用
同一排序,严重度排序下隐藏会跨天误导的日期头。
|
2026-10-21 13:33:07 +08:00 |
|
huangzd1997
|
f6aa04d0f2
|
feat(代理): 多套餐余量预警与用户级 jikip 套餐配置
平台自费池由单个 planId/userId 改为 planId:userId 列表逐套餐探测,
套餐余量或账户余额低于阈值时推管理员预警;用户可在密钥设置里为自己
配置多个套餐,巡检跟随密钥检查按用户查余量并推站内通知,欠费状态在
客户端右上角常驻提示(V160 新建用户级套餐表)。
同时把测试里写死的真实代理 key 换成占位串,避免凭证随仓库扩散。
|
2026-10-21 13:32:56 +08:00 |
|
huangzd1997
|
19a291ec39
|
fix(similar-asin): 重开 support 复用 TaskStatuses.FileTask 词表
新类原抄了 STATUS_FAILED/STATUS_RUNNING 两处字面量,把后端标量棘轮顶出 70 上限;
改引用唯一词表,提交语义不变(VocabularyRatchet 7 例 + SubmitTest 11 例复跑绿)。
|
2026-10-21 11:28:04 +08:00 |
|
huangzd1997
|
df77a62b22
|
refactor(similar-asin): 迟到回传恢复出件 support,日志措辞避开判死签名
- 85 行重开/组装复位逻辑从服务搬入 SimilarAsinStaleReopenSupport,服务 2008→1936;
- 落库前重开与终态收尾复位语义逐行不变,SubmitTest 11 例复跑绿;
- 回传日志把「判死」改为「终止」:该行描述的是重开动作,不该被「任务判死」巡检计成死亡。
|
2026-10-21 11:06:16 +08:00 |
|
huangzd1997
|
f5e5717443
|
fix(similar-asin): 迟到回传重开超时判死任务,收尾复位组装 job
心跳判死巡检只改任务状态,客户端继续补发时被 40901 拒绝并删本地
副本;线上 31577/31472 的 214 行结果分片整批丢失。24 小时内、仅
心跳/回传停滞类判死文案的 FAILED 任务,收到迟到分片时条件重开为
RUNNING;业务失败与 SUCCESS 仍按终态拒绝。
判死巡检会把组装 job 一并写成 FAILED+retry=max,底座不会自动重排;
收尾进入等组装态时复位它,避免重开后卡在 RUNNING。
|
2026-10-21 10:19:34 +08:00 |
|
huangzd1997
|
73838916ef
|
fix(brand-check): 检查池排队纳入批预算,队列满不再拖死回传
共享 3 线程池的排队等待不受采集批 10s 预算约束;16890 超时叠高后
单次品牌检查排队 7–35 分钟,Tomcat 线程被占满,客户端 180s×5 重试
耗尽,采集任务以「中间分批回传失败」整单失败。
现在排队最多等「批预算 + 1s 首轮宽限」,未开跑的品牌取消并按查询
失败交补测;队列满立即降级,不再 CallerRuns 到请求线程。
|
2026-10-21 10:19:30 +08:00 |
|
huangzd1997
|
4d70a0d3f8
|
refactor(phase-3): 3A 拆薄第十三笔——AP 剩余五簇出件,服务 1127→750(<800 达标)
- 新落五件:ChunkPayloadMerger(CAS 合并)/LlmSubmissionSupport(提交调度+凭据)/
StaleTaskFinalizer(判死+超时恢复)/GroupingSupport(解析分组)/TaskRecordSupport(删除下载激活)
- 非事务回传支并进 ChunkSubmissionSupport.receiveWithoutTransaction(逐字搬移)
- 归一/首非空/基 id 改吃 AppearancePatentRowNormalizer,登记过的重复实现退场
- 状态标量改吃 TaskStatuses.FileTask(状态词表棘轮 70 不涨)
- 手写归属谓词文件数 16→15 是拆件真下降,棘轮同步登记(阈值 ≤130 未放宽)
- SourceScan 面数 39→44 / support 16→21,五枚新件逐枚 anyMatch 点名
- 等价:18 段符号归一逐行对撞,14 段 EQUAL,4 段仅登记过的回调/util 替换
|
2026-10-21 09:30:17 +08:00 |
|