huangzd1997
|
88d737a7f0
|
fix(tasks): 批量入库与 folder 去重逐条容错,发布文案不说谎
B49/B50 收尾三处当时被标"非 ★"跳过的同类缺陷。判据同一条:一颗坏项不许让
其余项一起不干活,也不许把"根本没拿到数据"说成"数据正常"。
1) shopkey/service/QueryAsinService.java(B49 #6,flushInsert:843-844)
复验为真:整张表共用一条读行循环,某一批 insertBatch 抛出即冒到
runImportTask 的 catch,后面的批次一个都跑不到、内存里的余行一起丢。
审计里"报数虚高"那条已被复验否掉(原状下坏批计数确实不外发),本笔不按
那个理由改;但逐批容错之后坏批计数会随后续进度外发,所以必须按"没落库"
回退:insertedCount 扣回、skippedCount 记上、坏批点名进日志与 errorMessage。
收尾新增 failIfBatchesLost():有坏批就让导入落"失败"态并报出缺口行数——
admin 侧只在 failed 分支显示 errorMessage(QueryAsinPage.vue:260-271),
留在 success 上等于把没入库的行说成导入完成。重传整表是安全的:已入库行
会被 rowSignature 认成重复跳过。
processImportFile 由 private 收到包级作测试接缝(形状同 tryAcquireFileSlot)。
该 importer 此前零夹具,新建 3 例(真 xlsx + 真 ExcelStreamReader)。
2) dedupe/service/DedupeRunService.java(B49 #4 的 folder 分支)
只在 folder 模式成立:逐文件清洗结果只落本地临时目录,唯一交付物是那个
ZIP。两颗坏项会带走整批——① 收尾的 aborted 判定排在打包之前,一个 worker
线程级异常就让打包整步跳过;② 打包循环里一个条目读不到/条目名相撞就整包
作废。现改为 folder 分支先打包再判 aborted,打包逐条目容错并点名跳过;
一个都没写进去时拒绝交空包(那才是"根本没拿到数据")。aborted 仍照旧把
终态落 FAILED,不拿部分交付冒充全量成功;缺口写在交付条目与日志上,
不写 file_task.error_message。非 folder 分支一个字节没动。
DedupeArchiveEntry 与打包方法收到包级作测试接缝。新建 3 例,含一支用
同线程执行器让第 2 个 worker 当场线程级异常的真链路用例。
3) publish/service/PublishTaskService.java(B49 #7/B50 #4,607-609)
按上一轮复验结论只改文案,不动状态语义:逐文件 status/VO 本来就交付了。
会说谎的地方是 publishResultFile(..., preserveFailure=false) 把结果行
error_message 洗成 null,"N 个文件没进这张表"在文案层等于全部成功。
缺口写在 biz_file_result.error_message(本仓既有"部分交付"载体:
ShopMatch:825/PriceTrack:905/ProductRisk:827 都按它判 partialFailure;
publish 侧只有 toResultVo:1216 读它,纯展示,fileReady 由 success+url 推导
不受影响)。SUCCESS 的 file_task.error_message 继续留空并就地写明理由:
TaskRetryEligibility.forceMajeureCategory 与 SimilarAsinStaleReopenSupport
.isStaleFailure 都按那段文字做字面量分类,写进去会喂错 stale/重开/续跑判据。
文案两个方向都不说谎:说清"只含成功处理的 X 个、另有 N 个未纳入(点名)",
并明写"不是表格格式问题、可只重新提交这些文件",不把可恢复失败推给表格。
新建 2 例(含反向钉:全成功时不得凭空造缺口文案)。
实测:mvn -o test-compile rc=0;新增 8 例改前 6 红(QueryAsin 2 红=原始
RuntimeException 直接冒出、批次被提前收走;Dedupe 3 红="Wanted but not
invoked: fileResultMapper.insert"+整包作废;Publish 1 红=errorMessage 恒
null),改后 8/8 绿;相邻既有 9 支类 97 例全绿(PublishTaskServiceTest 33、
DedupeRunProgressResumeTest 14、PublishFileLevelStatusTest 8、
PublishResultFileJobHandlerTest 8、DedupeRunServiceCleanRulesTest 9、
DedupeRunServiceFileSlotTest 2、QueryAsinResolveServiceTest 13 等)。
CatchSilenceRatchetTest 按预期判红(本笔新增 2 处 catch,均在被禁改的共享台账
里,合并时由主线程统一重钉):实测 total=1028(基线 1026)、
notRethrow(incl logOnly)=579(基线 577)、logOnly=181(不变)、
rethrow=393(不变)、empty=56(不变)。
|
2026-10-27 16:03:37 +08:00 |
|
huangzd1997
|
e08b5369d7
|
fix(appearance-patent): 上游余额欠费即判任务终态,停止为空转的行烧出口
B46 那一笔(f3445c21)只做到「行级一次就停、归因写对」:撞上上游 403
insufficient_user_quota 后不再跑满 3 次重试,任务本身仍停在 RUNNING/WAIT_LLM
等 Python 继续回传分片。采集端(maixiang ap_worker)只看 /task/heartbeat 的
alive,读不到终态就继续为剩下的行按次付费买出口 IP——而那些行永远进不了 LLM,
钱白花。这一笔补上 Java 侧缺的那半步:欠费即把任务落终态 FAILED,心跳随即
回 alive=false,worker 下一跳收手。
- 判据只认 TaskRetryEligibility 的 BALANCE 类(欠费 + 密钥失效),复用现成分类器
而非再抄一份字面量表;连接不可达 / 5xx / 429 / 抓取缺口一律照旧继续或按已有
结果交付,判宽了就是拿用户整单给一次网络抖动陪葬。
- 停手点放在批管线的作业执行线程(LLM 批次就在这里跑),不在心跳线程;识别到
欠费即停止后续批次,并回调宿主落终态(FileTaskMapper 与收尾口径在宿主手里)。
- 写终态前重读库里现状态:已 SUCCESS/COMPLETED/CANCELLED/FAILED 的一律不动,
因此可重入,多入口命中也只写一次。
- 终态文案 = 生产者原文(客户端欠费归因 + 上游 lastErr)+ 可执行动作,原文一个
字都不重写;不出现「请稍后重试」,不把欠费说成临时抖动。
|
2026-10-27 16:03:35 +08:00 |
|
huangzd1997
|
07f973d9df
|
fix(tasks): 单片/单文件读不到跳过它,缺数据不许冒充已收齐
三处"一颗坏项拖垮整批"与一处假绿本体:
- BrandTaskStorageService:一片载荷读不到就整份聚合丢掉,而三个调用方
(finalizeTask/abort/tryRecoverCompletedRunningTask)都没有就地 try;改逐片跳过长
WARN,并把 receivedChunkCount/completed 的判据从 chunks.size()(DB 行数)改成
真正读到的片数——拿行数比 chunkTotal 正是"118/119 行没数据仍判已完成"的形状;
解析缓存与汇总状态两处同型"整批抛出"一并改成逐条跳过。
- AppearancePatentLlmBatchPipeline:候选收集跑在批循环之前,一抛就走不到循环体内
那道 finally releaseRowInspection,本轮已申领的行要挂满处理中 TTL(15 分钟),
且 terminalizeRoundExhaustedRows 跟着不执行(轮次到顶的行因此永不判死);改逐片容错。
- TransientPayloadStorageService:跨实例判据枚成 public 常量并提供 cause 链走法。
resolvePayload 会把真实原因 rewrap 成「<errorMessage>: <pointer>」,消费端只摸顶层
消息时「only exists on instance=」「does not exist」两处判定恒 false——跨实例留痕
从未下过笔、"跳过该分片"分支是死代码。消费端(ChunkPayloadSupport/
HistoryAssembler/ResultRowReader)全部改走共享常量+cause 链。
- SimilarAsinHistoryAssemblerTest 的假绿桩删除:改前它桩的是生产者早已不再产出的
英文旧串,断言照旧绿;现在跑真实 resolvePayload 取异常(只 mock RustFS 边界),
改前 15 跑 1 红、改后 15/15 绿。
- SimilarAsinStaleReopenSupport:客户端卡死尾句枚成常量、整句文案唯一出口,生产者
与重开白名单共用;此前只是碰巧被前缀命中,生产者一改前缀就会"永不重开"。
|
2026-10-27 15:09:41 +08:00 |
|
huangzd1997
|
f3445c21c8
|
fix(llm): 余额耗尽按「余额欠费」归因且不再重试进冷却
- 新增 LlmBalanceGuard:识别 insufficient_user_quota 等上游余额/额度字样
- SimilarAsin/AppearancePatent 客户端命中后一次就停,不落进不可达/冷却分支
- 单测:识别口径 3 例 + 两客户端各 1 例(只发 1 次、文案含余额欠费)
|
2026-10-27 10:04:03 +08:00 |
|
huangzd1997
|
e0abd33ed4
|
feat(keyword-share): 新增客户端批量同步端点,保住真实使用人/时间与四级类目
工作台「关键词使用记录」与后台管理对不上,根因不是链路不通(后台现存词 426
与桌面 426 逐字相等),而是「谁、何时」两个字段在推拉两个方向上各丢一次:
- 推:markInternal 把 user_name/used_time 硬写成 token 账号与服务器此刻,
历史使用记录推上去一律变成「同步账号 + 同步那一刻」;
- 拉:selectRows/selectRandomUnused 投影 u.user_name,而 VO 属性叫 usedUser,
驼峰映射只会认成不存在的 userName ⇒ GET /keywords 的 usedUser 恒为 null;
- 词本体:add() 从不写四级类目,且 keyword_share 侧只有 INSERT IGNORE、
没有任何 UPSERT,重复词静默 no-op。
处置:
- 修 used_user 别名(两处投影);
- 新增 KeywordShareMapper#upsertBatchFromSync,类目/chinese 按
COALESCE(NULLIF(VALUES(x),''),x) 非空才覆盖,更新分支不碰 user_name/add_time
(那是历史归属,不由同步改写);
- 新增 POST /api/keyword-share/sync/import:每行携带 usedUser/usedTime,
绕开 markInternal 复用现成 KeywordUsageMapper#upsertBatch(本就是 =VALUES(...)),
不改表结构、不加 Flyway 迁移;
- used 取三态:null=不改动使用状态。按 false 处理会让「只同步词库」的一次
调用把后台已有使用记录整批删掉;
- 共享 API 账号下的归属失真用服务端名单收口:命中 aiimage.keyword-share-sync
.used-users 才按姓名落库且落名单里那份写法(全/半角括号归一,否则同一人被
后管拆成两个使用者);strict 默认 false,名单未填时放行并计 usedUserUnknown,
避免首次上线把全部记录静默改写成账号名。
顺带:CatchSilenceRatchetTest 要求新增 catch 必须同批净减,而宽松时间解析需要
try/catch ⇒ 把 ShopDataCrawlAdminTasksService 已有的同形状实现抽成
common/support/LooseLocalDateTimeParser 两处共用,净新增 catch 为 0,未放宽基线。
尺子:XML_STATEMENT_TOTAL 140→141,NOT_MIGRATED 点名新 insert(非 select,
XML_SELECT_TOTAL 不动)。
验证:mvn -o test-compile rc=0;后端整面 mvn -o test 4892 passed/0 failed/18 skipped。
本机无 MySQL,端到端未跑,真链路待客户端联调(ops BACKLOG B44)。
|
2026-10-26 19:17:26 +08:00 |
|
huangzd1997
|
b8abdc1eec
|
test(guard): 超管出口调用点登记 17 处
UserSecretUsageService 新增业务调用后阈值未同步,全量套件此前为红;
登记为 16 个业务调用方 + DataReadScope 包装体。
|
2026-10-26 15:13:49 +08:00 |
|
huangzd1997
|
915a573439
|
fix(auth): 登录不再推进会话世代,支持同账号多端同时在线
产品定档同账号可多端同时在线:登录 +1 会让每次登录都吊销其他端 token。
- 移除登录路径的 session_epoch 自增;登出仍原子 +1 吊销全部旧令牌
- 改密补 session_epoch +1,避免旧 token 继续用到 7 天 TTL
- 单设备开关仍可按 machine 顶下线(现网默认关闭)
|
2026-10-26 15:13:43 +08:00 |
|
huangzd1997
|
2163c6b585
|
fix(workbench-client): 上传强校验纯数字版本并归一化存量 v 前缀
客户端按 x.y.z 逐段比较,v1.0.112 会被严格解析器判非法,检查更新永远回「已是最新」。
- presign/confirm 只接受 ^\d+\.\d+\.\d+$,带 v 前缀、两段或后缀直接拒绝
- V178 剥离存量 v/V 前缀,冲突时中止迁移
- 后管上传表单同步校验并提示格式
|
2026-10-26 15:13:36 +08:00 |
|
huangzd1997
|
9e5529ef59
|
fix(retry): B24 扩围四条日志补 SERVICE_UNREACHABLE 巡检锚点
ops 护栏格「每条 [brand-check] 日志必须归类」判红:扩围四条新措辞既没进
「品牌检测链路」签名也不在承认清单。这一形状本就是链路不可用的一种,
补 ASCII 锚点 SERVICE_UNREACHABLE 让它们自动进既有格——巡检与承认清单
都不用动(_prod_watch.py 有并行会话在飞,不碰)。
|
2026-10-26 14:47:54 +08:00 |
|
huangzd1997
|
a3f765c458
|
feat(retry): B24 冷却扩围到「不回包/解密失败成片」两形
连接层冷却只认「会话没建立」,而现网 B26 的成片失败是连接已建立的两种形状:
对端在给出响应前收连接、HTTP 200 里行级结论带解密失败。给冷却表加第二条
证据道(同 host 分格、同窗长、同阈值 2),品牌客户端把两形都记进这条道:
不回包按异常即时记证;解密形状先批内开票,批终态只在零可结算结论时按票
记证——一枚干净结论就整票作废,脏品牌名的行级差异证据面保持不变。
冷却期快失败沿用既有整批分支,归因文案单独一条以便交付侧与取证区分。
|
2026-10-26 14:01:26 +08:00 |
|
huangzd1997
|
1d4b4decf3
|
fix(appearance-patent): 结论合成识别否定措辞与夹空白
标题/外观两列都写「无侵权」时,结论仍可能因模型回包含「不侵权」「未发现明显…侵权风险」或「无侵权」中间夹空白/零宽字符而被 contains("侵权") 反判。先剔除空白与零宽字符,再按否定措辞优先判定,并补端到端回归用例。
|
2026-10-26 13:30:10 +08:00 |
|
huangzd1997
|
b5e4c45add
|
fix(cr2-backend): 工作台包凭据拒绝与并发幂等、会话/任务终态收口
- CR-02/05/21:confirm 前解包拒绝凭据文件、清理被拒对象;V176 版本唯一键;并发 confirm 幂等
- CR-07/08/09/10:登录世代回读再签、心跳只停续期、终态任务不被失败回调改写、告警先推送再推进基线
- CR-11:品牌 Gating 写操作限平台超管
- CR-18:关键词分页钳制 + V177 四表 DDL
- CR-20:中断恢复标志并上抛
- catch 棘轮按 9 处新增逐条点名更新基线
定向 154 例全绿(0 fail / 0 skip);V174/V175 未回改。
|
2026-10-26 11:33:25 +08:00 |
|
huangzd1997
|
9b2469ec33
|
feat(keywordusage): 新增关键词使用记录并归位店铺管理菜单
V175 把品牌Gating库从数据管理组迁到店铺管理组(排序85),并在其后新增
关键词使用记录独立菜单(排序86)。后端新增只读查询模块,按公司范围读取
keyword_usage/keyword_add_log/keyword_delete_log,前端提供使用/删除记录、
统计卡与筛选。
|
2026-10-25 22:28:17 +08:00 |
|
huangzd1997
|
23c1402a75
|
feat(brandgating): 品牌Gating库恢复独立菜单
V164 建菜单、V166 回滚后,按 2026-10-25 决定用 V174 恢复独立菜单,
不再作为「店铺数据重复检查」的第三页签;后端权限键同步改为 admin_brand_gating。
|
2026-10-25 21:53:51 +08:00 |
|
huangzd1997
|
e265c188f7
|
fix(appearance-patent): 代理缺失回填与任务前置提示
- 本地代理回填兼容旧版全局 proxy_url,补报成功后重拉服务端快照
- 创建任务前检查服务端代理,缺失时弹窗拦截并引导配置
- 商标查询失败的真实原因写入结果原因列,不再只显示查询失败
|
2026-10-25 21:28:26 +08:00 |
|
huangzd1997
|
fcb6b5f545
|
fix(release): AP 部分缺口出表、平台自费计次与工作台预签名 TTL
- AP 抓取缺行不再一律判死,按覆盖率判定;≥95% 出表成功并保留缺口提示
- 无归属代理提取记 0 号平台自费桶,后台可见并推管理员日告警
- 工作台安装包预签名从 180s 提到可配置 3600s,避免慢网上传在途过期
|
2026-10-25 14:51:57 +08:00 |
|
huangzd1997
|
583dad92ec
|
fix(task): 终态任务保留失败兜底出部分结果
B28 的终态守卫把父任务已失败的结果作业直接标终态;terminal_callback_at 一打,
stuck 扫描就再也捞不到它,fallbackAssembleOnFailure 不再执行,失败任务永远没有结果文件。
改为判死但保留兜底回调,由归属实例收口;已终态任务的补检直接放行,按已有分片出部分结果。
|
2026-10-25 14:28:57 +08:00 |
|
huangzd1997
|
5928072c6a
|
fix(backlog): 品牌出口统一、join 截止与进行中任务补回
- BrandLabel 出口守卫扩到全仓 entity.setBrand,撞款/去重/品牌库统一清洗
- FutureDeadline 替换五处无界 join,回传口锁等待降为 1s
- 采集/跟价/外观专利 history 补回窗口外进行中与续跑任务
- 工作台客户端版本强制单调;catch 棘轮按新增出口逐处记名
|
2026-10-25 13:27:46 +08:00 |
|
huangzd1997
|
1dd9e66d21
|
fix(cr-02): CostGuardBaselineStore 公开构造器补 @Autowired
真机拉起后端时 Spring 在双构造器下找不到默认构造器:
No default constructor found。补 @Autowired 指定注入构造器;
仅装配修复,不改共享基线语义。
|
2026-10-25 03:45:36 +08:00 |
|
huangzd1997
|
c2f429f112
|
fix(cr-01/02/03/08/09/10/11/13): 会话世代、损耗共享基线、任务活性与工作台包
- CR-01:users.session_epoch(V172)+ JWT sessionEpoch;登录/登出原子推进,
check_login/requireUser 先比世代再做设备比对;登出不再依赖 machine CAS
- CR-02/09:cost-guard 基线落 Redis(CostGuardBaselineStore),按 elapsed 归一化;
非持锁实例刷新共享密钥快照;pause() 返回写成功,失败不通知且不推进基线
- CR-03:stuck_requeue_count(V173,上限 20)与 retry_count 分账;终态父任务心跳
停止 touchRunning 并 markFailedPermanent;良性停续期 markLost=false
- CR-08:工作台包对象 key 加 UUID、0 字节拒绝、同 objectKey 幂等、同版本重复拒绝、
前端 confirm 超时抬到 10 分钟
- CR-10:Excel onSheetTotal 统一在 onHeader 之后回调(xlsx/xls)
- CR-13/11:迁移头/文件名一致断言(V170 唯一豁免);V167 前置由 CompanyService 同事务
复制菜单树,已应用迁移未回改
|
2026-10-25 03:40:15 +08:00 |
|
huangzd1997
|
112c61afa8
|
feat(brandgating): 品牌Gating库并入店铺数据重复检查页
- 「店铺数据重复检查」新增「品牌Gating库」页签,承接原独立 Gating 网页后台的列表/筛选/统计、单条新增、批量导入、启停与删除。
- 复用既有 /api/admin/brand-gating 模块;接口权限键跟随宿主页 admin_shop_data_duplicate_check(V164 菜单已由 V166 删除)。
- 前端新增 brand-gating 模型/API 适配、BrandGatingPanel 与纯逻辑单测。
|
2026-10-25 02:09:07 +08:00 |
|
huangzd1997
|
37919ae786
|
fix(b27): 去重导入失败的日志带上异常类型与消息
两级日志此前只有一句「导入 Excel 失败」,单行 grep 看不到根因
(堆栈在后续行,B27 台账据此误判为"没有 exception")。首行补
errorType=/msg=,完整堆栈仍照旧输出;复现仍待用户那份源文件。
|
2026-10-25 00:31:31 +08:00 |
|
huangzd1997
|
987b967237
|
fix(b5): WIPO 查询词先剥 Brand: 标签前缀
BrandCheckClient.postCheck 此前只 trim(),带前缀的品牌词原样打到 16890,
现网 19,247 次 undefined field Brand 即由此而来。改走 BrandLabel.strip,
带前缀不再成为查询键;补一条无代理短路用例钉住。
|
2026-10-25 00:31:27 +08:00 |
|
huangzd1997
|
8881f63839
|
fix(b28): 终态任务的结果作业不再被领取、锁停止续期
现网 FAILED 任务 32217/32220/32226/32229 的合批 job 仍在逐行申领,
在持锁续到 86 分钟。两条 claim 入口先读父任务状态:终态则拉满重试并打
终态回调,不再翻转 RUNNING;执行中由心跳复查,终态后停止看门狗续期
(不释放锁,仍由带 token 的 close 收尾)。父任务状态查询进 mapper XML,
SQL 分层账本 128→129、等价账本 88→89 同步登记。
|
2026-10-25 00:22:09 +08:00 |
|
huangzd1997
|
bb4cf3cdd2
|
refactor(phase-7): Excel 栈收口到 POI 并移除 EasyExcel
xlsx 改走 OPCPackage/XSSFReader 事件模型(流式,不整表入内存),
xls 走 HSSF;对外 readFirstSheet/readAllSheets 契约与行回调不变。
解析失败统一收成 IOException,行处理异常按 BusinessException/RuntimeException 原样透传。
pom 删 EasyExcel 4.0.3,只保留 poi-ooxml 5.4.1,消除双 POI 版本劈叉。
|
2026-10-24 22:31:51 +08:00 |
|
huangzd1997
|
a7682bffef
|
fix(鉴权): 单设备开关关闭时登录清除登出吊销标记
开关关掉后登录不再写 users.machine,而登出吊销借 machine 写 revoked@ 标记,
没人覆盖就永久留存——此后每次登录都先成功、再被 assertNotRevoked 判成
401「登录已过期,请重新登录」(2026-10-24 现网 admin 被锁死即此)。
登录成功即视为新会话,遇吊销标记时清空(仍不写设备号)。
|
2026-10-24 20:01:25 +08:00 |
|
huangzd1997
|
54460bfbf2
|
docs(migration): V171 头注释换成真 dry-run 证据(生产 8.4.8 影子表,用户批准)
原写「本机 dry-run 用的是 8.4.9」是被证伪的陈述——本机 127.0.0.1:3306 是另一路会话的
dev server(无口令、BACKLOG:454 还记它可能是 A 机隧道),我并没有拿它跑过。真正的证据是
2026-10-24 18:5x 在生产 8.4.8、Flyway 同一把应用账号下、对两张 zz_ 前缀影子表跑的六段:
正跑(4 行同键收口成 1、生成列 nullif(dedupe_key,'')、ux_dedupe_key Non_unique=0 且
idx_dedupe 保留)→ 重跑(两条 already exists, skipped ⇒ 可重跑成立)→ 行为对账(同键第二条
报 1062;dedupe_key='' 两行都进得去 ⇒ "空串不参与去重"这条既有设计没被唯一键杀掉)→
反向对照(先证明影子表确有 2 行同值投影,再跑不加第 1 段收口的 ADD UNIQUE ⇒ 1062,
这就是那条 DELETE 的必要性证据;第一轮的对照段输出为空,"没输出"不等于"验过了",
第二轮把前置状态打在屏幕上才算数)。影子表跑完 DROP,leftovers=0,口令文件 shred。
V171 尚未落库(生产最大整数版本 170),改头注释不触碰已应用迁移的字节;文件名与可执行段
一个字符没动。MigrationInventoryTest 7 例+NotificationDedupeUniqueMigrationV171Test 5 例绿。
|
2026-10-24 19:36:41 +08:00 |
|
huangzd1997
|
eb46a5abc7
|
feat(notification): V171 给去重键补唯一约束,插入侧把竞态念成去重命中(B30)
用户问「后台 488 条未读是不是只进不出、消重到底生效没有」。实测结论:消重在生效
(12h 全表 `GROUP BY dedupe_key HAVING c>1` = 0 组、空键 0 行;管理员扇出走 pushOrRefresh
同键只更新文案不动 read_at),观感上的"每十几分钟一条"是扇出(1 事件 ×24 管理员=24 行)
加节拍(secret_shared 走 cost-guard.shared-scan-interval-ms=600000,实测 15:52/16:12/16:22;
任务失败那路 scan-interval-ms=300000)。未读只进不出的唯一出口是 7 天保留期物理删除。
真缺陷在约束缺失:查重是 SELECT-then-INSERT,表上只有非唯一的 idx_dedupe(V116:19),
双节点同轮撞键会各插一行——今天没踩到靠的是 job 锁(扫描 5 分钟/cost-guard 2 分钟),
不是靠约束。
- V171:`NULLIF(dedupe_key,'')` 的 STORED 投影列 + 唯一键。不给 dedupe_key 直接加唯一键
是因为空串按设计就是"不去重"(服务 javadoc + V116 的 DEFAULT ''),第二条空串会 1062
被 catch 成推送失败 ⇒ 一类通知静默消失;唯一索引允许多个 NULL,投影正好绕开。
存量重复按 MIN(id) 收口——判据与服务自身 selectByDedupeKey 的 orderByAsc(id) limit 1 同一行,
删的是永不被看见的副本。两条 DDL 各查 information_schema 再 PREPARE(repair 重跑不炸),
故意不钉 ALGORITHM=INSTANT(STORED 生成列不支持,钉了 1846 顶死迁移)。
取号 171:生产已应用到 170(今天 17:0x 只读实查 160–167、170 全在),台账
docs/migration-inventory.md 的旧快照"六支未落库"随之更正,DROP COLUMN 那一路顺延 172。
- push():DuplicateKeyException 分诊成「去重命中(竞态由唯一键兜住)」的 info,不并入
「推送落库失败」的 warn。**写成分诊、没新增 catch**——CatchSilenceRatchetTest.STRICT_TOTAL
已钉在 1004 满格,多一块就得重钉基线,那是该逐处记名说话的账,不该由一笔并发兜底花掉。
门禁:定向 46 例绿(新增迁移文本 5 例+服务 3 例,含 CatchSilenceRatchetTest 9 例、
MigrationInventoryTest 7 例);后端整量 `mvn -o test` **4794 例/0 红/0 错/18 skip/
BUILD SUCCESS**(第一遍曾被本笔新增的 catch 顶红棘轮 1004→1005,按上面口径改成分诊后转绿,
未动基线)。变异验证:唯一键改指 dedupe_key ⇒ 迁移用例判红 1 例;摘掉 DuplicateKeyException
分诊 ⇒ 服务用例判红 1 例;两处均逐字节还原(md5 对撞)。
⚠ 残留:这段 DDL 未在真 MySQL 上 dry-run(本机 127.0.0.1:3306 是另一路的 dev server 8.4.9、
无口令且可能是 A 机隧道,不拿来赌;生产实例未获批准不建隔离 schema)。发版前必须补这一次。
|
2026-10-24 18:22:14 +08:00 |
|
huangzd1997
|
dff0658b32
|
chore(migration): V168/169 纯跳号封账入 RETIRED_HOLES——归写 cost-guard V170 那一路(9c4905c9 直接取号 170,两号全历史零落盘)
|
2026-10-24 16:56:12 +08:00 |
|
huangzd1997
|
5f1dc3ac23
|
fix(task): 补检中的任务不再自动克隆重跑,卡死重排不消耗重试预算
- TaskResumeService:名下还有 PENDING/RUNNING 组装作业的 FAILED 任务不克隆
(现网 2026-10-24 一枚 760 行外观专利被连克隆 3 代,每代全量重跑、同秒显示)
- resetStuckRunningJobsDetailed:RUNNING 行重排不再 +1 retry_count,判死只剩
markFailed 一条真失败的路——补检一轮几十分钟的慢执行不再被记成失败次数
- 新增 hasUnfinishedAssembleJob;测试按新口径重写并补现网回归两例
|
2026-10-24 16:35:23 +08:00 |
|
huangzd1997
|
5547237950
|
test(guard): 守卫前缀总数按实扫 22→23,cost-guard 进无条件名单的那一笔
|
2026-10-24 13:33:08 +08:00 |
|
huangzd1997
|
1743666334
|
fix(cost-guard): 注解 SQL 收进 XML、新端点进守卫名单,并按实扫对齐 catch 棘轮
三格护栏红都在本笔自己头上:UserSecretUsageMapper/UserTaskGuardMapper 的 5 条
注解 SQL 迁进 mapper XML(两处语句台账同步);cost-guard 两个端点身份取自 JWT,
进 AdminApiGuardFilter 无条件名单而不是登记成「方法内自校验」;catch 静默棘轮
先摘掉 6 处能去的静默出口(含 resume 写失败被吞成「已继续任务」的假成功),
余下 6 处带 [cost-guard] 锚点的 fail-open 逐处记名入账。
|
2026-10-24 13:21:47 +08:00 |
|
huangzd1997
|
ba20f5ed42
|
feat(workbench-client): 新增数富AI工作台客户端包管理独立更新渠道
后台上传安装包,confirm 阶段由服务端从 MinIO 实物流式复算 sha256 后落库,
客户端经 /api/workbench-client/version/latest 自动检查更新;与 ShuFuAI 桌面端
的 nanri-image/versions/ 渠道隔离,包体落 client 桶 workbench-client/versions/。
|
2026-10-24 12:49:51 +08:00 |
|
huangzd1997
|
9c4905c94e
|
feat(cost-guard): 代理/LLM 损耗监控与账号级任务暂停
- 每分钟扫描用量增量/日累计,异常置暂停闸并推站内通知
- 品牌补测、跟价派发、外观激活、品牌检测与两个 LLM 客户端统一接闸
- 同一代理/LLM 密钥被 3 个以上账号共用时给出用户提示
- 品牌检测出口拒绝批级熔断;LLM 同 key 共享并发/间隔/429 惩罚
- V170 新增 biz_user_task_guard
|
2026-10-24 10:50:20 +08:00 |
|
huangzd1997
|
68ec48b573
|
revert(permission): V166 删除品牌Gating库菜单行与授权
V164 落库的 admin_brand_gating 菜单与全部直授由新迁移摘除;V164 文件保留
(Flyway validate-on-migrate 要求已应用迁移可解析)。种子默认项同步去掉,
避免 permission-schema-init 打开时把该菜单重新种回来。
|
2026-10-24 09:20:36 +08:00 |
|
huangzd1997
|
4a97725e2a
|
revert(permission): V165 删除常用工具菜单行与授权
回滚 V163 落库的 brand_common_tools 组与三个工具子菜单、全部账号直授;
V163 文件保留(Flyway validate 要求已应用迁移可解析),种子默认项同步移除。
|
2026-10-24 01:43:49 +08:00 |
|
huangzd1997
|
a68e6d9252
|
fix(config): dedupe 文件槽位等待登记进 application.yml(隐式开关棘轮转绿)
|
2026-10-23 23:34:15 +08:00 |
|
huangzd1997
|
2c85f47c3b
|
feat(brandgating): 品牌Gating库后端模块并入管理后台
直连主库既有 biz_brand_gating 表(原独立小网页后台 8090 下线的前置),
六端点挂 /api/admin/brand-gating,权限键 admin_brand_gating,走 admin
第一道门前缀守卫无需额外登记。列表/统计/新增/删除/启停用对齐桌面版
(停用记 disabled_at、恒刷 updated_at);批量导入 { text } 按桌面版
parse_batch 逐条同款解析,去重靠唯一键+批内四键预检。
SQL 账本 115→124、select 账本 78→86,8 条 select 点入 NOT_MIGRATED。
|
2026-10-23 21:56:45 +08:00 |
|
huangzd1997
|
2d408199d6
|
feat(keywordshare): 五国关键词共享后端模块(桌面工具网页化)
词本体直接读写主库既有 keyword_share 表(已是全量词库),使用状态
keyword_usage,留痕 keyword_add_log/keyword_delete_log;不建新表、无 SQLite。
九个端点挂 /api/keyword-share,权限键 keyword-share,companyId 服务端取。
列表排序对齐桌面版:已使用在前、按 used_time 升序;添加查重跳过+留痕+
自动标记已使用;随机抽词从未使用池。
SQL 账本 99→115(16 条新写语句)、select 账本 67→78(11 条),逐条点入
NOT_MIGRATED;ApiGuardCoverageAuditor METHOD_GUARDED_PATHS 登记
/api/keyword-share(9 端点全部 handler 内 requireConsolePageAccess 把门)。
FILTER_* 命名避开任务状态词表棘轮。
|
2026-10-23 21:54:52 +08:00 |
|
huangzd1997
|
6d9d4b98b2
|
feat(permission): 常用工具与品牌Gating库菜单权限落库
- V163:APP 一级分组 brand_common_tools(105,排前端工具之前)+三工具子菜单
pricing-calc / five-asin / keyword-share,按公司复制树,全量账号默认授组行
(读侧展开子孙,管理员可收组、可按工具单独授)
- V164:admin 菜单 admin_brand_gating(admin_group_data 组,sort 36),
按公司复制树,不预授(管理员在菜单权限配置自行分配)
- PermissionMenuSchemaInitializer 两处默认种子同步登记
|
2026-10-23 21:54:39 +08:00 |
|
huangzd1997
|
09dfb01f9c
|
feat(unreachable-cooldown): 连接层不可达客户端级冷却,四家判定下沉共用
BACKLOG B24(窗长 300s 已拍板):连续 2 次连接未建立即对该 host 进
冷却窗,窗内调用零探针快速失败(归因文案与调用内短路逐字一致);到期
后下一条真实调用兼作探针,失败重进、成功恢复。isConnectFailure 四处
副本(BrandCheckClient/AppearancePatentLlmClient/SimilarAsinLlmClient/
TaskOwnerForwardService)下沉 common/retry 共用。三家客户端接入同一
冷却表(两个 LLM 客户端共用 ai.t8star.org 一格,16890 独立一格),
窗长可配(0=关闭退回调用内短路)。另修 CollectDataBrandBatchFilter
首批预算竞态(1ms 预算下 GC 停顿误切首批,照 BrandCheckClient 首轮
不掐契约补 start>0 守卫)。变异验证:冷却禁用 6 例判红;定向 47/47 绿。
|
2026-10-23 20:58:32 +08:00 |
|
huangzd1997
|
6af19b51ba
|
fix(similar-asin): LLM 连接层故障短路,行级写明服务不可达真因
BACKLOG B23:网关不可达时 invokeChat 原本对任何异常跑满 3 次阶梯,
批量失败再逐行回退把白等乘上行数。现对齐 BrandCheckClient /
AppearancePatentLlmClient 同款口径:连续 2 次连接未建立(读超时与
5xx 不计入且清零证据)即停,抛「LLM 服务不可达(连接未建立,非本行
数据问题)」。变异验证 23.4s 判红→收口 7.7s 绿;后端整量 4709 例
0 红 0 错 BUILD SUCCESS。
|
2026-10-23 19:47:46 +08:00 |
|
huangzd1997
|
b65b709700
|
fix(appearance-patent): LLM 连接层故障短路,行级写明服务不可达真因
invokeChat 的重试阶梯原先不区分故障层:网关根本连不上也把 llmRetryTimes
打满。照 BrandCheckClient 的 SERVICE_UNREACHABLE 同口径补短路——同一次
调用连续 2 次连接未建立(ConnectException/NoRouteToHost/UnknownHost,
顺 cause 链)且中间无一次成功 ⇒ 停止重试,行级原因写成「LLM 服务不可达
(连接未建立,非本行数据问题)」。读超时与 5xx 故意不算,非连接失败
清零证据。结论一字不变,差别只在耗时与归因文案。
新增 2 例互为非零对照:死端口必须在第 2 次连接失败处停(第 3 次不发);
连得上但 5xx 要跑满整个阶梯。
|
2026-10-23 18:00:34 +08:00 |
|
huangzd1997
|
70b3be63a9
|
fix(dedupe): 文件处理槽位等待加上限,等不到判失败并写明原因
原先 Semaphore.acquire() 无超时:一个文件卡在上游读取或 OSS 上传时,
同批与后续任务的每个文件都无限排在这 4 个槽位上——任务不落终态、
进度冻在已提交那格。改为 tryAcquire(默认 600s,可配
aiimage.dedupe.run.file-slot-wait-seconds),等不到把该文件判失败
并写明「是没排到槽位」,不再是静默续等。新增 2 例互为对照:
槽位占满必须到点返回 false 且不占槽位;有空槽位照常放行。
|
2026-10-23 18:00:17 +08:00 |
|
huangzd1997
|
d9cb194575
|
chore(cleanup): 删除旧 Flask 配置里的阿里云 OSS 死代码
backend/config.py 里那组 region/endpoint/accessKey 与 file_url_pre 已无消费者;
同步把静态资源探测注释里的 aliyun.json 去掉(现在只会有 oss.json)。
|
2026-10-23 09:00:03 +08:00 |
|
huangzd1997
|
dbe35dfcb5
|
refactor(phase-4): 解散万能 util——similarasin/util 与 common/util 按域归位
similarasin/util 7 支:
- 域内件(SimilarAsinImageEmbedder/PuzzleImageMerger/SimilarAsinLogSupport/
BoundedImageCache)并入既有 service/support 先例;
- 通用 Excel 件(ExcelCellImageWriter/WpsCellImageWriter)归 common/excel;
- 仅测试用的 SimilarAsinPerfFixture 移出生产源到 src/test。
common/util 13 支解散为四个关注点包:excel(读/写/单元格图片)、
text(BrandLabel/SecretMasking/UserMessages)、task(行过滤/分组传播/判死文案/
删除台账/锁跳过留痕)、support(LRU/下载头/线程池)。老 util 目录不再存在。
纯粹的包搬迁与 import 重写(diff 219 增 / 217 删),零行为改动:
搬迁前后由 SimilarAsinCreateTaskSnapshotTest 的建单入口 golden 对撞相等;
新增 MovedComponentScanTest 钉住三枚 @Component 仍被根包扫描发现、老包零残留。
|
2026-10-23 00:59:53 +08:00 |
|
huangzd1997
|
8f6913fb4a
|
test(phase-4): similarasin 建单入口黄金快照——补上 Phase 3 点名的「抄管线」缺口
现有 SimilarAsinSnapshotTest 自建 parser、再抄一份归一/分组,parseAndCreateTask
一次没进、一行库没碰,对 Phase 4 要动的类似 ASIN 与 common 归位零保护。
本笔打真入口:单文件/双文件聚合两条 case,钉住建单校验、scope key、
解析载荷与指针落盘、头行+结果行+scope 三处落库形状与返回 VO 预览。
时钟、雪花 id 不进快照(id 桩固定,taskNo 只渲染前缀)。
|
2026-10-23 00:35:02 +08:00 |
|
huangzd1997
|
3766a34360
|
fix(similar-asin): history 保留续跑件并补回窗口外非终态任务,更新打断后不再两头看不见
现场(用户 2026-10-22「更新客户端,在跑的任务列表没掉」):
① 客户端更新打断任务后,V129 自动续跑会克隆一条新的 PENDING
(TaskRetryCloneSupport:status=PENDING + resume_of_task_id 指向原件)。原件已 FAILED
沉进历史,而 SimilarAsinHistoryAssembler 对 PENDING 一律 continue ⇒「当前任务」和
「历史任务」两头都看不到,要等下一个在线客户端把它领走才重新出现。
② 第二条独立成因:history 由结果行驱动、ORDER BY created_at DESC LIMIT 50..100
(每任务一行)。一个还在跑、但结果行被更新任务挤出窗口的任务会从列表里彻底消失;
前端「当前任务」唯一的兜底是内存 liveProgressItems,页面重载/客户端更新即清零。
改法:
① PENDING 只跳过「未启动的解析预览」,续跑克隆件保留(普通预览不进列表,避免用户
没打算跑的预览一直挂在当前任务里);
② history 追加一次固定的非终态任务查询(RUNNING + 续跑件),把窗口外的按任务头补回
列表最前;resultId/downloadUrl 留空、由前端按 taskStatus 渲染(删除按钮本就
v-if="itemSource(item).resultId",不会拿 null 打接口)。
查询数仍是常数:1 次结果行 + 2 次任务 + 1 次 job = 4(性能守卫同步改成 ≤2 / 总数 ≤4)。
门禁:mvn -o test-compile rc=0;整量 4695 例 / 0 红 / 0 错 / 17 skip / BUILD SUCCESS
(07:05);组装器 15 例、history 批次 13 例、性能守卫 8 例全绿(新增 4 例:续跑件保
留、普通预览仍跳过、窗口外补回、窗口内不重复)。
|
2026-10-22 20:55:57 +08:00 |
|
huangzd1997
|
96315fe302
|
fix(brand-check): 连接未建立即收口整批重试阶梯,并留 SERVICE_UNREACHABLE 锚点
现网读数(主机B java-server,窗口 10-21 07:05→10-22 18:26):B→A:16890 自 10-21
16:30:14 起一次也没通过(A 侧 journal 里来自 121.196.149.225 的调用 10-20 1283 次、
10-21 2033 次、10-22 零次;B17 摘掉兜底 DROP 只恢复了 80/443,16890 从没在放行清单里),
而这一侧的日志是 请求异常将重试 err=I/O error … 16890 **14,944 条**、
重试耗尽判定查询失败 同因 **7,667 条**——每个品牌都要烧满 10 轮(约 45~65 秒)才知道
同一个"连不上",而外观专利正在 B 上跑批(taskId 31891),交付表因此成片「商标查询失败」。
改的是白等,不是结论:批内连续两次连接未建立且中间没有任何一次成功 ⇒ 其余品牌不再重试,
每个品牌仍真发得出它那一次首轮请求(与既有 upstreamRejecting 同一条保守口径),
判失败的行一字不变,只是 reason 从空串写成「品牌检测服务不可达(连接未建立,非本行数据问题)」。
isConnectFailure 只认 ConnectException/NoRouteToHostException/UnknownHostException
(顺着 cause 链,Spring 的 ResourceAccessException 把真凶挂在下面,JDK 的
HttpConnectTimeoutException 本就是 ConnectException 子类);读超时与 5xx 故意不算——
那是"连上了但这次没答好",重试救得回来。
用例 2 支:确定性判据用真闭环(指向一个确定没人监听的端口)——变异验证把证据阈值改成
1000000(等于不短路)后该用例判红、实测 38.64s,收口后 <5s;另一支钉 predicate 的
正例/反例(含 null 与别处的 500)。后端面整量 4691 例/0 红/0 错/17 skip/BUILD SUCCESS。
|
2026-10-22 19:19:38 +08:00 |
|
huangzd1997
|
16643f6912
|
fix(task-lock): 持锁封顶改按模块分档,两根平线都实测砍到过合法大单
30 分钟那版在主机A 留下 12 条 heldMs≈1,800,011 的精确撞线,被掐的 31725/31888
照常推进、最终在 43.7/49.3/49.8 分钟正常放过;改成一根 2 小时平线又会去砍
appearance-patent——两台 7 天日志的「放过」分布:similar-asin 7845 次最长 105.9 分,
appearance-patent 660 次最长 453.8 分(对应任务墙钟 9.4 小时、SUCCESS),
collect-data 1079 次最长 9.2 分。
现按模块分档(默认 2h/similar-asin 4h/appearance-patent 12h),6×TTL 项不变;
分档表整表只有一个出处,用例既钉静态线也钉「续期按这把锁的模块查线」的形状。
|
2026-10-22 17:24:47 +08:00 |
|