huangzd1997
|
0a467793ac
|
feat(task-retry): 失败任务改为原任务上重试 + 重试按钮(用户拍板)
用户口径(2026-11-01):失败不再自动克隆(一单失败几次就多几行结果),
改成「删除」旁边的「重试」按钮,在原任务上断点续传;自动重试也只复位原任务。
- 新增 TaskInPlaceRetryService:FAILED→PENDING,清错误/终态时间,代数+1,
保留分片/解析载荷/已检测标记;结果行清错误、组装作业复位(含卡死重排计数清零)
- TaskResumeService 自动重试改为调用原地复位(不再 cloneForRetry)
- TaskRetryEligibility 新增 DELIVERY(结果文件生成多次失败/卡死重排不重试)
- 新端点 POST /api/appearance-patent/tasks/{id}/retry;前端失败任务显示重试按钮
- ⚠ 本笔的 BrandAppearancePatentTab.vue 里另含他路在飞的「删除失败任务时一并删任务行」
两小段(同一文件无法分块提交),随本笔一并入库
- 用例:TaskInPlaceRetryServiceTest 2、TaskResumeServiceTest 19、Eligibility 9、
契约 8、前端 catch 棘轮 4,均绿
|
2026-11-01 00:30:51 +08:00 |
|
huangzd1997
|
0dfd385c4c
|
fix(task-resume): 交付侧失败不再自动克隆重试
现网 32967→33001→33017:同一份输入失败后自动重试 3 代,每代一行
「结果文件生成多次失败」,用户看到「失败一次出一个结果」。
TaskRetryEligibility 新增 DELIVERY 类(结果文件生成多次失败/卡死重排),
排在欠费之前判定;回传中断/心跳超时仍可重试(反向用例钉住)。
|
2026-10-31 23:57:14 +08:00 |
|
huangzd1997
|
91d36327f9
|
fix(phase-5.2): 消项 CR 第二轮 P1/P2/P3(通道/证据链/交付时序/后管证据页)
|
2026-10-31 21:12:18 +08:00 |
|
huangzd1997
|
a4e4456b50
|
feat(llm-arrears): 上游 LLM 欠费的提示落到任务界面并让货源链欠费即判死
现网两处叠加的洞:归因文案早在 2026-10-27 就写进了 biz_file_task.error_message,
但两支历史装配器只读结果行的错误、buildActiveItem 连任务级那条都不带,用户在列表
里只看到「失败」两字;货源链更是只有行级归因、任务停在 RUNNING,采集端读不到
心跳的 alive=false,就继续为永远进不了 LLM 的行按次付费买出口 IP。
- 新增 modules/task/service/TaskVisibleFailureNotice:界面出口的单一判据。认出本仓
写下的欠费/密钥失效归因就换成 TASK_TERMINAL_GUIDANCE 那句中文动作,库里原文一字
不改(英文响应体与上游账户号不进界面,对齐 RawExceptionMessageSinkGuardTest)。
刻意不用 TaskRetryEligibility.BALANCE 当显示判据——那一类还涵盖 jikip 代理欠费,
拿它换句子会把「出口没钱」说成「LLM 账户欠费」,正是 10-27 要避免的误导。
- 两支 HistoryAssembler 共用该出口:行级为空时兜底任务级归因,欠费压过行级副产品。
- 货源链补 terminalizeOnFatalLlmFailure(口径逐字对齐外观专利):判据取 BALANCE、
非终态才写、可重入;并让 finalizeTask 不许用空/二次错误串盖掉整单结论。
- 用例:TaskVisibleFailureNoticeTest 11 例、SimilarAsinLlmArrearsTerminalTest 16 例
(含 502/429/连接失败/心跳超时不许误杀、已终态不改写、收尾覆盖保护、接线源码钉子),
两支装配器各补 4/3 例。后端整量 5,127 例/0 失败/19 skipped。
|
2026-10-31 17:34:54 +08:00 |
|
huangzd1997
|
7469c710d7
|
feat(collect-channel): 采集执行方按单判定并随 /parse 落库
「这一单交本机还是线上」原先是全局 yml aiimage.collect-routing.local-enabled,
一台服务器一个值,把同机所有账号捆成同一个执行方:本机开着的用户被迫走线上,
跑 Linux 兜底的用户也没法把某一单留在本机。现改为建单时逐单登记
biz_file_task.collect_channel(V183,可空=按模块默认),全局开关只留兜底窗口。
- 列可空且不回填:空值按模块默认解释,APPEARANCE_PATENT/SIMILAR_ASIN 读作 LOCAL、
其余读作 ONLINE,与撤掉的 AIIMAGE_COLLECT_LOCAL_* 出厂值逐字节等价,
历史单与未升级前端行为不变。
- TaskRetryCloneSupport.buildChild 必须继承通道:原单选了线上,重试掉回模块默认
等于悄悄换执行方。
- CollectChannel 用逐值比对而非 valueOf+catch 判「不可识别」:后者会把静默 catch
总数顶过 CatchSilenceRatchetTest 上限 1057。
- 两支建单快照 golden 随 collect_channel 键重建(只多出 collectChannel=null)。
|
2026-10-31 12:33:09 +08:00 |
|
huangzd1997
|
2c2cb23943
|
fix(phase-5.1): 回收/确认幂等与两前端分片重试按 CR 消项加固
- 分片回收与 savePart/complete 共用会话锁并锁内复查 mtime
- 版本/教程 confirm 按 version 或 fileName+version 幂等返回既有行
- 证据登记失败补偿删除已上传对象;标签截断到列宽 32
- 用户端分片持久化 upload_id、校验包体失败、失败不再 DELETE
- 后管逐片重试 2 次、放弃时删除会话;catch 台账抬到 1057/190
|
2026-10-31 04:26:58 +08:00 |
|
huangzd1997
|
b13d795731
|
fix(phase-4): 证据件与分片落点按既有尺子收口
- TaskEvidenceMapper 去掉注解 SQL,保留期回收改用 MyBatis-Plus 分页
- 超管出口只保留一处静态判定,AdminTaskEvidenceController 记 uid 对撞日志
- SHA-256 走 Hutool DigestUtil、临时件用 File.delete 收掉两枚新 catch
- 分页台账补 AdminTaskEvidenceController 两点,catch 台账抬到 1055/189
|
2026-10-31 04:03:14 +08:00 |
|
huangzd1997
|
6fe5c8c8d0
|
feat(phase-3,4): 证据件服务端落点与两前端大档分片接线
- 后端新增 evidence 模块(V182 证据表/独立桶/超管读取面/内部登记)与
application.yml evidence 块;管理员四端点逐个 requireSuperAdmin。
- 分片通道补 @Scheduled 回收与 LocalTempCleanupService 的 chunk-uploads 覆盖;
版本/教程 confirm 接受 file_key,把拼装件搬进 client 桶后落库。
- 用户端 9MB 视频改走 uploadTempFileToJava 分片;后管版本/教程 >8MB 走分片,
小文件仍走原 presign 直传。
- 激活 Phase 3/4 后端与两前端预置契约。
|
2026-10-31 03:45:50 +08:00 |
|
huangzd1997
|
5c283a79fc
|
test(phase-0): 确认基线全绿并预置迭代验收测试契约
|
2026-10-31 01:14:39 +08:00 |
|
huangzd1997
|
c7b035dce9
|
fix(user-secret): 白名单「获取当前 IP」改走服务端回显,第三方回显只作兜底
无影云桌面等受限网络里 myip.ipip.net 不可达,页面却能正常调自家接口,
导致青果白名单拿不到本机出口 IP。新增 /api/user-secrets/client-ip
回显服务端看到的来源 IP(XFF 逐跳取首个公网地址),前端优先用它,
失败再退回第三方回显。
|
2026-10-30 17:07:32 +08:00 |
|
huangzd1997
|
43ae12f722
|
feat(user-secret): 代理白名单一键添加(极客/青果)并前置默认渠道
- 客户端设置面板新增「白名单」区块:自动获取出口 IP、可手改;加入前先同步未上报的代理配置,避免拿服务端旧 Key 代加
- 后端新增 POST /api/user-secrets/proxy-whitelist:先查后加;极客用套餐 ID+套餐 key,青果用已保存提取链接里的 key,重复添加不报错
- 极客套餐 key 加密存 biz_user_proxy_plan.jikip_plan_key(V181),回读只给掩码;换套餐 ID 时必须重填
- 白名单接口地址走配置(AIIMAGE_USER_SECRET_JIKIP/QINGGUO_WHITE_LIST_*),日志不落 key 与完整 URL
- 贞贞/极客等默认选项前置;catch 棘轮 7 处逐条记名并入基线(含 79b04afd 的 AdminApiGuardFilter 一枚)
|
2026-10-30 11:05:55 +08:00 |
|
huangzd1997
|
79b04afdd9
|
fix(phase-6.1): CR 消项——分页锚点、分片鉴权、中断归属
- 任务中心 keyset 锚点取 offset-1(上一页最后一行),修复第 2 页首行永久丢失
- /api/files/chunk/** 纳入必须凭据的写端点,并按解码路径再判一次堵住百分号编码绕过
- /api/tasks/{id}/interrupted 增加归属闸:普通账号只能打断自己名下任务,
内部令牌/管理角色保持原语义;品牌任务经 BrandTaskHeartbeatSpi.findOwnerUserId 比对
- 新增 TaskInterruptOwnershipTest 3 例,守卫测试扩到 6 例
|
2026-10-30 10:56:01 +08:00 |
|
huangzd1997
|
457af3607f
|
feat(user-secret): 密钥设置支持 LLM 渠道与代理供应商切换
- 用户密钥新增 channel 列(V180):LLM 行存渠道 longtaitou/t8star,代理行存供应商
qingguo/jikip;存量与新建默认均回填 t8star/jikip(默认仍走贞贞与极客,手动可切)
- 外观专利/货源查询按任务归属用户的密钥渠道路由 LLM 主机(渠道经 SecretUsageContext
下到工作线程,不逐层改签名);切到龙抬头时模型映射 gemini-3.1-flash-lite 并补
enable_thinking + thinking_budget=medium(对齐贞贞现网口径),检测链路刻意不思考
- 代理检测按供应商解析:青果 code 为字符串、隧道端点支持 域名:端口、
NO_AVAILABLE_CHANNEL 归为可重试;青果只验提取成功(账密只在客户端本地)
- 密钥设置页:每个模块加渠道分段选择、代理卡加供应商选择与青果 Authkey/Authpwd
(只存本机,不上报),切换渠道未重填密钥时拦住保存;换号继承带渠道与供应商
- 后管密钥管理三列显示渠道/供应商标签
|
2026-10-30 04:00:38 +08:00 |
|
huangzd1997
|
eaab173ae9
|
fix(collect-routing): 后端整量 5 处红收口(身份出口/归属棘轮/中文文案基线)
全量 mvn -o test 抓到 3 个测试类 5 处失败,均因本次恢复链引入:
- queue-payload 恢复时缺 resolveOwnershipUserId ⇒ 身份出口判红;接上会话出口后
boundRead 分母 63→64(不是放宽,是新增一条已接出口的 handler)
- 恢复的本地激活在 TaskService 里手抄 !MODULE_TYPE.equals(...) ⇒ 手写归属文件数 15→16;
改为复用底座 requireSubmissionTask(模块校验口径一致,棘轮不涨)
- 相似ASIN activate 新增「已切换后台自动执行」文案 ⇒ 中文出口 61→62(已在常量注释登记)
mvn -o test:5032 例 / 0 失败 / 0 错误 / 19 skipped。
|
2026-10-29 21:38:31 +08:00 |
|
huangzd1997
|
39c01ada44
|
feat(collect-routing): 专利/货源本地采集开关与 Linux 兜底窗口
外观专利与相似ASIN默认「本地采集」,由页面推本机客户端;本地推了没人领时
PENDING 超过 linux-fallback-minutes(默认 30 分钟)才允许 Linux 内部认领接管,
避免本地机全关时任务无限排队(PENDING 已不再按时间判死)。
- 新增 aiimage.collect-routing.local-enabled 与 GET /api/collect-routing
- 客户端兜底拉取只认本地模块;内部认领对本地模块按兜底窗口二次过滤
- 外观专利 activate 在本地模式下恢复 PENDING→RUNNING 条件更新(与认领互斥),
关闭时保留后台拒绝语义;相似ASIN 关闭时明确拒绝「点启动」
- 恢复 GET /api/appearance-patent/tasks/{id}/queue-payload(本地推送取载荷用)
- /api/collect-routing 进用户态守卫名单,两处前缀计数基线 15→16 / 23→24
|
2026-10-29 20:27:53 +08:00 |
|
huangzd1997
|
8b7d5d4a40
|
fix(tasks): PENDING 排队不再按 2 小时判死,等客户端认领
PENDING 是排队态不是卡死态:单机串行跑大任务时队列等再久也必须保留,
按 updated_at 清杀会把排队任务误判成「长期未被领取」并连锁触发自动克隆重试,
同一份活被放大成多条失败记录(2026-10-28 现网 1514 行任务连续三代)。
判死巡检只留 SCHEDULED(到点未启动)与 RUNNING(心跳残留)两条;
排队任务一律等 TaskClientPullService 认领,页面放弃的解析预览也保留。
|
2026-10-29 19:19:21 +08:00 |
|
huangzd1997
|
217f5eec62
|
feat(phase-5): AC-19/AC-21 读路径时间窗与 keyset、心跳瘦读、菜单缓存、去 RAND、MDC 与补检限流
AC-19(P1-B1/B2/B3/B4)
- 任务中心(P1-B1):TaskCenterQueryService.tasks() 不带 startTime 时补 90 天默认窗口
(startOfDefaultWindow),不再把 null 透传给 12 模块 UNION 扫全历史;selectTaskPage 的
`LIMIT ? OFFSET ?` 改成 (createdAt,id) 游标,深翻页的 skip 挪进新语句
selectTaskPageAnchor——它只投影 (id,createdAt) 两列。宽/窄两份 UNION 共用同一对筛选片段
(taskFilterT/taskFilterB),锚点与页查询筛的行集在结构上不可能漂;页码语义、total、
响应结构与前端全部不变。
- 关键词抽词(P1-B2):selectRandomUnused 不再 ORDER BY RAND()(全表 filesort)。
服务层先 countHit 数命中集、再把窗口起点掷在 [0, total-limit],按 k.id 有序取一段后
在内存洗牌。分布口径变了(连续 id 的一段 vs 逐行独立随机),已如实登记。
- 心跳(P1-B3):selectFileTask 只捞 id/moduleType/status/userId/updatedAt 五列;
需要整实体的模块由新 SPI 默认方法 heartbeatNeedsFullTaskEntity()(默认 true=保守)
声明后补一次主键读,collect-data/similar-asin/appearance-patent 三个只用
task.getId() 的显式豁免。半行进 saveTaskCache 会写出坏缓存,比多读一次列难查得多。
markInterrupted 改走整实体读(要 errorMessage 并同步模块缓存/快照)。
- 权限菜单(P1-B4):loadMenus 加 (companyId,menuType) 短 TTL(30s) 快照缓存,
五处目录写路径 create/update/delete/reorder/copyTreeFromTemplate 全部写时失效;
只缓存目录本体、不缓存用户授权行——撤权必须下一请求就生效。
AC-21(审计 §5/PERF §6)
- RequestTraceFilter 把已解析却只进日志参数的 requestId 写入 MDC(缺失写 "-"),
finally 里 MDC.clear()(tomcat 线程复用,不清就把上一条的 id 带给下一条日志);
logback-spring.xml 的两条 pattern 默认值 + application.yml 显式设的 file/console
两条同批改带 [%X{requestId}]——本文件那两条会盖掉默认值,漏一处线上照样看不见。
- AppearancePatentDeliverySupport.requestRecheckForMissingRows 的补检轮 WARN 按任务限流:
5 分钟窗口内首条 WARN(带 suppressedInLastWindow 汇总),其余降 DEBUG。刻意不吃
recheckRounds/countRecheckRound 那对轮次计数——那是 scheduleFallbackRecheck 的补检预算,
从日志路径再计一次会让"限流"吃掉业务预算、任务更早被判补检耗尽。
"补检排不上队"那条不受限流(要人处置的信号不许压)。
契约激活与判据变更
- PendingPhase5ReadPathTest 5 例、PendingPhase5LogVolumeAndMdcTest 3 例全部去 @Disabled 转绿;
后者预置的 logback 路径层级写错(mainSourcesRoot() 已是 src/main/java),激活时修正,
并补一条 application.yml 的 pattern 判据(只增不减)。
- 新增 AppearancePatentRecheckWarnThrottleTest 3 例:钉实跑读数(6 轮只留 1 条 WARN + 5 条
DEBUG、按任务隔离、排不上队仍出声),形状尺子之外的行为证据。
- TaskCenterQueryMapperSqlTest +2 例(锚点窄投影、游标收窄两分支)、
TaskCenterQueryServiceTest +3 例(默认窗口、第一页不付锚点钱、页码越界返回空页)。
- 三处既有判据按新契约反转,一支没注释掉:selectTaskPage 的 `LIMIT ? OFFSET ?`→游标、
分页参数绑定数 2→1/16→18/8→7;tasks() 三处 isNull()→notNull()(默认窗口生效本身成为断言)。
- 棘轮登记:SQL 分层语句总数 143→144(新语句点名),MigratedSqlEquivalenceTest
XML_SELECT_TOTAL 99→100、LEDGER_ROWS 85→84、LEDGER_SELECTS 60→59——
selectTaskPage 那一行整条摘出基准账本并点名进 NOT_MIGRATED,因为基准是"搬迁前的注解原文",
改写它等于让等价性测试替新 SQL 背书。
- application.yml 走 hash-object+update-index 只提交本轮 pattern 那一格(4/2),
另一路会话在飞的 client-task-pull 注释格原样留在工作树未提交。
读数:后端 mvn -o test 5,021 例/0 Failures/0 Errors/19 skipped(6:21 min,
较 Phase 4 的 5,013 净增 8 例=激活 8 例预置后新增 8 例判据);fat jar 实起,落盘行带出
`[main] INFO [] c.nanri.aiimage.AiImageApplication - Starting...` 证明 MDC 位真在渲染;
本机无 MySQL ⇒ Hikari 反复 Starting、Tomcat 未监听,请求级 requestId 关联与现网四样本顺延 Phase 6。
|
2026-10-29 16:32:46 +08:00 |
|
huangzd1997
|
0586df2df0
|
feat(phase-4): AC-16/17/18 前端登录态与分片上传、后管包体与竞态门
AC-16(S1-F1/S1-F2)
- frontend-vue ensureAuth:清态前先判 isAuthError——弱网/超时/5xx 不再把人踢回登录页;
http.ts 的 onResponseRejected 给错误打鉴权标记(HTTP 401 与业务 401/4011 都算),
纯网络错误保留底层文案供调用方区分"断网"与"掉登录";clearLocalSession 导出复用。
- admin 全局错误兜底:main.ts 装 app.config.errorHandler(首屏就崩也接得住),
window error / unhandledrejection 由 App.vue setup 调 useGlobalErrorReporting() 接线,
卸载出口在 onBeforeUnmount 摘监听与提示定时器(后管的 timer-cleanup-pairing 尺子要求
"注册点所在文件找得回反注册 + 卸载钩子",故接线必须在组件作用域,不在 main.ts)。
上报体只带 kind/message/stack/route/ts 并过脱敏(Bearer、JWT 三段式、query 里疑似
token/key/secret 的取值一律打码),凭据零容忍;服务端新增
/api/admin/client-errors(requireAdmin,字段截断 2000 后 WARN 落日志,不落库)。
AC-17(S1-F3)
- 后端新增分片通道 ChunkedUploadService(init/part/status/complete/abort):8MB/片、
同片重复上传幂等覆盖、流式拼装复算 sha256、超限与缺片直接拒绝、24h 过期回收;
FileUploadController 暴露 /api/files/chunk/**,LocalFileStorageService 加
saveTempFileFromFile(同一套扩展名黑名单与 fileKey 索引);三键显式写进 application.yml
(不进"只在代码默认值里"的名单)。
- 工作台安装包 93MB:WorkbenchClientPackageService 走同一分片通道转存 client 桶
(objectKey 写进会话 purpose,拼装时逐字匹配,防借分片接口覆盖已发布包),
confirm 失败带 cleanupUnconfirmedObject 补偿清理未登记对象;后管 ≤64MB 仍直传预签名 PUT。
- 用户端 upload.ts:大文件分片 + 逐片重试 + 进度回调,超时按体积给(不再固定 120s);
断点探测失败不再静默按"全缺"重传(catch-silence 棘轮因此一格没涨,blocks 300→301 已记名)。
AC-18(P1-F1/P1-F2/P1-F4/S1-F4)
- 后管 manualChunks 摘掉 element-plus(按需引入已在 src/plugins/element.ts 生效):
实测构建产物已无 element-plus 独立 chunk,index.html 只 modulepreload vue 块。
- UsersPage/DeviceLogsPage 接 createLatestRequestGate,旧响应不再覆盖新页;
用户端新增 useServerTablePaging(只驻留当前页 + 自带竞态门 + 失败给原因),
挂载用例 3 例钉住"翻页重取/旧响应作废/失败可见"。
- DeliveryVideoWorkspace 两处轮询接 document.visibilityState,隐藏标签页暂停。
激活 Phase 0 预置契约 7 例(用户端 5 + 后管 5,共 12 例;其中 AC-16 后管两支按"接线在组件作用域"
的口径改写并把判据加强到反注册配对 + 根组件接线,见蓝图 §5)。
门禁读数:后端 mvn -o test-compile rc=0,CatchSilenceRatchetTest 9 例绿(total 1034→1045、
notRethrow 585→591、logOnly 182→188 逐处记名,EMPTY 未涨)、ChunkedUploadServiceTest 8 例、
WorkbenchClientPackageServiceTest 21 例、ClientErrorReportControllerTest 4 例;后管 1848 例 +
mount 33 例 + vue-tsc + build 全绿;用户端 955 例 + mount 30 例 + vue-tsc + build 全绿。
真机:OssWorkbenchClientLiveVerificationTest 以线上 MinIO 实测 PUT→stat→sha256→presign→删除
全链 1 例绿(凭据只走环境变量,不落任何文件)。
⚠ 按 pathspec 只圈本轮文件:application.yml 用索引手术只提交分片三键那一格,他人
「PENDING 不再按 2 小时判死」的 StaleTaskRepairService/ClientTaskPullSpi/application.yml
注释件与 useLiveTaskBoard/BrandAppearancePatentTab/task-delete-target 四件在飞改动
原样留在工作树未提交。
|
2026-10-29 13:47:21 +08:00 |
|
huangzd1997
|
62a1b50067
|
feat(phase-3): AC-9~12 后端任务引擎稳定性(队列隔离/心跳降级/清理瘦投影/终态与超时)
- AC-9(S1-B2/B3):视频/图像任务改走独立 videoQueueExecutor(aiimage.task-queue.video-max-concurrent,
默认 6),不再与结果文件组装共用 12 格 taskQueueExecutor;TaskQueueGate 增 queue 标签区分指标;
scheduled worker 本地派发被拒改回队(requeue),不再压回 16 线程调度池内联组装。
- AC-10(S1-B4):CollectDataService.updateProgress 去掉任务锁,改无条件短事务 + updated_at 乐观 CAS,
只写 result_json/updated_at 两列;TaskHeartbeatService 对 SPI 进度写异常降级,
TaskHeartbeatVo 新增 progressDegraded/warning,alive 仍为 true。
- AC-11(S1-B5/B6):ModuleHistoryCleanupService 批查与四路指针查询全部瘦投影;
application.yml 增 server.shutdown=graceful 与 spring.lifecycle.timeout-per-shutdown-phase=30s;
虚拟线程池 destroy 改为 await 在途任务(上限 aiimage.task-queue.shutdown-await-seconds)。
- AC-12(S1-B1/B7/B8/B9):PENDING 僵尸重试计数可到 MAX 并就地翻 FAILED 进 exhaustedJobs;
修正 selectAdminTaskDetail 的双转义(>= -> >=)并按真实 SQL 修正迁移基准账本;
MyBatis default-statement-timeout=60s(AIIMAGE_DB_DEFAULT_STATEMENT_TIMEOUT_SECONDS);
店铺数据两处删除收进 @Transactional,对象回收沿用 afterCommit 注册。
- 契约激活:PendingPhase3*Test 14 例全部去 @Disabled;同步改写被新契约反转的既有判据
(CollectDataProgressThrottleTest 锁/updateById 口径、OwnerRouting 的内联分支改显式关闭派发形态、
FaultInjection 指标按新 queue 标签查找)与三处棘轮(catch total 1031->1034、
notRethrow 582->585、超管调用点 17->18,均逐条记名)。
|
2026-10-28 21:05:33 +08:00 |
|
huangzd1997
|
c4fc9784e8
|
feat(collect-data): 结果 Excel 追加「被过滤明细」sheet,品牌检测失败原因可见
task 32573 回传 600 行只留 1 行,被砍掉的 599 行在系统里只剩四个计数,
谁都答不出「是哪些 ASIN、死在哪一道」。四类被过滤行现在于提交时当场
逐行落库(V179 biz_collectdata_filtered_row),结果 Excel 追加第 3 个
sheet 供逐行对账。不在装配期回读 chunk 重判——去重库与无效品牌库读的
都是当前态,任务窗口期的写入会让判定漂移(错标/漏标/分类串台),
依据逐条写在 V179 头注释里。
同批:brandQueryFailedCount 与原因进历史 VO 和任务卡片;损耗通知不再对
「未配置代理」的用户承诺稍后重跑——补测队列两轮 21/21、28/28 全败、净增
0 行,那句是谎。
台账:XML_STATEMENT_TOTAL 141→143(新 mapper 两条写侧语句);静默 catch
棘轮 total 1028→1031、不重抛 579→582、只 log 181→182(三枚审计件容错,
逐处记名于 CatchSilenceRatchetTest 上方注释)。
|
2026-10-28 19:31:50 +08:00 |
|
huangzd1997
|
0e2af88184
|
feat(phase-1): AC-7 数据读取按归属收口、AC-8 匿名写端点要凭据
清空全部历史(ImageHistoryController/Service)不再接受请求参数里的
user_id 当归属:改走 DataReadScope.readScope(...).userIdsOr(),scope 为空
集时 service 直接 log.warn + return 0,绝不退化成"不筛=全库"。每日档下载
(AdminShopDataCrawlTasksController/ShopDataCrawlAdminTasksService)同样按
可见店铺 key 校验,越权回 BusinessException(403) 而非静默返回别人的文件。
AdminApiGuardFilter 新增 CREDENTIALED_WRITE_PATHS:/api/files/upload 与
/api/tasks/{id}/interrupted 这两个此前带 X-Internal-Token 即可匿名的写端点
改为解析不出身份即 401——静态共享密钥能证明走了内部通道,证明不了是谁。
该判定不吃 user-tool-guard-enabled 总闸,纯令牌存量客户端行为不变。
激活 Phase 0 预置的 3 支 pending 契约(AnonymousWriteGuard / HistoryClearScope /
DailyFileOwnership,去 @Disabled),另补 ImageHistoryServiceTest 迁移 + 2 例、
ShopDataCrawlAdminTasksDailyFileOwnershipTest 6 例行为判据。目标 127 例 0 失败。
他人的 collectdata in-flight 改动(CollectDataService/CollectDataHistoryItemVo/
BrandCollectDataTab/collect-data.ts 等)未卷入本提交。
|
2026-10-28 17:03:24 +08:00 |
|
huangzd1997
|
b3d90d2161
|
fix(collect-data): 进度节流不再借道 updated_at 计时,终态用 summaries 校正
心跳层的 updated_at 检查点在本模块 SPI 之前就把该字段刷成 now,而节流窗口
又拿它当锚点——每条心跳都被自己刚写下去的时间戳合并掉。现网 task 32573:
7 个关键词全部跑完、61 个分片全部回传,processedRows 恒 0,用户端卡片于是
写着「关键词缺口:任务提前结束于 0/7,还有 7 个关键词未采集」,把已完成的任务
报成漏采。节流锚点改为服务内按 taskId 键控的上一次进度落库时刻,只在 UPDATE
成功后推进、任务离 RUNNING 时回收;不塞进 result_json,否则那份 JSON 含墙上
时钟就永久不可复现(快照测试 submit_result_snapshot_is_reproducible 钉的就是它)。
客户端 post_result 不带 current/total,旁路心跳一旦整轮不落地就没有终态进度可用。
summaries 与 processed_items 在客户端成对推进(search_task.py:660-661),条数即
真实已处理关键词数,据此在收尾时校正 processedRows:只抬不砍、不越过 totalRows,
task 31253 那种「8 行只跑 2 个关键词」必须继续显示 2/8。
同一张卡片上 invalidFilteredCount 一会儿叫「不符合 ASIN 过滤」一会儿叫「无效品牌」,
而它是品牌黑名单命中的行数,与用户的 ASIN 筛选条件无关,统一为「无效品牌过滤」。
6 条旧节流用例靠手工摆 updated_at 让窗口到期,锚点一换必然失效,改为
expireProgressWindow(service, task)。它们在 setUp 里把节流设成 0,从未覆盖过
生产默认 15000——这也是这个 bug 能藏到现网的原因之一。
|
2026-10-28 15:29:06 +08:00 |
|
huangzd1997
|
632efa6a8e
|
test(phase-0): v1.1 验收契约预置(AC-7~12/16~19)与两处棘轮台账登记
后端 9 支 @Disabled 契约只引用现存签名(mvn -o test-compile rc=0),逐条
钉住审计 ✅ 缺口:清空全表删、每日档按 id 越权、出厂默认下匿名可写的
interrupted/upload、12 格共享执行器与拒绝即内联、心跳抢锁变 40902、
批查整实体与无优雅停机、PENDING 被 Math.min(4) 钉死永不终态、
视频详情 SQL 双转义、无 statement timeout、删除多写无事务、
深 OFFSET/ORDER BY RAND/心跳整行/菜单每请求重算、补检 WARN 风暴与无 MDC。
两前端 3 支用 { skip } 预置 AC-16/17/18(网络错误登出、全局兜底与脱敏
上报、单次 PUT 无分片、element-plus 回首屏、列表无竞态门)。
台账两处按官方口径重钉,非放宽:source-pin-ledger 用仓内
UPDATE_SOURCE_PIN_BASELINE=1 生成(含他人 3 支零钉子件记账);
SourceScanTest 点名台账 10→22 名/8→16 支,逐个出处写在注释里。
|
2026-10-28 14:37:17 +08:00 |
|
huangzd1997
|
46774fffed
|
perf(similar-asin): 缺图逐格告警降为 DEBUG,避免单任务万条 WARN 阻塞日志队列
|
2026-10-28 12:09:09 +08:00 |
|
huangzd1997
|
437d75db52
|
docs(gate): 重钉静默 catch 棘轮 total 1026→1028/不重抛 577→579(B49 非 ★ 收尾第二批)
两处新增都是 log.warn+计数+continue 的逐批/逐条目容错(QueryAsinService.flushInsert、
DedupeRunService.packageFolderDedupeResultsAsZip),逐处记名写在常量上方;
rethrow 393/logOnly 181/empty 56 三格未动。实测由 SilentCatchScanner 在同一棵树跑出,
不是估的。
|
2026-10-27 16:10:48 +08:00 |
|
huangzd1997
|
88d737a7f0
|
fix(tasks): 批量入库与 folder 去重逐条容错,发布文案不说谎
B49/B50 收尾三处当时被标"非 ★"跳过的同类缺陷。判据同一条:一颗坏项不许让
其余项一起不干活,也不许把"根本没拿到数据"说成"数据正常"。
1) shopkey/service/QueryAsinService.java(B49 #6,flushInsert:843-844)
复验为真:整张表共用一条读行循环,某一批 insertBatch 抛出即冒到
runImportTask 的 catch,后面的批次一个都跑不到、内存里的余行一起丢。
审计里"报数虚高"那条已被复验否掉(原状下坏批计数确实不外发),本笔不按
那个理由改;但逐批容错之后坏批计数会随后续进度外发,所以必须按"没落库"
回退:insertedCount 扣回、skippedCount 记上、坏批点名进日志与 errorMessage。
收尾新增 failIfBatchesLost():有坏批就让导入落"失败"态并报出缺口行数——
admin 侧只在 failed 分支显示 errorMessage(QueryAsinPage.vue:260-271),
留在 success 上等于把没入库的行说成导入完成。重传整表是安全的:已入库行
会被 rowSignature 认成重复跳过。
processImportFile 由 private 收到包级作测试接缝(形状同 tryAcquireFileSlot)。
该 importer 此前零夹具,新建 3 例(真 xlsx + 真 ExcelStreamReader)。
2) dedupe/service/DedupeRunService.java(B49 #4 的 folder 分支)
只在 folder 模式成立:逐文件清洗结果只落本地临时目录,唯一交付物是那个
ZIP。两颗坏项会带走整批——① 收尾的 aborted 判定排在打包之前,一个 worker
线程级异常就让打包整步跳过;② 打包循环里一个条目读不到/条目名相撞就整包
作废。现改为 folder 分支先打包再判 aborted,打包逐条目容错并点名跳过;
一个都没写进去时拒绝交空包(那才是"根本没拿到数据")。aborted 仍照旧把
终态落 FAILED,不拿部分交付冒充全量成功;缺口写在交付条目与日志上,
不写 file_task.error_message。非 folder 分支一个字节没动。
DedupeArchiveEntry 与打包方法收到包级作测试接缝。新建 3 例,含一支用
同线程执行器让第 2 个 worker 当场线程级异常的真链路用例。
3) publish/service/PublishTaskService.java(B49 #7/B50 #4,607-609)
按上一轮复验结论只改文案,不动状态语义:逐文件 status/VO 本来就交付了。
会说谎的地方是 publishResultFile(..., preserveFailure=false) 把结果行
error_message 洗成 null,"N 个文件没进这张表"在文案层等于全部成功。
缺口写在 biz_file_result.error_message(本仓既有"部分交付"载体:
ShopMatch:825/PriceTrack:905/ProductRisk:827 都按它判 partialFailure;
publish 侧只有 toResultVo:1216 读它,纯展示,fileReady 由 success+url 推导
不受影响)。SUCCESS 的 file_task.error_message 继续留空并就地写明理由:
TaskRetryEligibility.forceMajeureCategory 与 SimilarAsinStaleReopenSupport
.isStaleFailure 都按那段文字做字面量分类,写进去会喂错 stale/重开/续跑判据。
文案两个方向都不说谎:说清"只含成功处理的 X 个、另有 N 个未纳入(点名)",
并明写"不是表格格式问题、可只重新提交这些文件",不把可恢复失败推给表格。
新建 2 例(含反向钉:全成功时不得凭空造缺口文案)。
实测:mvn -o test-compile rc=0;新增 8 例改前 6 红(QueryAsin 2 红=原始
RuntimeException 直接冒出、批次被提前收走;Dedupe 3 红="Wanted but not
invoked: fileResultMapper.insert"+整包作废;Publish 1 红=errorMessage 恒
null),改后 8/8 绿;相邻既有 9 支类 97 例全绿(PublishTaskServiceTest 33、
DedupeRunProgressResumeTest 14、PublishFileLevelStatusTest 8、
PublishResultFileJobHandlerTest 8、DedupeRunServiceCleanRulesTest 9、
DedupeRunServiceFileSlotTest 2、QueryAsinResolveServiceTest 13 等)。
CatchSilenceRatchetTest 按预期判红(本笔新增 2 处 catch,均在被禁改的共享台账
里,合并时由主线程统一重钉):实测 total=1028(基线 1026)、
notRethrow(incl logOnly)=579(基线 577)、logOnly=181(不变)、
rethrow=393(不变)、empty=56(不变)。
|
2026-10-27 16:03:37 +08:00 |
|
huangzd1997
|
e08b5369d7
|
fix(appearance-patent): 上游余额欠费即判任务终态,停止为空转的行烧出口
B46 那一笔(f3445c21)只做到「行级一次就停、归因写对」:撞上上游 403
insufficient_user_quota 后不再跑满 3 次重试,任务本身仍停在 RUNNING/WAIT_LLM
等 Python 继续回传分片。采集端(maixiang ap_worker)只看 /task/heartbeat 的
alive,读不到终态就继续为剩下的行按次付费买出口 IP——而那些行永远进不了 LLM,
钱白花。这一笔补上 Java 侧缺的那半步:欠费即把任务落终态 FAILED,心跳随即
回 alive=false,worker 下一跳收手。
- 判据只认 TaskRetryEligibility 的 BALANCE 类(欠费 + 密钥失效),复用现成分类器
而非再抄一份字面量表;连接不可达 / 5xx / 429 / 抓取缺口一律照旧继续或按已有
结果交付,判宽了就是拿用户整单给一次网络抖动陪葬。
- 停手点放在批管线的作业执行线程(LLM 批次就在这里跑),不在心跳线程;识别到
欠费即停止后续批次,并回调宿主落终态(FileTaskMapper 与收尾口径在宿主手里)。
- 写终态前重读库里现状态:已 SUCCESS/COMPLETED/CANCELLED/FAILED 的一律不动,
因此可重入,多入口命中也只写一次。
- 终态文案 = 生产者原文(客户端欠费归因 + 上游 lastErr)+ 可执行动作,原文一个
字都不重写;不出现「请稍后重试」,不把欠费说成临时抖动。
|
2026-10-27 16:03:35 +08:00 |
|
huangzd1997
|
07f973d9df
|
fix(tasks): 单片/单文件读不到跳过它,缺数据不许冒充已收齐
三处"一颗坏项拖垮整批"与一处假绿本体:
- BrandTaskStorageService:一片载荷读不到就整份聚合丢掉,而三个调用方
(finalizeTask/abort/tryRecoverCompletedRunningTask)都没有就地 try;改逐片跳过长
WARN,并把 receivedChunkCount/completed 的判据从 chunks.size()(DB 行数)改成
真正读到的片数——拿行数比 chunkTotal 正是"118/119 行没数据仍判已完成"的形状;
解析缓存与汇总状态两处同型"整批抛出"一并改成逐条跳过。
- AppearancePatentLlmBatchPipeline:候选收集跑在批循环之前,一抛就走不到循环体内
那道 finally releaseRowInspection,本轮已申领的行要挂满处理中 TTL(15 分钟),
且 terminalizeRoundExhaustedRows 跟着不执行(轮次到顶的行因此永不判死);改逐片容错。
- TransientPayloadStorageService:跨实例判据枚成 public 常量并提供 cause 链走法。
resolvePayload 会把真实原因 rewrap 成「<errorMessage>: <pointer>」,消费端只摸顶层
消息时「only exists on instance=」「does not exist」两处判定恒 false——跨实例留痕
从未下过笔、"跳过该分片"分支是死代码。消费端(ChunkPayloadSupport/
HistoryAssembler/ResultRowReader)全部改走共享常量+cause 链。
- SimilarAsinHistoryAssemblerTest 的假绿桩删除:改前它桩的是生产者早已不再产出的
英文旧串,断言照旧绿;现在跑真实 resolvePayload 取异常(只 mock RustFS 边界),
改前 15 跑 1 红、改后 15/15 绿。
- SimilarAsinStaleReopenSupport:客户端卡死尾句枚成常量、整句文案唯一出口,生产者
与重开白名单共用;此前只是碰巧被前缀命中,生产者一改前缀就会"永不重开"。
|
2026-10-27 15:09:41 +08:00 |
|
huangzd1997
|
f3445c21c8
|
fix(llm): 余额耗尽按「余额欠费」归因且不再重试进冷却
- 新增 LlmBalanceGuard:识别 insufficient_user_quota 等上游余额/额度字样
- SimilarAsin/AppearancePatent 客户端命中后一次就停,不落进不可达/冷却分支
- 单测:识别口径 3 例 + 两客户端各 1 例(只发 1 次、文案含余额欠费)
|
2026-10-27 10:04:03 +08:00 |
|
huangzd1997
|
e0abd33ed4
|
feat(keyword-share): 新增客户端批量同步端点,保住真实使用人/时间与四级类目
工作台「关键词使用记录」与后台管理对不上,根因不是链路不通(后台现存词 426
与桌面 426 逐字相等),而是「谁、何时」两个字段在推拉两个方向上各丢一次:
- 推:markInternal 把 user_name/used_time 硬写成 token 账号与服务器此刻,
历史使用记录推上去一律变成「同步账号 + 同步那一刻」;
- 拉:selectRows/selectRandomUnused 投影 u.user_name,而 VO 属性叫 usedUser,
驼峰映射只会认成不存在的 userName ⇒ GET /keywords 的 usedUser 恒为 null;
- 词本体:add() 从不写四级类目,且 keyword_share 侧只有 INSERT IGNORE、
没有任何 UPSERT,重复词静默 no-op。
处置:
- 修 used_user 别名(两处投影);
- 新增 KeywordShareMapper#upsertBatchFromSync,类目/chinese 按
COALESCE(NULLIF(VALUES(x),''),x) 非空才覆盖,更新分支不碰 user_name/add_time
(那是历史归属,不由同步改写);
- 新增 POST /api/keyword-share/sync/import:每行携带 usedUser/usedTime,
绕开 markInternal 复用现成 KeywordUsageMapper#upsertBatch(本就是 =VALUES(...)),
不改表结构、不加 Flyway 迁移;
- used 取三态:null=不改动使用状态。按 false 处理会让「只同步词库」的一次
调用把后台已有使用记录整批删掉;
- 共享 API 账号下的归属失真用服务端名单收口:命中 aiimage.keyword-share-sync
.used-users 才按姓名落库且落名单里那份写法(全/半角括号归一,否则同一人被
后管拆成两个使用者);strict 默认 false,名单未填时放行并计 usedUserUnknown,
避免首次上线把全部记录静默改写成账号名。
顺带:CatchSilenceRatchetTest 要求新增 catch 必须同批净减,而宽松时间解析需要
try/catch ⇒ 把 ShopDataCrawlAdminTasksService 已有的同形状实现抽成
common/support/LooseLocalDateTimeParser 两处共用,净新增 catch 为 0,未放宽基线。
尺子:XML_STATEMENT_TOTAL 140→141,NOT_MIGRATED 点名新 insert(非 select,
XML_SELECT_TOTAL 不动)。
验证:mvn -o test-compile rc=0;后端整面 mvn -o test 4892 passed/0 failed/18 skipped。
本机无 MySQL,端到端未跑,真链路待客户端联调(ops BACKLOG B44)。
|
2026-10-26 19:17:26 +08:00 |
|
huangzd1997
|
b8abdc1eec
|
test(guard): 超管出口调用点登记 17 处
UserSecretUsageService 新增业务调用后阈值未同步,全量套件此前为红;
登记为 16 个业务调用方 + DataReadScope 包装体。
|
2026-10-26 15:13:49 +08:00 |
|
huangzd1997
|
915a573439
|
fix(auth): 登录不再推进会话世代,支持同账号多端同时在线
产品定档同账号可多端同时在线:登录 +1 会让每次登录都吊销其他端 token。
- 移除登录路径的 session_epoch 自增;登出仍原子 +1 吊销全部旧令牌
- 改密补 session_epoch +1,避免旧 token 继续用到 7 天 TTL
- 单设备开关仍可按 machine 顶下线(现网默认关闭)
|
2026-10-26 15:13:43 +08:00 |
|
huangzd1997
|
2163c6b585
|
fix(workbench-client): 上传强校验纯数字版本并归一化存量 v 前缀
客户端按 x.y.z 逐段比较,v1.0.112 会被严格解析器判非法,检查更新永远回「已是最新」。
- presign/confirm 只接受 ^\d+\.\d+\.\d+$,带 v 前缀、两段或后缀直接拒绝
- V178 剥离存量 v/V 前缀,冲突时中止迁移
- 后管上传表单同步校验并提示格式
|
2026-10-26 15:13:36 +08:00 |
|
huangzd1997
|
a3f765c458
|
feat(retry): B24 冷却扩围到「不回包/解密失败成片」两形
连接层冷却只认「会话没建立」,而现网 B26 的成片失败是连接已建立的两种形状:
对端在给出响应前收连接、HTTP 200 里行级结论带解密失败。给冷却表加第二条
证据道(同 host 分格、同窗长、同阈值 2),品牌客户端把两形都记进这条道:
不回包按异常即时记证;解密形状先批内开票,批终态只在零可结算结论时按票
记证——一枚干净结论就整票作废,脏品牌名的行级差异证据面保持不变。
冷却期快失败沿用既有整批分支,归因文案单独一条以便交付侧与取证区分。
|
2026-10-26 14:01:26 +08:00 |
|
huangzd1997
|
1d4b4decf3
|
fix(appearance-patent): 结论合成识别否定措辞与夹空白
标题/外观两列都写「无侵权」时,结论仍可能因模型回包含「不侵权」「未发现明显…侵权风险」或「无侵权」中间夹空白/零宽字符而被 contains("侵权") 反判。先剔除空白与零宽字符,再按否定措辞优先判定,并补端到端回归用例。
|
2026-10-26 13:30:10 +08:00 |
|
huangzd1997
|
b5e4c45add
|
fix(cr2-backend): 工作台包凭据拒绝与并发幂等、会话/任务终态收口
- CR-02/05/21:confirm 前解包拒绝凭据文件、清理被拒对象;V176 版本唯一键;并发 confirm 幂等
- CR-07/08/09/10:登录世代回读再签、心跳只停续期、终态任务不被失败回调改写、告警先推送再推进基线
- CR-11:品牌 Gating 写操作限平台超管
- CR-18:关键词分页钳制 + V177 四表 DDL
- CR-20:中断恢复标志并上抛
- catch 棘轮按 9 处新增逐条点名更新基线
定向 154 例全绿(0 fail / 0 skip);V174/V175 未回改。
|
2026-10-26 11:33:25 +08:00 |
|
huangzd1997
|
9b2469ec33
|
feat(keywordusage): 新增关键词使用记录并归位店铺管理菜单
V175 把品牌Gating库从数据管理组迁到店铺管理组(排序85),并在其后新增
关键词使用记录独立菜单(排序86)。后端新增只读查询模块,按公司范围读取
keyword_usage/keyword_add_log/keyword_delete_log,前端提供使用/删除记录、
统计卡与筛选。
|
2026-10-25 22:28:17 +08:00 |
|
huangzd1997
|
23c1402a75
|
feat(brandgating): 品牌Gating库恢复独立菜单
V164 建菜单、V166 回滚后,按 2026-10-25 决定用 V174 恢复独立菜单,
不再作为「店铺数据重复检查」的第三页签;后端权限键同步改为 admin_brand_gating。
|
2026-10-25 21:53:51 +08:00 |
|
huangzd1997
|
e265c188f7
|
fix(appearance-patent): 代理缺失回填与任务前置提示
- 本地代理回填兼容旧版全局 proxy_url,补报成功后重拉服务端快照
- 创建任务前检查服务端代理,缺失时弹窗拦截并引导配置
- 商标查询失败的真实原因写入结果原因列,不再只显示查询失败
|
2026-10-25 21:28:26 +08:00 |
|
huangzd1997
|
fcb6b5f545
|
fix(release): AP 部分缺口出表、平台自费计次与工作台预签名 TTL
- AP 抓取缺行不再一律判死,按覆盖率判定;≥95% 出表成功并保留缺口提示
- 无归属代理提取记 0 号平台自费桶,后台可见并推管理员日告警
- 工作台安装包预签名从 180s 提到可配置 3600s,避免慢网上传在途过期
|
2026-10-25 14:51:57 +08:00 |
|
huangzd1997
|
583dad92ec
|
fix(task): 终态任务保留失败兜底出部分结果
B28 的终态守卫把父任务已失败的结果作业直接标终态;terminal_callback_at 一打,
stuck 扫描就再也捞不到它,fallbackAssembleOnFailure 不再执行,失败任务永远没有结果文件。
改为判死但保留兜底回调,由归属实例收口;已终态任务的补检直接放行,按已有分片出部分结果。
|
2026-10-25 14:28:57 +08:00 |
|
huangzd1997
|
5928072c6a
|
fix(backlog): 品牌出口统一、join 截止与进行中任务补回
- BrandLabel 出口守卫扩到全仓 entity.setBrand,撞款/去重/品牌库统一清洗
- FutureDeadline 替换五处无界 join,回传口锁等待降为 1s
- 采集/跟价/外观专利 history 补回窗口外进行中与续跑任务
- 工作台客户端版本强制单调;catch 棘轮按新增出口逐处记名
|
2026-10-25 13:27:46 +08:00 |
|
huangzd1997
|
c2f429f112
|
fix(cr-01/02/03/08/09/10/11/13): 会话世代、损耗共享基线、任务活性与工作台包
- CR-01:users.session_epoch(V172)+ JWT sessionEpoch;登录/登出原子推进,
check_login/requireUser 先比世代再做设备比对;登出不再依赖 machine CAS
- CR-02/09:cost-guard 基线落 Redis(CostGuardBaselineStore),按 elapsed 归一化;
非持锁实例刷新共享密钥快照;pause() 返回写成功,失败不通知且不推进基线
- CR-03:stuck_requeue_count(V173,上限 20)与 retry_count 分账;终态父任务心跳
停止 touchRunning 并 markFailedPermanent;良性停续期 markLost=false
- CR-08:工作台包对象 key 加 UUID、0 字节拒绝、同 objectKey 幂等、同版本重复拒绝、
前端 confirm 超时抬到 10 分钟
- CR-10:Excel onSheetTotal 统一在 onHeader 之后回调(xlsx/xls)
- CR-13/11:迁移头/文件名一致断言(V170 唯一豁免);V167 前置由 CompanyService 同事务
复制菜单树,已应用迁移未回改
|
2026-10-25 03:40:15 +08:00 |
|
huangzd1997
|
112c61afa8
|
feat(brandgating): 品牌Gating库并入店铺数据重复检查页
- 「店铺数据重复检查」新增「品牌Gating库」页签,承接原独立 Gating 网页后台的列表/筛选/统计、单条新增、批量导入、启停与删除。
- 复用既有 /api/admin/brand-gating 模块;接口权限键跟随宿主页 admin_shop_data_duplicate_check(V164 菜单已由 V166 删除)。
- 前端新增 brand-gating 模型/API 适配、BrandGatingPanel 与纯逻辑单测。
|
2026-10-25 02:09:07 +08:00 |
|
huangzd1997
|
987b967237
|
fix(b5): WIPO 查询词先剥 Brand: 标签前缀
BrandCheckClient.postCheck 此前只 trim(),带前缀的品牌词原样打到 16890,
现网 19,247 次 undefined field Brand 即由此而来。改走 BrandLabel.strip,
带前缀不再成为查询键;补一条无代理短路用例钉住。
|
2026-10-25 00:31:27 +08:00 |
|
huangzd1997
|
8881f63839
|
fix(b28): 终态任务的结果作业不再被领取、锁停止续期
现网 FAILED 任务 32217/32220/32226/32229 的合批 job 仍在逐行申领,
在持锁续到 86 分钟。两条 claim 入口先读父任务状态:终态则拉满重试并打
终态回调,不再翻转 RUNNING;执行中由心跳复查,终态后停止看门狗续期
(不释放锁,仍由带 token 的 close 收尾)。父任务状态查询进 mapper XML,
SQL 分层账本 128→129、等价账本 88→89 同步登记。
|
2026-10-25 00:22:09 +08:00 |
|
huangzd1997
|
bb4cf3cdd2
|
refactor(phase-7): Excel 栈收口到 POI 并移除 EasyExcel
xlsx 改走 OPCPackage/XSSFReader 事件模型(流式,不整表入内存),
xls 走 HSSF;对外 readFirstSheet/readAllSheets 契约与行回调不变。
解析失败统一收成 IOException,行处理异常按 BusinessException/RuntimeException 原样透传。
pom 删 EasyExcel 4.0.3,只保留 poi-ooxml 5.4.1,消除双 POI 版本劈叉。
|
2026-10-24 22:31:51 +08:00 |
|
huangzd1997
|
a7682bffef
|
fix(鉴权): 单设备开关关闭时登录清除登出吊销标记
开关关掉后登录不再写 users.machine,而登出吊销借 machine 写 revoked@ 标记,
没人覆盖就永久留存——此后每次登录都先成功、再被 assertNotRevoked 判成
401「登录已过期,请重新登录」(2026-10-24 现网 admin 被锁死即此)。
登录成功即视为新会话,遇吊销标记时清空(仍不写设备号)。
|
2026-10-24 20:01:25 +08:00 |
|
huangzd1997
|
eb46a5abc7
|
feat(notification): V171 给去重键补唯一约束,插入侧把竞态念成去重命中(B30)
用户问「后台 488 条未读是不是只进不出、消重到底生效没有」。实测结论:消重在生效
(12h 全表 `GROUP BY dedupe_key HAVING c>1` = 0 组、空键 0 行;管理员扇出走 pushOrRefresh
同键只更新文案不动 read_at),观感上的"每十几分钟一条"是扇出(1 事件 ×24 管理员=24 行)
加节拍(secret_shared 走 cost-guard.shared-scan-interval-ms=600000,实测 15:52/16:12/16:22;
任务失败那路 scan-interval-ms=300000)。未读只进不出的唯一出口是 7 天保留期物理删除。
真缺陷在约束缺失:查重是 SELECT-then-INSERT,表上只有非唯一的 idx_dedupe(V116:19),
双节点同轮撞键会各插一行——今天没踩到靠的是 job 锁(扫描 5 分钟/cost-guard 2 分钟),
不是靠约束。
- V171:`NULLIF(dedupe_key,'')` 的 STORED 投影列 + 唯一键。不给 dedupe_key 直接加唯一键
是因为空串按设计就是"不去重"(服务 javadoc + V116 的 DEFAULT ''),第二条空串会 1062
被 catch 成推送失败 ⇒ 一类通知静默消失;唯一索引允许多个 NULL,投影正好绕开。
存量重复按 MIN(id) 收口——判据与服务自身 selectByDedupeKey 的 orderByAsc(id) limit 1 同一行,
删的是永不被看见的副本。两条 DDL 各查 information_schema 再 PREPARE(repair 重跑不炸),
故意不钉 ALGORITHM=INSTANT(STORED 生成列不支持,钉了 1846 顶死迁移)。
取号 171:生产已应用到 170(今天 17:0x 只读实查 160–167、170 全在),台账
docs/migration-inventory.md 的旧快照"六支未落库"随之更正,DROP COLUMN 那一路顺延 172。
- push():DuplicateKeyException 分诊成「去重命中(竞态由唯一键兜住)」的 info,不并入
「推送落库失败」的 warn。**写成分诊、没新增 catch**——CatchSilenceRatchetTest.STRICT_TOTAL
已钉在 1004 满格,多一块就得重钉基线,那是该逐处记名说话的账,不该由一笔并发兜底花掉。
门禁:定向 46 例绿(新增迁移文本 5 例+服务 3 例,含 CatchSilenceRatchetTest 9 例、
MigrationInventoryTest 7 例);后端整量 `mvn -o test` **4794 例/0 红/0 错/18 skip/
BUILD SUCCESS**(第一遍曾被本笔新增的 catch 顶红棘轮 1004→1005,按上面口径改成分诊后转绿,
未动基线)。变异验证:唯一键改指 dedupe_key ⇒ 迁移用例判红 1 例;摘掉 DuplicateKeyException
分诊 ⇒ 服务用例判红 1 例;两处均逐字节还原(md5 对撞)。
⚠ 残留:这段 DDL 未在真 MySQL 上 dry-run(本机 127.0.0.1:3306 是另一路的 dev server 8.4.9、
无口令且可能是 A 机隧道,不拿来赌;生产实例未获批准不建隔离 schema)。发版前必须补这一次。
|
2026-10-24 18:22:14 +08:00 |
|
huangzd1997
|
dff0658b32
|
chore(migration): V168/169 纯跳号封账入 RETIRED_HOLES——归写 cost-guard V170 那一路(9c4905c9 直接取号 170,两号全历史零落盘)
|
2026-10-24 16:56:12 +08:00 |
|