huangzd1997
|
3c662389c0
|
fix(appearance-patent): 补检改吃独立预算,缺口不再以"排不上队"的名义交付半张表
现网读数(2026-10-19 近 24h 日志):交付缺口触发过补检,但从没补齐过大面积缺口——
"补检排不上队,按已有结果交付" 四例 missingRows=112/455/1471/2110,作业全部 retry_count=5。
根因是一条自我锁死:补检重排走 requeue,而 requeue 的 WHERE 带 retry_count<MAX_RETRY_COUNT,
把这条预算抛满的恰恰是"还没检完"本身(覆盖率抛、空结果抛)。越慢 ⇒ 抛得越多 ⇒ 越补不上。
改法是把两条预算拆开,且只用底座现成件(modules/task/** 是共享文件,且
TaskFileJobService 在册 929/实 928,只剩 1 行棘轮余量,加方法必判红):
- recheck-max-rounds(默认 2):补检自己的轮次上限,与行级 llm-row-max-rounds 分家。
- completeLlmFileJob:补检决定挪到 assembleResultWorkbook 之前(新增 measureDeliveryFacts,
只量行账不出表)——那一跑完就把成品传上 OSS 并挂好 resultFileUrl,那时才发现缺口,
半张表已经在用户的下载列表里了。
- requestRecheckForMissingRows:requeue 排不上队时改吃抛,不再退化成按已有结果交付;
让作业走到终态失败,由判死出口按补检预算再判一次。
- fallbackAssembleResultFile:出表前先试 scheduleFallbackRecheck,复用现成的
resetTerminalFailedForRecovery(终态失败+retry 到顶 ⇒ 清零、重回 PENDING、重派发),
补传恢复那条路一直在用它,只有交付缺口这条路没接上。轮次只在重排真接上之后才记,
否则一轮没接成的重排会自己把预算吃光。预算耗尽仍照常出表——
"起码失败了也可以下载"那条保证不变。
门禁:后端整量 mvn -o test 4549 例/0 红/0 错/16 skipped,BUILD SUCCESS;
定向 43 例(交付闸门 14+兜底出表 5+行标记 15+CatchSilence 9)全绿;
ops 面 ruff check . All checks passed、readability 棘轮 9 passed(AP 3048→3121,基线 3458)。
整量第一次跑抓到的是本笔自己的账:新增两枚 Redis 降级方法各带一处不重抛的 catch,
把 CatchSilenceRatchetTest 的"不重抛"从 562 顶到 564。没放宽那格判据,改成去掉这两处
新 catch——补检轮次直接复用既有的行级轮次计数(同 24h TTL、同降级口径),借哨兵键
__recheck__;行键恒为 id::ASIN::国家、必带 "::",撞不上。
|
2026-10-20 00:41:29 +08:00 |
|
huangzd1997
|
49eee59a13
|
fix(外观专利): 失败兜底出部分结果文件+WAIT_LLM 停放作业心跳续租(31302/31354)
线上两例死法修复,目标是「任务失败了也能下载」:
- 31354:组装作业在 WAIT_LLM 停放期执行线程已退出、Worker 执行期心跳
已取消,job 级 stuck 扫描按 updated_at 判陈旧,5 分钟阈值×5 次重试
耗尽后误判「文件生成任务运行超时」。客户端心跳经
AppearancePatentTaskHeartbeatSpi#onHeartbeat 按
dbJobTouchIntervalMillis(默认 60s,远小于 5 分钟阈值)节流续租
(touchRunningAssembleJobsIfStale,与 SimilarAsin 同口径)。
- 31302:覆盖率闸门判红重试 5 次判死后,1196 行成品零交付且不能下载。
接通 fallbackAssembleOnFailure 兜底钩子:作业判死后用已有分片出
部分结果文件(validateCompleteLlmCoverage 加 allowPartial 旁路),
写上 result.resultFileUrl 后前端下载按钮即恢复;兜底幂等(已有
结果文件短 路)、不动任务终态、与补传恢复重跑兼容。
- 棘轮尺 STRICT_TOTAL 1003→1004、NOT_RETHROW 561→562 抬格并逐处
记名(兜底自吞 catch 属接口契约要求的 fail-open 形状)。
全量 mvn -o test 4492 支 0 失败(9 skipped 为既有跳过)。
|
2026-10-18 23:41:24 +08:00 |
|
huangzd1997
|
b0829db81e
|
降本三条(10-11 现网取证):外观同请求图片去重 + 货源合规合批 + LLM token 计量落库
取证基线(库侧 biz_user_secret_usage_daily,10-01~10-11 实测 12,704 / 4,134 / 15,135 次):
外观 24h 全量 831 条请求逐条 json 解析,564 条带图共投 2,693 张、去重只剩 1,465 张
⇒ 45.6% 是同一张图在同一次请求里的副本;重试占比只有 0.24%(attempt 829/2/0),
所以省钱的口子在图片副本,不在重试。货源 4,134 次里 4,096 次集中在 10-10/10-11 两天,
类目已合批(10-02)而合规与图比仍逐行 ⇒ 合规是该模块最后一步逐行 LLM 调用。
1) 外观:每张不同的图只随请求发一份,正文附「图j=序号1、2…」对照表;每个序号仍各自
出一份 status/reason(省副本,不省判定,与 10-10「同组兄弟行也要都检测」同口径)。
归一化 URL 只当去重的键,发出去的还是行里那条原始串。应急回退:
llm-appearance-batch-size=1 即退回逐行,无需改码。
2) 货源:新键 llm-conform-batch-size=10(设 1 退回逐行)。前置条件是分类预计算存在,
否则整条不生效——避免同一行的类目被算两遍(两遍=多扣用户一次);缺编号行与整块
失败都逐行补检,并有一支 A/B 差分管住合批与逐行写回行的三字段+状态相等。
3) V157 给 biz_user_secret_usage_daily 加 prompt_tokens/completion_tokens,两个 client 收下
网关 usage。计次与 token 分两条语句:计次发生在发请求之前(含重试,请求没回来也算
一次),token 只在响应回来后有读数;网关没回 usage 就一条不写——0 会被读成"实测为 0"。
护栏记账:新 mapper 语句 addTokens 两处一起点名(SqlLayeringConventionTest 分母 97→98 +
MigratedSqlEquivalenceTest.NOT_MIGRATED);批量路径的 catch 不新增一处——把分类那一路的
"整块失败→逐行补检"抽成 batchAttempt/fallbackSingleRows 共用,静默 catch 棘轮四格一格没放宽。
顺带修掉 AppearancePatentResultRowDto 上一句已经过期的 javadoc(还写着兄弟行复用代表行结论)。
证据:后端全量 4288 例 0 红(本批 +24 例:去重 7 / token 4 / 合规合批 7 / 用量服务 6)。
变异自证 3/3 全杀:取消去重、摘掉 usage 落库、断掉合规合批,分别让对应用例判红;
两个受试文件按注入前字节还原,sha 复算一致。
|
2026-10-11 23:52:19 +08:00 |
|
huangzd1997
|
122faf7c74
|
后端(外观专利逐行送检): 撤掉组代表折叠与兄弟行借用结论,覆盖率分母改成交付行集
现网取证(主机A MinIO 上 6 份已交付 xlsx 逐格数):结果文件里 20.7%~51.3% 的行显示
「未取得检测结果」,且空的是整行三列、这些 ASIN 一个都没被检过、行号连续成块
(10-08 任务 30426:1211 行只有 96 批 960 行有结论;10-09 任务 30455 的 281 行空行
100% 属于"同父号已有一行被判")。两条成因都在判据口径上:
1) 送检只挑组代表行,兄弟行指望发起那一轮复用代表结论 —— 同父号的 2_1/2_2/2_3
各有各的 sku/标题/图片,借用等于成片行永不检测。按用户口径改为逐行申领、逐行送检,
组代表折叠与 expandRows 摊派一并删除(合批省的是调用数,代价是漏检)。
2) 覆盖率闸门的分母按「用户上传表的解析行」有没有标题/图片判该行该不该检,而数据
常在「客户端回传行」上 ⇒ 用户表不带标题列时分母恒 0、整段不判,成品半空而零告警。
判据抽成 AppearancePatentRowOutcome(JUDGED/NOT_INSPECTED/NO_DATA),表格文案、
原因 sheet 与闸门分母共用同一套;候选/工作单位计数也改用交付口径(旧的是
"四字段任一可用",只带专利维度文本的行会被读成已检测,而专利维度根本不入表)。
配套:判失败的任务不再整段跳过闸门(仍按既有口径出部分结果,但必打
「交付行账不完整」锚点并把缺口写进 task.errorMessage);出表前缺口<阈值时撤行级
标记并 requeue 补检一轮(releaseRowInspection 三参版才允许撤完成标记,两参版语义
由老用例钉死不变);llm-coverage-min-ratio 0.5→0.95(Properties 与 application.yml
两处默认值,已查两台既无 env 覆盖也无外置 yml 该键);货源面接上同口径的
「交付行账」度量日志(只数不改行为,阈值等本面实测分布)。
测试:外观专利整包 203 例、加货源共 645 例全绿。新增 AppearancePatentRowOutcomeTest(15)、
AppearancePatentDeliveryGateTest(9)、SimilarAsinDeliveryLedgerTest(3),
并在 RowMarkTimingTest 钉住"同父号子行逐行申领""兄弟行不得继承结论"。
|
2026-10-10 11:32:37 +08:00 |
|
huangzd1997
|
96f7a43004
|
后端(四面9分批次): 兜底鉴权四开关写进 yml 并加启动自述,配 7 例配置面判据
- application.yml 的 aiimage.security 块补 admin-guard-enabled / user-tool-guard-enabled /
user-tool-guard-prefixes / admin-guard-exempt-prefixes 四键,默认值与 @Value 逐键相等 ⇒
这一笔不改现网行为(此前四键在任何 yml 里 0 处,"没配置"与"配置成惰性"同形)
- AdminApiGuardFilter 加 @PostConstruct reportGuardState():三档惰性态各点名一条,ASCII 锚点
[api-guard-switch](中文签名在容器日志换编码后整条 grep 失效)
- 新判据 AdminGuardSwitchConfigTest 7 例:yml↔@Value 出厂默认逐键对撞、15/6 两条名单按构造点名
且摘一条即掉数、自述 WARN/INFO 分级、并用 MockFilterChain 证明出厂默认下匿名 collect-data
请求仍放行(现网 6h 窗口 A 机 4 条 / B 机 8 条 [ownership-anonymous] 就是这条路径)
- 同树 8 支相关类一起复跑全绿:AdminApiGuardFilter 33/ClientVersionGuardFilter 12/
ContextSlice 6/FloorConfig 10/ApiGuardAuditor 8/Breach 10/BusinessErrorHttpStatus 8
|
2026-10-09 23:46:33 +08:00 |
|
huangzd1997
|
cde6e2e72b
|
后端(四面9分批次): 版本地板自述并排 ASCII 巡检标签,锁跳过 javadoc 计数改回实测值
- ClientVersionGuardFilter 4 条中文自述旁并排 [client-version-floor]:中文签名在容器日志
换编码后整条 grep 失效,巡检只认 ASCII;判定逻辑与响应体一字未改
- ClientVersionFloorConfigTest 加第 10 例:逐行钉"带中文自述必须并排 ASCII 标签",
并含"内存里摘掉一处就掉数"的非零对照(mvn 实跑 tests=10 failures=0 errors=0)
- LockSkipWitness javadoc 的 27 处/12 文件是旧数,按本轮实扫改成 28 处/11 个文件
|
2026-10-09 23:34:00 +08:00 |
|
huangzd1997
|
15094309cf
|
后端(四面9分批次): 锁跳过留痕、状态词表收成单点、版本硬地板进 yml 并记账
- 14 处「拿不到锁就 continue」过去零日志,现统一带可聚合锚点并有留痕判据
(LockSkipWitnessTest 7 例 + LockSkipSilentExitGuardrailTest 4 例)。
- 任务状态词表:散落内联集合改由单一定义点判方向(TaskStatusVocabularyRatchetTest 7 例),
CANCELED/CANCELLED 只做归一映射,没改库值也没改对外契约。
- 版本硬地板三键(min-supported / enforce / rejectUnreported)此前在任何 yml 里 0 处=出厂即惰性;
现在入册且 enforce=false 走记账模式(ClientVersionFloorConfigTest 9 例),真挡谁留给用户拍。
- 业务码→HTTP 状态只做映射单点 + 开关(默认关,开启前逐字节等价,BusinessErrorHttpStatusTest 8 例);
直接翻面会让三个前端把业务失败读成网络挂了。
- 验收:mvn -o test 这 5 个类 35 例 0 红(用 python subprocess 起 mvn——bash 里 cmd 包一层
开的是交互式 cmd,rc 是 cmd 的,会给出假的 rc=0)。
|
2026-10-09 23:09:37 +08:00 |
|
huangzd1997
|
2a4d15b801
|
fix(文案出口): 用户可见提示语一律走 UserMessages 把关,并补结果作业租约围栏
两件事同源:2026-10-09 任务 30456 的卡片上同时出现中文进度和一句英文异常原文。
围栏:派发链在执行前重读 job 行,让 activateRunningClaim 的 CAS 恒真,撞锁方
deferRunning 把在跑的行翻回 PENDING,markSuccess 静默写 0 行——成功被判成失败。
claim 快照现在贯穿到 runClaimed 不再回读,markSuccess 返回布尔并补 stage=SUCCESS_LOST
日志,让这次丢失可观测。
文案:普查数出 61 处把 ex.getMessage() 拼进用户可见字段(异常响应、任务 error_message、
结果作业 error_msg、看板 message),逐条翻译追不上新增速度,改为出口把关——
UserMessages.with(中文主干, 异常) 只拼接中文详情、orFallback(原文, 兜底句) 只放行含中文的串,
被换掉的原文进日志;GlobalExceptionHandler 按码分档兜底(401/4011/40902 各说各的话)。
另把 chunk-read-failed[N] 摘要写成"第 N 分片读取失败"、TASK_LOCK_BUSY 换成中文(40902 码不动,
客户端按码分支)。数字人两处与结果作业 worker 故意仍存原文:孤儿判定与三条 preserves raw
用例按 error_message 读它,界面侧由前端 userNotice 兜住,已在新尺子里点名豁免并反查豁免是否还被用到。
尺子:RawExceptionMessageSinkGuardTest(出口行数下限硬钉 1500+内存造违例自证)、UserMessagesTest、
UserFacingMessageChineseGuardTest 豁免表收到只剩 JSON 键 msg 一条。mvn -o test 4205 例 0 失败。
|
2026-10-09 19:34:25 +08:00 |
|
huangzd1997
|
d1a3e8a214
|
fix(发布通道): 开机自检的用例不再依赖"测试 classpath 上恰好没有章"——这条前提每次正规出包都自己翻转
- 现象:mvn -o clean package 在 4138 例里报 1 红 BuildInfoLoggerTest.开机自检在没有章的classpath上会打missing(expected WARN but was INFO)
- 根因:发版通道要求打包前 _git_stamp.py write,写出的 git.properties 就落在 src/main/resources 下 ⇒ 监听器读到章念 INFO,用例的"没章"前提没了。等于"正规出包必红"
- 修法不是放宽断言:给 BuildInfoLogger 加 logOnBoot(Resource) 接缝,用例显式喂"不存在的资源名"(缺章必吵,级别仍是断言主体)
- 另加一条接线对撞:无参监听器读的资源名与字面量 git.properties 逐一比对——常量改名时监听器念"无章"而字面量仍读到章 ⇒ 红(两侧都用常量就永远测不出来)
- 两态各 9 例全绿:章存在(正规出包态)与章不存在(开发态)
|
2026-10-09 09:34:18 +08:00 |
|
huangzd1997
|
97ca6810f7
|
fix(护栏自证): 切片桩不冒充产品端点;版本闸门少一处异常控制流,把 catch 棘轮记回原基线
把这期后端护栏类并进"实跑档"以后,一次 mvn 就当夜逼出两处真红。两处都是测试件/我自己
上一笔提交的问题,不是产品逻辑错,但都必须改代码而不是改基线:
1) 上一版切片的桩控制器写了 GET /api/admin/users,与真 AdminUserController#listUsers
撞在同一条完整映射上。MappedPathProbe 把整棵 main 树的映射枚举进同一个
RequestMappingHandlerMapping,于是 ApiGuardCoverageBreachTest 先炸 Ambiguous mapping
(2 errors);把桩路径改成 /api/client/slice-ping、/api/admin/slice-probe 后又暴露第二层:
测试桩本身被当成"新增未设防端点"进判定 ⇒ 探针改为不登记测试夹具里的控制器
(按最外层类名 Test/Tests/IT 排除,main 树里这种命名的真控制器实测 0 个)。
分母守卫照旧有效:mapped.size() > 300 那条断言仍在,排掉桩不会把清单清成空的。
2) CatchSilenceRatchetTest 红的是我自己 9d762c55(20:25 提交)里那处
`catch (NumberFormatException overflow) { return null; }`:total 1002→1003、
不重抛 559→560。也就是说**那笔提交是带着一支红的护栏类交进去的**——上一轮我只把切片
纳入实跑分母,没把这支棘轮一起跑,所以"7 例绿"的读数过期了。
修法不是抬基线:版本号的单段长度超过 18 位本来就该按"判不出来"处理,于是用
MAX_SEGMENT_DIGITS 上限替掉 try/catch,判定走向逐字不变(仍是 return null ⇒ 不拒),
total 与不重抛都记回 1002/559,验收基线一格没动。RETHROW 下限 388、logOnly 172、
empty 56 三档本轮都没碰。
顺手改掉失败文案里的错算式(原写"= 验收基线 1000 + 1 处",实际那 2 处各自有出处)。
版本闸门本身仍未上线(现网 jar 是 12:3x 那版,9d762c55 在 20:25)⇒ 本改动零现网影响。
实跑:mvn -o test -Dtest=ClientVersionGuardContextSliceTest,ApiGuardCoverageBreachTest,
ApiGuardCoverageAuditorTest,ApiGuardCoverageAuditorWiringTest,CatchSilenceRatchetTest,
ClientVersionGuardFilterTest,BuildInfoLoggerTest
⇒ Tests run: 53, Failures: 0, Errors: 0 / BUILD SUCCESS(逐类 6/10/8/2/7/12/8)。
|
2026-10-09 00:23:14 +08:00 |
|
huangzd1997
|
9d762c552a
|
feat(版本硬地板): ClientVersionGuardFilter 双模式闸门,默认惰性+只记账
口径出处:四面 9 分文档 §2 后端最后一项。此前全仓唯一的 minClientVersion 在 digitalhuman
里,且 DigitalHumanVersionService:86 写入、:258 读出两处都是**透传**,全树没有一处比较过它
(grep getMinClientVersion 只有这两处命中)——对桌面客户端 API 面零约束。
新增 backend-java/src/main/java/com/nanri/aiimage/config/ClientVersionGuardFilter.java:
读 X-Client-Version,与 aiimage.client-version.min-supported-version 比较,三档开关:
- min 留空(默认)= 闸门整条惰性,逐请求等价于没装;
- enforce=false(默认)= 只记账:Counter aiimage.client.version.floor{verdict,version,enforce}
+ 每个 (verdict,version) 至多一条 [版本地板] WARN(日志去重不吞计数,与 10-06 通知放大同口径);
- enforce=true 才拒,响应体沿用项目约定 HTTP 200 + {success:false, code:4012, message, data}。
另有一条 reject-unreported=false:4.0.46 及更早的装机不知道有这个头,光翻 enforce 就把它们
判死等于用一次配置变更打停全线存量,所以"未上报"默认只进 unreported 桶;报不出格式的
(4.x.6)永不拒。
受管前缀**复用** AdminApiGuardFilter.USER_TOOL_PREFIXES(同一份"桌面客户端直连的用户态前缀"
口径,改成包级可见,不复制清单),另补 /api/client(取凭据第一跳)。/api/version/** 明确不在
名单内——被拒的老客户端必须永远能拿到升级信息,否则闸门把自己变成砖。
ClientVersionGuardFilterTest 12 例(mvn -o test -Dtest=ClientVersionGuardFilterTest:
Tests run: 12, Failures: 0, Errors: 0):两种模式各钉一条正断言(记账必须"响应体一个字节都
不许多"、执法必须"chain 不前进"),另钉默认态零行为、三类非客户端面零判定、unreported 与
unparsable 分桶、名单逐条继承 + 三个排除项、版本解析/比较边界(4.0==4.0.0、4.0<4.0.1、
4.0.46.2>4.0.46、v4.0.6/4..6/4.x.6 判不出)、WARN 去重与计数不相干、min 配置写坏时不拒任何人。
不出包、不重启、不改任何 yml(默认值即现网态)。
|
2026-10-08 20:25:59 +08:00 |
|
huangzd1997
|
520044c8a4
|
feat(取证): 开机自报这份 jar 出自哪笔 commit
制品名自始没 bump 过(aiimage-backend-0.0.1-SNAPSHOT.jar),pom 也没有 git-commit-id,
所以出问题时光看线上机器答不出"在跑的是哪版代码"——10-07 那次是靠"哪个类只有那笔才有"人工认的。
不用 git-commit-id 插件:现网出包是 mvn -o 离线,新插件当场解析失败,等于给发布通道加一根
只有联网才通的管子。改成打包前由 scripts/_git_stamp.py 生成 src/main/resources/git.properties
(已加进 .gitignore,入库就成孤儿构建产物,target/classes 里那个孤儿 V148 就是这么来的),
开机念 [build-info];念不到时打 [build-info-missing] 而不是静默当干净构建。
拒绝的职责不在这里:一个元数据文件读不到不该把在跑实例打死,那是发布闸门的事。
|
2026-10-08 17:36:32 +08:00 |
|
huangzd1997
|
f325f88bc3
|
feat(护栏): 鉴权覆盖审计从"只 WARN"升级为增量即拒绝启动
SecurityConfig 是 anyRequest().permitAll(),方法级 require* 只有 82 处对 401 个 handler,
所以"某个端点没被任何守卫前缀覆盖"这件事只能靠启动自检发现。审计器原先对 uncovered 只打一行
WARN,等于谁忘了登记也不会有人被打断。
改成:存量 uncovered 落 29 条快照进版本控制,profile=server 下**增量**非空即 IllegalStateException
(锚点 [api-guard-coverage-breach])。只拦增量、不拦存量,是为了不重演 10-07 那种"两台起不来"的
41 分钟宕机;判 server profile 复用 JwtService 的同一口径,不另立一套。
|
2026-10-08 17:36:10 +08:00 |
|
huangzd1997
|
4d2f3fc754
|
feat(鉴权自检): 现网首报 5 条逐条定性——补"方法级已设防"一格与 4 条重定向壳
jar 60bd8430 上线后主机B 报出 API_GUARD_UNCOVERED count=5:
/、/admin、/admin.html、/login.html 都是 AdminConsoleController 的 sendRedirect 兜底(不读库、不回数据),
进 PUBLIC_BY_DESIGN;/api/client/credentials 的处理器第一行就是 adminAuthSupport.requireUser(request),
它是"第二道门已到位、只欠进第一道门(前缀名单)",不是匿名可达。
自检原本只认前缀名单这一道门,所以整格缺失会把已设防的端点报成欠账——报警不可信,比不报更糟。
新增 METHOD_GUARDED_PATHS 第五格,并要求每条由测试回到源码逐处理器方法体核对确实带 require*:
同一支抽取器在 /admin.html(纯重定向)上必须判"没有 require",
否则"整类里出现过 adminAuthSupport"就能喂饱这条判据、清单就成了自我豁免。
顺带修判据自己的两处取样错误:方法级正则在 @GetMapping({...}) 的数组里只抓第一条
(于是 /admin、/admin.html、/login.html 被误判成"没人映射"),以及根路径 "/" 被裁尾斜杠裁成空串。
|
2026-10-08 11:06:00 +08:00 |
|
huangzd1997
|
903ea61df7
|
fix(鉴权自检): 审计器按类型注入撞 actuator 第二候选,改显式构造器带 @Qualifier
2026-10-08 把上一版 jar 推到主机B 后容器 CrashLoop 5 次:RequestMappingHandlerMapping
在容器里有两个候选(WebMvc 的 + actuator 的 ControllerEndpointHandlerMapping,后者是前者
子类),按类型注入直接 NoUniqueBeanDefinitionException,而 4044 例单测全绿——因为本仓库
没有一例真正装配过 Spring 容器。
补 ApiGuardCoverageAuditorWiringTest 正反两钉:同一个容器里复现那对 bean,正钉审计器装配
成功且拿到 MVC 那个(拿错会在"0 个端点"上假绿),反钉不带限定符的注入必须真失败
(不钉反例,第二支 bean 一旦不再继承,正例就退化成恒真)。摘掉 @Qualifier 变异实测变红。
|
2026-10-08 10:32:29 +08:00 |
|
huangzd1997
|
207225eb86
|
feat(护栏三面): 鉴权盲区启动自检 + SQL 分层口径落码 + 六页等待循环合一
后端
- AdminApiGuardFilter 增 guardedPrefixes()/matchesPrefix() 公开入口(原 private,
自检抄一份清单迟早与守卫脱钩);行为零变化
- 新增 ApiGuardCoverageAuditor:启动期把"已映射端点既不在守卫前缀名单、也不在
公开/待收清单里"打成 API_GUARD_UNCOVERED 一行 WARN,供现网巡检 grep;
PUBLIC_BY_DESIGN 与 PENDING_CONVERGENCE 两张清单逐条写理由(只读不拦)
- SQL 分层按新口径落码:AsinResultCacheMapper 的两条动态 SQL(<foreach> 批量 +
ON DUPLICATE KEY UPDATE + 逐列 COALESCE)迁到 resources/mapper/asincache/,
注解摘干净(注解+XML 同名会让启动期抛重复语句)
- 判据:SqlLayeringConventionTest(注解写 SQL 基线 16 接口/29 条只减不增、
@Select 65 条/16 文件、wrapper 夹带函数级 SQL 4 文件/15 条,last("LIMIT n")
205 处显式豁免并反向钉住豁免面)、ApiGuardCoverageAuditorTest(含清单腐烂与
欠账/名单重叠两类反向失明)、AsinResultCacheMapperXmlTest(真解析 XML 向
BoundSql 断言 28 个占位符与 5 个 COALESCE 列)
用户端 frontend-vue
- 终态集合合一:实测六页里 PriceTrack/ProductRisk 只认 SUCCESS|FAILED,
而 COMPLETED≡SUCCESS 早有出处(task-status-text 两者都译「已完成」,
后端 TaskCenterQueryMapper SUCCESS_STATUSES_ORDERED 也含 COMPLETED)
⇒ 窄集合页收到 COMPLETED 会空转到瞬断预算耗尽,PriceTrack 的轮询摘除路径
同样窄 ⇒ 任务永不退出轮询、列表卡在"执行中"
- 新增 shared/utils/task-terminal.ts 循环骨架(disposed/瞬断预算/恢复提示/
每轮 sleep/非瞬断上抛),六页全部接上;取数、文案、快照合并、DELETED 语义
留在各页回调,没有顺手统一
- 判据两支:骨架 8 例契约 + 六页源码窄集合回归钉(含"判据自己先自证"一例,
loop-run 的 STOPPED 词表不误报)
|
2026-10-08 09:20:41 +08:00 |
|
huangzd1997
|
7c7a7f2665
|
fix(鉴权): 任务归属身份从会话推导,user_id 与不符即 403
客户端任务接口原先把"这单是谁的"交给调用方自报:请求体/查询串带 user_id,服务端拿它当范围
条件。身份应只信会话(JWT),桌面执行器与内部代理通道也不例外:
- AdminAuthSupport 增加 mayActForOtherUsers / resolveOwnershipUserId /
requireOwnershipUserId / bindOwnershipUserId:会话身份与请求 user_id 不一致直接 403,
只有平台超管与被授权管理员能代他人;
- 上架(PublishController/PublishTaskService)先接:user_id 缺失即 401,
仅两个桌面执行器端点允许留空;外观专利/相似 ASIN 的归属谓词补上
Objects.equals(userId, task.getUserId()),不再只比 moduleType;
- AdminApiGuardFilter 把入口口径与新helper 对齐,护栏测试 AdminAuthSupportOwnershipTest +
PublishOwnershipGuardrailTest 双向钉(放行面与拒绝面都有样本)。
同族的进度类模块(原先仍以请求体 user_id 为范围)在 cp-item7 一次接完;这一支只管会改状态/花钱的出口。
另外 resolveOwnershipUserId 的 [ownership-anonymous] 日志按 URI 限流也在这支——桌面执行器 4.0.44
不带凭据,只有分得清是哪个端点在打匿名请求,才敢逐支把它们从 resolve 换成 require。
|
2026-10-07 20:01:10 +08:00 |
|
huangzd1997
|
03f087f3cd
|
feat(通知): 保留期收成 7 天一条线,独立成凌晨分批清理任务
- readRetentionDays=90 / unreadRetentionDays=180 两档合并为 retentionDays=7,
两个旧 env 键随字段一起删(全仓已无引用)。按天扇出的告警表留半年只服务于一件没人做的事。
- 删除动作从 5 分钟一轮的 NotificationScanScheduler 里摘出来:原先它跟着 scan-enabled 一起被关,
生产为降噪停扫描就等于悄悄停掉保留期;同时去掉 NotificationService 上两条无 LIMIT 的清理方法。
- 新建 NotificationRetentionService(04:05 + notification:retention job 锁 + 每轮 20 批 × 2000 行),
与 DeviceLogRetentionService 同一范式。分批是因为这张表每 60 秒被铃铛 COUNT(*) 一次,
首轮要把按 90/180 攒下的存量删掉,单条大 DELETE 会直接放大锁等待;宁可连续几天收敛。
- 不补索引:两条删除都走建表即有的 idx_created_at,保留窗口外的行几乎全部命中删除条件。
- NotificationRetentionServiceTest 8 例(变异自证 7/7 转红):其中一条锁注解 SQL 的谓词与 LIMIT——
mock 掉 mapper 的那几条看不见「已读写成未读条件」,而线上表现是某一侧永远删不掉。
|
2026-10-04 01:20:11 +08:00 |
|
huangzd1997
|
56ac8f635e
|
feat(客户端凭据): 新增 /api/client/credentials 下发口,客户端不再随包携带凭据
4.0.43 客户端因 exe 内置默认值被清空而断供(zn_password/mysql_password/
internal_token 三把同时缺)。这三把不再进客户端静态副本,改为登录态按需领取:
- ClientCredentialProperties(aiimage.client-credentials.*)+ PropertiesConfig 注册;
- GET /api/client/credentials:requireUser(JWT),返回 internalToken + 紫鸟账号 +
mysqlPassword;服务端未配紫鸟账号时显式 500 并点名配置项,不返回空值让客户端猜;
- AdminAuthSupport.currentInternalToken():下发的必须是当前值(不含过渡期旧值);
- /api/admin/shop-manages/credential 放行登录态通道(令牌通道原样保留,存量客户端不受影响)。
本批无数据库迁移;单测 ClientCredentialControllerTest(6) + ShopManageCredentialAuthTest(3)。
|
2026-10-03 16:47:20 +08:00 |
|
huangzd1997
|
005cda9379
|
feat(采集数据): 品牌检测失败自动补测队列,限流窗口后自动重查并补结果(V140)
WIPO 限流窗口内 queryFailed 的品牌按任务排队(biz_collectdata_brand_recheck,同任务同品牌幂等),Scheduler 按指数退避自动补测:补出无侵权→行补进结果文件,判出侵权→落无效品牌表,连续耗尽→EXHAUSTED 并通知。只存品牌不存行,注入按 payload_hash 幂等。
|
2026-10-03 00:22:07 +08:00 |
|
huangzd1997
|
68b19f22b3
|
perf(货源): 分类匹配批量分块,类目树文本整批只随一次请求发送
分类判定按 llmCategoryBatchSize(默认10)分块、每块一次 LLM 调用:formatTwoLevels 的两层类目树此前随每行请求重复发送,是分类链路最大的 token 开销(10 行/块省约九成)。块内缺编号/坏编号的行、整块调用失败的行回退逐行单调用,行级失败语义不变。env: AIIMAGE_SIMILAR_ASIN_LLM_CATEGORY_BATCH_SIZE,设 0/1 回退旧行为。
|
2026-10-02 23:41:28 +08:00 |
|
huangzd1997
|
0fd0ee17ee
|
fix(通知): 聚合去重键从小时桶改自然日,刷新不再把已读点亮回未读
后台「通知」被刷屏的两个乘数:一条告警一天最多重发 24 次(小时桶换键),
以及刷新时 set read_at=null 把用户已读过的红点重新点亮。现在 task_failed /
service_down / maixiang_anomaly 五类键统一按「用户×模块×自然日」聚合,
pushOrRefresh 只更新文案不动 read_at;桶的日期取事件自身的 updatedAt,
跨零点轮询不会把昨天的失败挪进今天的桶。
|
2026-10-02 10:35:06 +08:00 |
|
huangzd1997
|
7772854352
|
fix(货源): LLM 密钥去掉平台公费兜底,任务没带自己的密钥就不检而不代付
`llm-api-key` 这条回落链(配置 → 公费 key)此前是账目对不上的一个来源:用户没配密钥时
货源任务照样跑完 LLM,花费记在平台头上。现在只认任务自带的 api_key,为空即跳过检测、
保留原始行。两台线上都未设置 AIIMAGE_SIMILAR_ASIN_LLM_API_KEY,本批发布对现网行为零变化。
|
2026-10-02 09:21:40 +08:00 |
|
huangzd1997
|
f05960659f
|
feat(模型): 密钥检测模型也切换至 gemini-3.1-flash-lite-preview-thinking-medium,弃用 doubao
- aiimage.user-secret.check-model 默认值由 doubao-seed-2-0-lite-260215 改为
gemini-3.1-flash-lite-preview-thinking-medium(application.yml 与 Properties 同步)
- 检测与业务同款模型:同为便宜档,且"密钥能过但目标模型在中继不可路由"能在巡检时更早暴露
- 已实测核实生产两节点容器无任何 MODEL 环境变量覆盖(docker exec java-server env),
改默认值即生效;密钥检测每日 04:30 巡检,部署次日见新模型
测试:UserApiSecretCheckServiceTest 23 例全绿。
|
2026-10-01 12:23:59 +08:00 |
|
huangzd1997
|
19fbc0c9bd
|
feat(模型): 外观专利 / 货源查询切换至 gemini-3.1-flash-lite-preview-thinking-medium
两个模块 5 个模型开关统一替换(原 gemini-3.8-flash):
- 外观专利:商标提取(title-model)、外观检测(appearance-model)
- 货源查询:类目匹配、合规检查、图片对比(llm-category / conform / image-compare-model)
application.yml 默认值、Properties 类默认值、本地配置样例、测试断言与网关探测脚本
一并同步。生产两节点无环境变量覆盖,走 yml 默认值,随下次 JAR 部署生效。
测试:AppearancePatentLlmClientHttpTest 16 例全绿。
|
2026-10-01 12:19:13 +08:00 |
|
huangzd1997
|
76954280b1
|
feat(通知): 新增「采集机掉线」告警,并把队列积压判据改成「有活没人干」
背景(2026-09-29):麦象采集机 15:19 起整机停摆 6 小时(5 个 worker 全没,机器
无开机自启),现有告警完全没发现 —— 五类检查全靠「任务 update_time 不新鲜」间接
推断,一次停摆被摊成几十条"任务失败";队列积压又卡在 pending≥300 的阈值上
(当时停在 210),用户看到的是大面积业务失败,误导排查方向。
- 新增第 6 项检查「采集机掉线」:读 18960 新接口 /api/console/workers 的
machineIdleSeconds(采集端打点,见 maixiang_run_task 同批提交),超阈值(默认 10
分钟)推一条管理员告警,文案含逐信号静默时长便于定位。
* 按**机器级**判活而不是逐 worker:变体采集领到长任务后不再调 /batch/task/get,
逐 worker 判会在长任务正常运行时误报「vc 掉线」(实测踩到)。
* machineIdleSeconds=null(从未上报)视为未知并跳过,避免刚上线误报一次。
- 队列积压判据改为 pending≥阈值 **且 processing=0**,阈值默认 300→100:
只看 pending 两边都不讨好(低了误报"一时来不及",高了真出事也不报)。
单 worker 死掉(机器还活着)由这条覆盖。
- 配置:新增 AIIMAGE_NOTIFICATION_MAIXIANG_SILENT_MINUTES(默认 10)。
|
2026-09-29 21:45:16 +08:00 |
|
huangzd1997
|
31d3c0857d
|
fix(安全): X-Internal-Token 不再绕开用户态接口的 user_id 归属绑定
守卫里"令牌可信即在 shouldNotFilter 整体放行"把刚上线的绑定又开了一个洞:这把
X-Internal-Token 是硬编码在分发出去的桌面客户端里的静态共享密钥(amazon/tool.py:20、
crawler_core/log_uploader.py:38),它能证明"走了内部通道",证明不了"这个 user_id 是谁"。
带 JWT + 这把钥匙的请求因此完全不参与绑定,等于给别人令牌就能读任意 user_id。
改法只拆语义不加开关:令牌继续豁免"要不要凭据"(否则仅凭令牌即鉴权的
/api/admin/shop-manages/credential 会被误拦 401),不再豁免"归属归谁"。
管理员/超管代客操作豁免照旧。
对现网零影响的取证:全工作区 .py 里 operatorId/operator_id 出现 0 处,所以纯令牌请求
进 requireUserOrInternal 后无 JWT→resolveToken 即抛→identity=null→绑定不触发;
不带 user_id 的按 task_id 回调仍然整体跳过守卫(新用例用 verify(never()) 守住)。
AdminApiGuardFilterTest 30 个用例全绿;新增 4 个,其中 internalTokenDoesNotBypassOwnershipBinding
在改代码前是红的,就是那个洞的可执行证明。
|
2026-09-28 18:45:46 +08:00 |
|
huangzd1997
|
7bb03466b0
|
fix(任务): 开机自回收改以本进程启动时刻为界,发版不再蚕食结果文件作业的重试次数
原判据是 now-max(60,staleSeconds),但 ApplicationReadyEvent 只在重启后几秒响一次,
那时遗留行的心跳也只停了几秒,条件结构上永不成立——线上"实例重启,作业已重新排队"累计 0 条。
遗骸改由 stuck 扫描按 +1 重试处理(今天 A 发了 7 版、重试预算只有 5),
20833 已被吃掉一次,20836/任务29475 就是被这条链判成"已达到最大重试次数"的。
|
2026-09-28 15:59:47 +08:00 |
|
huangzd1997
|
e5b79b71e1
|
fix(货源): 主图重试换备用域名绕开被钉死的坏 CDN 节点
根因不是"瞬时抖动":m.media-amazon.com 的多 CDN 池里 Akamai 系边缘没配这个
虚拟主机名,带该 SNI 一律 RST(同 IP 不带 SNI 或用 images-na.ssl-images-amazon.com
则正常),而 JVM 正向 DNS 缓存会把坏节点钉住一整批 → 秒级重试三次全打在它身上。
实测最近 20 条失败 URL 走备用域名 20/20 成功且 md5 与原域名逐字节相同。
|
2026-09-28 12:29:39 +08:00 |
|
huangzd1997
|
8f3b879d80
|
docs(货源): 记下发版后实测——秒级重试只救回 17%,真实收益是失败原因上行
原判断"瞬时抖动,重试就能救回整行"被自己这次的数推翻(行失败率 14.0% vs
旧代码 14.6%),恢复窗口是分钟级;注释与文档一并改成实测口径,避免下一个人
照错的结论去抬 backoff。
|
2026-09-28 12:05:53 +08:00 |
|
huangzd1997
|
3a39c36bde
|
fix(货源): 主图转存对瞬时 TLS 重置做有界重试,失败行日志带上真实原因
生产取证:主机A 近 3 小时 252 条 `main download fail` 全是 m.media-amazon.com 的
"Remote host terminated the handshake",而这些 URL 事后重取 8 条里 7 条直接 200。
旧实现单发、握手被 RST 就 return null 并丢掉真实异常,导致整行白占一轮重发。
新增 aiimage.similar-asin.llm-image-download-retry-times(默认额外 2 次,置 0 退回旧行为),
只重试连接级异常,非 200 不重试;25 秒总预算防慢源放大尾延迟;重试耗尽抛 IOException
让行失败原因上行到日志。
|
2026-09-28 11:52:11 +08:00 |
|
huangzd1997
|
fcec51bb71
|
perf(OSS): 服务端对象读写与浏览器预签名拆成两张 client
Java 在自己机器上用 https://oss.aishufu.top 读写对象,等于走公网 EIP 回环
(ip route get 自己的公网 IP 是 via 192.168.0.253 dev eth0),实测只有 0.98 MB/s、
TLS 首字节 39ms;同一台走 VPC 内网是 900 MB/s、0.9ms。结果 Excel 出表与输入件下载都吃这条。
不能直接把 endpoint 改成内网地址:预签名 URL 的 host 必须是浏览器可达的反代入口,
否则用户侧直传当场全断。所以新增 aiimage.oss.internal-endpoint(默认空=沿用 endpoint,
行为与今天完全一致),只给服务端 I/O 的 client 用;presign 那两处改用 public-endpoint 的 client,
并把内网地址纳入 managedEndpoints,避免历史数据里出现内网 host 时不归一化。
启动打一行 [oss] 服务端读写端点=…(预签名端点=…),发版后直接回读生效值。
|
2026-09-28 09:27:19 +08:00 |
|
huangzd1997
|
b3472dbd8a
|
feat(安全): 用户态接口的 user_id 归属改由令牌身份判定
带 JWT 的请求若 user_id 参数与登录身份不符直接 403,管理员/超管豁免(后台代客查任务是本职),
匿名与 X-Internal-Token 调用不参与绑定——按 2026-09-28 取证,桌面端 15 个调用文件只有 4 个带凭据
且全走内部令牌,所以现网客户端零影响;网页端 uid 与令牌主体同源于 AuthService.buildResult。
"要求凭据"仍留在 user-tool-guard-enabled 开关后面,新增 user-tool-guard-prefixes 支持按前缀分批收。
|
2026-09-28 02:31:23 +08:00 |
|
huangzd1997
|
9b0188f5ad
|
fix(外观专利): 行重发加轮次上限,超限就地判失败并写明原因
两态行标让失败行下一轮能重新申领(否则发版/中断就永久丢行),代价是轮次层此前
完全没有闸:上游持续劣化时同一批行会一轮轮重发,每轮都过 SecretUsageContext.call
扣用户的 LLM 次数;而 assemble job 走 deferRunning 不累加 retry_count,
MAX_RETRY_COUNT 那道闸永远到不了,HTTP 层的 llmRetryTimes=3 也只管单轮内部。
新增 aiimage.appearance-patent.llm-row-max-rounds(默认 3,<=0 关闭)。轮次落在独立
Redis 键上(处理中键会被撤销、完成键只在成功时打,只有这张表能回答"这行被重发过几次"),
首轮设 TTL 后续不自增 TTL;Redis 故障时读成 0,宁可不闸也不把在跑的检测判死。
顺带修 countUninspectedRows:Python 心跳超时恢复路径原先用 collectPendingLlmCandidates
数待检行数,那一步会把行申领走,紧接着真正发起检测时就一行也拿不到,整单只能等
处理中标记 TTL 过期。
|
2026-09-28 00:42:22 +08:00 |
|
huangzd1997
|
ed7dd9381b
|
feat(LLM): 外观专利/货源多行合批 + 读超时抬到 600s,砍请求次数
- 外观专利:商标提取 10 行一批、外观检测 5 行(=5 张图)一批,一个 10 行批次
从 20 次请求降到 3 次。Gemini 支持多图,无需再逐行单独发图。
- 批量协议:用户文本用「序号<TAB>行」,响应 {"items":[{"i":n,…}]} 一律按序号回填,
不信数组位置。三道校验门(序号在批内、关键词逐字属于本行原文、状态枚举且理由非空),
缺行或失真行单发补检一次;传输失败按整批记失败、绝不逐行重发,避免劣化窗口放大成 N 倍。
- 应急开关:llm-title-batch-size / llm-appearance-batch-size 任一设为 1 即退回逐行,无需改代码。
- 货源查询:类目一级/二级合并为一次调用,两级树每批只加载一次(原来每行各问一次、共 2 次)。
- 超时:读 600s、首查 300s(外观专利与货源同步调整)。合批后单请求输出量约为原来 5 倍,
沿用按单图调出的 60s 会误杀正常慢批次、连带整批白等一轮重试。
- 口径影响:后台 LLM 使用按「次」统计,上线后次数约降到 1/6.7,与历史数据不可横向比较。
|
2026-09-27 19:47:51 +08:00 |
|
huangzd1997
|
67f28c5b4f
|
refactor(队列): coze 残留改名到 task-queue / LLM,直连改造后不再出现第三方平台名
货源查询与外观专利早已改成直连 LLM,但配置键、指标名、类名与注释里的 "coze" 还留着,
排查线上问题时按平台名 grep 到的是已经不参与调用的历史命名。
对外可见的两处改名(运维需同步):
- 配置键 aiimage.coze-task.{max-concurrent,max-waiting} -> aiimage.task-queue.*
- 指标 aiimage.coze-task.submit.rejected.total / .execution.duration / .queue.wait.duration
-> aiimage.task-queue.* (Grafana 面板与告警表达式要一起改,否则曲线断流)
SimilarAsinTaskServiceCozeBufferScopeTest 随之改名(git 识别为 R)。
OSS 签名域名测试改用 example-cdn.com 占位,不再依赖真实 coze.cn 域名形态。
SimilarAsinTaskServiceTest 补上 result.notice 两条口径的测试:缺必填字段的行显示「未检测」
而不是留白(28551:790/1000 行空白仍报成功),404 行优先显示「ASIN未找到」。
|
2026-09-27 11:27:27 +08:00 |
|
huangzd1997
|
fd54655f17
|
fix(外观专利): 覆盖率分母改为解析全行并启用阈值,修「904 行只检 1 行仍报成功」
三处叠加导致塌陷不可见:
1. validateCompleteLlmCoverage 收到的 receivedRows 已经按「拿到结果」过滤过分母,
覆盖率恒为 100%,整片结果丢失也测不出来;改为传解析出的全部行。
2. 判定被放在 filterReceivedParsedRows 之后,整个源文件结果全空时会先 continue 掉,
连判都不判;移到循环开头,zip 少一个文件不能还报成功。
3. 阈值本身写死在 `boolean enforceCompleteLlmCoverage = false` 上,是死代码。
改为配置 aiimage.appearance-patent.llm-coverage-min-ratio,默认 0.5 只拦塌陷级
(现网正常任务实测约 0.91)。
完整性判定另拆出 hasDeliverableLlmResult:现网正常返回里 patent 恒为空串,
拿它当必要条件会把每个任务都判成不完整。
isTechnicalLlmFailure 去掉按 "coze" 子串匹配——品牌名 "Cozee Bay" 会被判成调用失败、
真结论被清空;Coze 工作流特征串随直连改造一并移除。
|
2026-09-27 11:26:54 +08:00 |
|
huangzd1997
|
6e5c0df1a4
|
fix(上架): 图片预取并发按 IO 收口 + 缺图就地补图,修线上 14591 个图片单元格静默留空
线上日志证据:4 核机器上 `image pool initialized requested=2 effective=2 cpuBoundLimit=2`,
8 个下载 worker 被 CPU 核数压到 2;一次组装 total=4045 行只完成 1968 行就撞上 1800s 预算,
尾部 URL 全部预取不到,落单元格时直接留空且用户无感知。
三层修复:
1. 下载池与缩放池解耦——下载是 IO 等待,默认 8、上限只挡配置写错(64);缩放仍按 CPU 收口。
OkHttp 连接池随之放大,否则默认 5 条空闲连接会让 3 个 worker 反复重做 TLS 握手。
2. 预取未覆盖到的 URL 在写单元格时就地补下载(单张落盘、不驻堆),共用一个 300s 窗口;
窗口从「预取收工、开始写单元格」起算且首个 workbook 独占——在建 spool 时 arm 会被
1800s 预取整个吃满,等于没有兜底。已预取失败的 URL 记入失败集跳过,避免每个死源站
再烧掉一次 下载超时×重试 的预算。
3. 交付不再静默:缺行/缺图写入 result.notice(状态仍为 SUCCESS,不碰 task.errorMessage,
否则会被 completeLlmFileJob 的失败判据读成整单失败)。
imagePrefetchBudgetSeconds 在生产配置里无人读取,改名 imageEmbedFallbackBudgetSeconds 并
接上实际用途。
|
2026-09-27 11:24:40 +08:00 |
|
huangzd1997
|
a4bd8ceac9
|
fix(采集数据): 品牌检测移出任务锁 + 失败任务仍产出可下载的部分结果
taskId 28599 事故根因:分片回传在任务锁内同步做品牌检测,上游 16890 卡死时
单次持锁 103.5 秒(costMs=103556),期间该任务的心跳与客户端重试全部撞
40902「任务正在处理」,客户端 5 次重试预算耗尽后中止了整个采集。
- submitResult:行归一化 / 去重过滤 / 品牌检测移到任务锁外,锁内只保留落库与终态
- BrandCheckClient:整批加 90 秒总耗时上限(超时按查询失败降级,首轮始终执行),
单次回传时延从「无上界」收敛到约 90 秒 + 一次读超时
- 失败且已收到分片时照常组装部分结果;任务已 FAILED 则保留失败态与真实失败原因,
只补结果文件(乐观写结果行 + 条件更新不匹配再补偿写回,避免崩溃时留下「成功但无下载」)
- productrisk / shopmatch 按 pricetrack 的 preserveFailure 样板补齐,含组装落地时
不再把失败行「洗成成功」
- 前端:采集 / 跟价 / 产品风险 / 店铺匹配的下载按钮放宽到失败任务
|
2026-09-18 15:53:15 +08:00 |
|
huangzd1997
|
a75b843937
|
perf(rustfs): 重试基础退避 500ms→200ms
线上高频的重试诱因是 unexpected end of stream——那是**立即失败**(RustFS 重置连接后
OkHttp 读响应即报错),不是等超时,500ms 基本是白等;每天上千次累计十几分钟。
降到 200ms 保留退避语义(真遇服务端过载仍会让步),又不让用户多等。
|
2026-09-17 01:55:35 +08:00 |
|
huangzd1997
|
7533398209
|
fix(rustfs): 确定性错误不再重试;回退两处经实测无效的连接池实验
- 新增 isNonRetryable:NoSuchKey / AccessDenied / 签名错误等确定性错误立即失败,
不再白打两次请求(线上 read 一个已清理的 chunk 会连打 3 次并留下一条 ERROR)
- connectionPoolMaxIdle 0→5、keepAlive 30000→300000 回退:
实测证明 unexpected end of stream 与连接复用无关——禁用复用后新容器起来的
第一次请求照样中招。至此已排除公网链路、keepAlive 过长、连接复用三项;
另用 mc 并发压 200 个小对象全部成功,说明 RustFS 服务端无问题。
剩余方向指向 MinIO SDK(8.5.17,已是最新)/OkHttp 与 RustFS 的协议细节,
需抓包对比 mc 与 Java 的请求才能定位。数据不丢(重试都能成功),影响是每次 +600ms。
|
2026-09-17 00:58:01 +08:00 |
|
huangzd1997
|
5a18c5350b
|
fix(稳定性): 修任务锁超时/实例转发/扫描降噪,补 rustfs 结论日志
线上日志扫描发现的缺陷批量修复:
- TaskFileJobService.resetStuckRunningJobsDetailed 去掉跨行长事务:两节点
@Scheduled 各取 200 行在同一事务里逐行 UPDATE,互等行锁导致 biz_task_file_job
每天上百次 Lock wait timeout。改逐行独立提交(本就有 CAS 条件,幂等)
- TaskOwnerForwardService 连接类失败重试 3 次:两节点滚动重启窗口内的
Connection refused 会直接丢掉用户提交的结果(读超时不重放,避免重复提交)
- AdminApiGuardFilter 把 401/被顶下线降为 debug(线上单节点一天近 3000 条噪声)
- NoResourceFoundException 单独处理:如实返回 404,不再刷 ERROR 堆栈、不再伪装
200(每天 580 条,绝大多数是外部扫描 /.env、/credentials、aliyun.json 等)
- RustfsObjectStorageService 补「重试后成功 / 重试耗尽」结论日志:一天上千条
retrying 却无结论,无法判断数据是否落盘
- 连接池 keep-alive 300s→30s,减少复用已被对端关闭的空闲连接
- SimilarAsin 提交结果遇到已删除任务时带 TASK_NOT_FOUND(40401),客户端据此
停止每 30 秒一轮的无谓重试
- 修 SimilarAsinResultRowDto 的 GBK 乱码 JsonAlias("浠锋牸" → "价格")
|
2026-09-17 00:32:48 +08:00 |
|
huangzd1997
|
eca0ea0c18
|
feat(保留期清理): 补齐 7 处只增不删的数据;修结果对象孤儿
审核发现一批表/元数据只增不删,且对象存储存在活跃泄漏:
- module-cleanup 漏收 task_result_item / task_result_payload 的 payload 指针,
每晚删完行就在 json-server 桶留下孤儿对象;指针收集触顶从"截断后照样删整组"
改为任务组二分拆分,拆到单任务仍触顶则整组不删并记 error(截断会让指针随行消失)
- 结果文件对象此前从不回收(只删 DB 行、对象留在桶里),现改为事务提交后
按 file_result / task_file_job 的 result_file_url 逐个回收
- 新增 7 个保留期清理:device_log_file 元数据、price_track_loop_run、撞款扫描行、
密钥用量日统计、紫鸟记忆过期行、PUBLISH 任务、BRAND 任务。后两者刻意不复用
module-cleanup(BRAND 不写 biz_file_task;PUBLISH 单任务可达数万行),
改为调各自既有的业务删除入口,保证结果对象与子表一起回收
- 未读通知补保留期(180 天,已读仍 90 天);ZiniaoMemoryStoreService.deleteExpired
此前全库无调用方(实现了没接线),现已挂定时任务
全部沿用既有范式:@Scheduled + 分布式锁单实例 + 分批 + 单轮批次数上限 + 失败只记日志。
|
2026-09-16 01:59:28 +08:00 |
|
huangzd1997
|
a7f244f9c1
|
feat(设备日志/后台配置/密钥检测): 补齐已上线未提交的设备日志与app_config,并合入检测模型解耦
三部分均已部署到双节点(当前线上 JAR 009efc3e),本次补齐仓库状态,避免"已上线未提交"
在后续最小构建比对里被误判。
- 设备日志管理:modules/devicelog + DeviceLogOssProperties(主机B 独立 MinIO,仅内网)
+ V127 device_log_file/device_log_config + admin-vue 日志管理页;客户端/麦象按 offset
增量上报(X-Internal-Token),查询仅超管
- 后台通用配置:modules/appconfig + V128 app_config 键值表;工作台「开店流程」密码改服务端
校验(POST /api/kd-flow/verify),改密码只需 UPDATE 该行、客户端无需重新发版
- 密钥检测模型解耦:新增 aiimage.user-secret.check-model(env AIIMAGE_USER_SECRET_CHECK_MODEL),
默认 doubao-seed-2-0-lite-260215 —— 同系列 mini 在中继分组下无可用渠道(503 model_not_found),
实测 lite 可路由;UserSecretModule 去掉 LlmTarget 改 resolveLlmHost,探测日志带 model=
- 前端:密钥面板「检测配置密钥」按钮不再折行;client-changelog 补 4.0.19/4.0.20/4.0.21 条目
注:application.yml 与 PropertiesConfig 同时承载上述多个部分,故未按功能拆分提交
|
2026-09-15 23:53:05 +08:00 |
|
huangzd1997
|
06b3fc3502
|
perf(全链路): 连接池/事务边界/轮询与 IO 效率收口
Java:
- LLM 180s 读超时不再被全局 call-timeout 静默截断成 90s(长思考请求被掐断→重试→付费网关二次计费)
- 代理 HttpClient 缓存改有界 LRU(jikip 每次提取新 IP,无界缓存持续泄漏 selector 线程与连接池)
- 12 个 service 的 Redis 任务锁移出 @Transactional(自旋最坏 10s 白占 DB 连接,池仅 30),远端对象删/传改 afterCommit
- 结果文件 Job 闸门拒绝时不再回退内联执行(改重新入队,避免把背压转嫁给 MQ 消费线程)
- imagevideo 每秒扫描加列投影、过期清理加 LIMIT;权限页整表查询改列投影(不再拉回密码哈希)
- 哈希改 HexFormat;补 5 处"不能改"的技术依据注释(批量插入会丢回填主键、流式丢模板与图片等)
前端:4 个工具页轮询改轻量端点(带 fallback);PriceTrack 快照节流写盘;候选店铺表分页;页面隐藏时停表
客户端:HTTP 连接池按出口复用(Session 仍每请求新建,保持无跨请求状态);品牌检测 WIPO 逐请求握手;
代理配置按 mtime 缓存;串行任务改专属池;异常降级为标签页重连;紫鸟启动改端口轮询;模板编译缓存;
日志上报连接与落盘收口;Flask 版本 API 改按请求复用连接
|
2026-09-15 23:01:59 +08:00 |
|
huangzd1997
|
0dd0b1237f
|
feat(站内通知): 麦象异常扫描上线——任务停滞/失败/队列积压/批量空结果推管理员
用户要求「maixiang异常也要发通知」,确认范围(卡住/失败/队列堆积/服务不可用)与
受众(只发管理员)后实现:
- MaixiangConsoleClient:18960 后台只读接口客户端(batch/tasks、tasks、queue/status、
batch/detail),token 鉴权、失败只记日志。URL 必须用 URI 对象提交——字符串形态会被
RestClient 二次编码(%20→%2520),end_time 参数实测报 Incorrect DATETIME value,
检查会静默失效;已加回归单测 buildUrlEncodesTimeParameterExactlyOnce
- MaixiangAnomalyScanner 五类检查:①批量任务停滞(status 0/1 超时无更新,默认 60 分钟)
②单任务滞留(创建超 30 分钟未完成)③近 30 分钟失败达最小条数 ④批量任务空结果
(worker 报错时批次仍被标"已完成",是唯一可抓的批量失败信号)⑤队列积压(pending≥300
/ processing≥100);去重按天/小时/任务,全部为管理员全局事件(subjectUserId=null)
- 接入 NotificationScanScheduler(分布式锁内同跑);scene=maixiang_anomaly;
AIIMAGE_NOTIFICATION_MAIXIANG_* 环境变量可调,令牌留空=跳过
- 前端 NotificationScene 类型补 maixiang_anomaly(铃铛不按 scene 渲染,无运行时改动)
- 测试:客户端解析(真实抓包样例)+ 扫描器 14 例 + 手工联调探针 MaixiangLiveProbeTest
(-Dmaixiang.live=true 开启,只读不写通知)
已部署双节点(.env 加 console token、JAR cd3e06c4)并线上验证:首扫推 2×15 条管理员通知
(3 个变体任务停滞 / 39 个跟价任务滞留),二次扫描落库=0 去重生效。
|
2026-09-15 12:20:15 +08:00 |
|
huangzd1997
|
792b5f8bce
|
feat(任务判死): 心跳正常但 180 分钟无结果上报的二次判死线(13 模块)+ 同期待发改动
判死线(治 28131 型「主线程卡死、心跳线程照发」):
- 判据改看 biz_task_scope_state.last_chunk_at(HTTP 心跳不刷新它);从未上报跳过不判
- 中央线覆盖 DELETE_BRAND/PRODUCT_RISK_RESOLVE/PRICE_TRACK/SHOP_MATCH/PATROL_DELETE/QUERY_ASIN/WITHDRAW
- 自带线接入 COLLECT_DATA/SIMILAR_ASIN/APPEARANCE_PATENT/SHOP_DATA_CRAWL/PUBLISH/BRAND
- 客户端心跳带处理位置 progressText,判死文案含最后位置;no-result-upload-timeout-minutes 默认 180(0 关闭)
同期带上另一工作流的待发改动:跟价换 IP 重试、品牌检测重试上限与 LLM 并发下调、
教程包后台管理页与 V126 迁移、admin-vue 教程记录页。
|
2026-09-14 17:56:20 +08:00 |
|
huangzd1997
|
8c95f053f5
|
feat(A1/A3): 三个客户端零调用前缀立即无条件收紧
实测桌面端 Python 侧调用面:/api/image-video、/api/task-file-jobs、/api/ziniao 为 0 次调用
(只有带 JWT 的网页端在用),因此从 user-tool-guard-enabled 开关名单移入无条件守卫名单,
不必等客户端铺开即完成收紧;其余 14 个前缀的客户端调用面与令牌携带情况已逐一实测,
仍在开关后面(老客户端不带身份,提前打开会 401)。
新增 2 个守卫测试:开关关闭时这三组前缀对匿名同样 401、带用户令牌仍放行。
|
2026-09-14 10:46:05 +08:00 |
|
huangzd1997
|
96800a2c88
|
refactor(boundary): 跨模块循环依赖清零(8 对 → 0),task→业务 依赖归零
共享内核下沉(跨模块共享的"身份/组织/安全"类型进 common)
- AdminUserEntity/AdminUserMapper、ShopManageGroupEntity/ShopManageGroupMapper → common
- AdminAuthSupport(33 文件 17 模块引用)、JwtService、AuthProperties、DeviceSessionPolicy
→ common/security(原先放在 admin/auth 里,任何模块用一次就多一条跨模块边)
端口化(消费方声明接口、数据方实现)
- task/spi:ResultFileJobHandler 新增 resolveResultFileUrl 钩子(BRAND 特例从 Worker 收回);
Worker 改为调用 handler.onSuccess(该钩子历史上从未被调用,withdraw 的收尾靠 Worker 里的
WITHDRAW 特判硬编码——现两者都归位,task 侧不再 import withdraw/brand)
- admin/spi/UserSecretCleanupPort(删除用户级联清理密钥)、notification/spi/ProxyBalancePort
(代理余额探测)、shopdatacrawl/spi/ManagedShopNamesPort(可管店铺名)
- shopkey/spi/GroupDeletionGuardPort:分组删除守卫改由各业务模块实现(invalidasin/dedupe 两个实现),
shopkey 不再直连它们的 Mapper
棘轮与量化(2026-09-14 实测)
- ArchitectureBoundaryTest:task→业务 119 → **0**(基线钉死为 0,新增跨模块动作必须走 task/spi)
- 跨模块 import 行数 650 → 605;双向依赖对 8 → **0**(usersecret/permission/shopkey 三向环、
task↔withdraw、task↔brand、admin↔permission、admin↔usersecret、dedup↔shopkey、
invalidasin↔shopkey、notification↔usersecret、shopdatacrawl↔shopduplicatecheck 全部拆解)
测试同步:接口契约 8→9、品牌 Handler 钩子契约、worker 的 10 个测试构造实参、通知/管理测试端口化。
mvn test 2881 全绿。
|
2026-09-14 10:05:04 +08:00 |
|
huangzd1997
|
f4ee7e16f0
|
refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)
性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引
安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)
容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
(该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
|
2026-09-14 06:46:27 +08:00 |
|