huangzd1997
2010074064
refactor(phase-3): 3A 拆薄第三笔——A 聚类(陈旧扫描与二次判死)抽成 support 件
...
AppearancePatentTaskService 棘轮读数 3349→3165(本会话累计 3458→3165,净减 293 行);
新落 service/support/AppearancePatentStaleTaskScanner 313 行(<800 报警线,不进超长清单)。
搬走的是「扫描+判定」:候选列举、心跳是否过期、判死文案按证据分述、二次判死那条线
(心跳新鲜但分片久不来,看 biz_task_scope_state.last_chunk_at)、取锁与 LockSkipWitness 留痕。
收尾那一步 finalizeStaleTask 留在服务侧、以 StaleDeathFinalizer 回调交进来——它要动事务边界、
封口与 LLM 批管线,那些件还在服务里,一起拖出去就得再造一套构造器,正是上一笔刚结清的那种亏。
两条线的先后与分工原样保留(sweep 末尾照旧接 sweepNoUpload;同一条任务在两把尺上的期望相反,
合并判定就会有一边失明)。日志文案、tag 字符串、取锁参数(不等待、TTL 由服务侧交进来)逐字没动。
两处当场判红、当场修,都是本笔的账:
- AppearancePatentNoUploadStaleTest 三支 Method not found:那支测试用 ReflectionTestUtils
按名字点名 finalizeNoUploadStaleTasks 这枚私有方法。抽件前只扫了调用点没扫反射点名——
AGENTS.md §1 铁律 2 写的就是这个面。处置是保留同名入口(包内可见)转调到扫描件,
测试接缝与原语义都不动,理由写在方法注释里。
- TaskStatusVocabularyRatchetTest:扫描件里那行 STATUS_RUNNING = "RUNNING" 让 src/main 手写
状态标量从 70 涨到 71。这格是只许降的棘轮,降法本来就写在该尺的报错文案里——改成引用
TaskStatuses.FileTask.RUNNING,一格判据没放宽。
门禁:定向批 435 例/0 红/0 错/5 skipped(golden 生成器),BUILD SUCCESS,取码走无管道写法;
含 *Stale*Test 七支与 ForbiddenLogAuditTest(搬移带 WARN,日志面也过)。八条 golden 逐字节相等。
2026-10-19 11:54:17 +08:00
huangzd1997
f3ac3cb20b
refactor(phase-3): 3A 拆薄——归属实例谓词收成 support 件,服务侧只留薄委托
...
AppearancePatentTaskService 棘轮读数 3381→3349;新落 support/AppearancePatentTaskOwnership
114 行(<800 报警线,不进超长清单,readability 棘轮无需登记例外)。
形状与判据一字未改,只是换了住处:owner 优先读 owner_instance_id 列、回落
resultJson.ownerInstanceId 快照(那条 2026-09-30 内部认领实测的注释原样带过来)、
scopeKey 按 ":owner:" 尾段解析、TaskOwnerMismatchException 四枚入参顺序照旧。
服务侧留六枚 1-3 行薄委托+一处 taskOwnership() 访问器——这是本模块已有的先例
(historyAssembler() / sheetBuilder() 同样是服务内部 new 的普通对象,不是 Spring bean),
所以本笔不动构造器、不动装配、注进 wiring slice 的东西一个字节没变。
为什么现在搬:A 聚类(陈旧任务扫描与二次判死)紧接着要抽出去,它跨实例接管那格要用
同一套谓词。谓词留在服务里只有两条路——扫描件回调服务,或者再抄一遍三枚。后者正是
TaskLifecycleDebtRatchetTest 钉住的债(同一条安全谓词手抄 130 遍、只许降),
所以收成一枚可复用件,而不是多一处抄本。
⚠ 一处可观测差异如实登记:两条 WARN 的 logger 名从 ...AppearancePatentTaskService
变成 ...service.support.AppearancePatentTaskOwnership;消息文本、级别、参数顺序一字未动。
按 logger 名做检索的人要跟着换,别读成「日志丢了」。
门禁:定向批 349 例/0 红/0 错/5 skipped(golden 生成器),BUILD SUCCESS;八条 golden
逐字节相等;CatchSilence 四格未动(搬移不改树上 catch 总数);ArchitectureBoundary 绿。
2026-10-19 11:47:18 +08:00
huangzd1997
f0c672025d
refactor(phase-3): 3A 接入底座——建单段与一格准入沉下去,回传段其余部分按证据未动
...
AppearancePatentTaskService 继承 AbstractFileTaskPipeline<AppearancePatentResultRowDto>。
棘轮读数 3458(在册基线)→3381:显式构造器成本 +26,被建单段下沉(-25)与三枚零调用
私有件出仓(-33)对冲掉,本笔自身净减 7 行、较基线净减 77 行。
接得上什么、接不上什么(这次是第四条实测,答案与前三支都不同):
- 接得上底座:newTaskHeader/insertTask/newScopeRow/writeJson/requireUserId/
requireSubmissionTask/ensureTaskOwnedByCurrentInstance(本支那枚私有同名件签名逐字相同,
改成 @Override 就接上了)。
- 接不上家族层:本支是 chunk+scope 族(按 submissionId 分片),套 shop-payload 就是把
「按分片合并」换成「按店铺合并」。装配切片里那条 getSuperclass 断言现在盯住了这一点。
- 接不上缓存钩子:本支的 AppearancePatentTaskCacheService 继承的是同族兄弟
AbstractPendingRowTaskCacheService,不是 AbstractModuleTaskCacheService ⇒ 底座
taskCacheService() 钩子对它无类型可套。处置是不覆写那一格(默认 null 已经对),心跳留在
persistSubmittedChunk 自己那句 touchTaskHeartbeat——不是本支没心跳,是两套抽象接不上。
底座 javadoc 把 AppearancePatent 列进「4/7 支有模块缓存服务」那格,这条读数不准,
已在本笔注释里点名更正(蓝图 §5 同步登记)。
- 没动的部分:回传段其余步骤(终态判定用 TaskResultAdmission.rejectNotRunning,比底座
rejectTerminalSubmission 宽——凡非 RUNNING 皆拒,且 40901 只在真终态那格带)与
acquireTaskLock 的非阻塞变体(抢不到返回 null 让巡检跳过下一轮,底座只有「抢不到即拒提交」
两型)。这一段没有 golden,按「先补再动」只做了 prepareSubmittedChunk 那一格
逐字同形的四行替换,其余一个字节没碰。
捕获账:本支两处序列化 catch(私有 writeJson(Object,String) 与建单那段 try/catch)并进底座
已有的 writeJson ⇒ RETHROW 385→383,按该尺自己写的处置口径逐处记名(出处写在
CatchSilenceRatchetTest 常量上方),用户授权沿用 3B 那一笔的同项拍板。不重抛/只 log/
空体三格未涨,其余判据一格没放宽。
门禁:定向批 452 例/0 红/0 错/5 skipped(五格是 golden 生成器,未设环境变量时如实 skip),
BUILD SUCCESS 取码走无管道写法。八条 golden 逐字节相等——git status -- src/test/resources
一字未动(本支新建单那条 + 前三支那六条都在跑)。装配切片接进第四支:22 枚参数逐枚点名,
含「五枚交 super 之后本支不再持有同名字段」那格 assertSame。
真机启动验收仍没做(要 MySQL+Redis),这条账继续挂在 Phase 8。
2026-10-19 09:36:48 +08:00
huangzd1997
3471a4429f
refactor(phase-3): 3A 拆薄第一笔——appearancepatent 的死 Excel 读取件出仓 70 行
...
AppearancePatentTaskService 棘轮读数 3458→3388。删的是八枚私有件:
readHeaders/readRowValues/buildHeaderMap/findRequiredHeader/
findOptionalHeader/findOptionalHeaderExact/normalizeHeaderAlias/cell,
连同因此悬空的两个 POI import(DataFormatter、Row)。
判据不是"看着没人用":这八枚是 AppearancePatentExcelParser 抽走解析本体后的残留,
逐条数过文件内出现次数=1(只有定义行),src/test 全树零命中,跨五棵树的同名
命中全在别的模块自己的 parser 里(SimilarAsinExcelParser/SplitRunService/
AppearancePatentExcelParser 各有一份,不是对本支的引用)。私有方法没有反射、
DI、动态路由面(§1 铁律 2 五路复扫)。同段落里 isAppearanceResultWorkbook/
hasHeader/shouldInspectRow/baseId/normalizeDisplayId 仍在用,一个没碰。
门禁:AppearancePatent*Test 236 例全绿(含 parse-snapshot golden 那支),
mvn -o compile 干净。golden 文件一字未动。
2026-10-19 09:07:29 +08:00
huangzd1997
84f248fa6c
fix(外观专利): 兜底归属校验接进 TaskFinalizeSupport 出口——手抄谓词棘轮回落 130
...
上一枚 commit 的 fallbackAssembleResultFile 手抄了 2 处
「!MODULE_TYPE.equals(x.getModuleType())」,把 TaskLifecycleDebtRatchetTest
钉死的 130 推到 131。按棘轮注释的指路接公共出口:
- TaskFinalizeSupport 新增 belongsToModule(expected, record) 静态出口
(expected 为 null 判不归属,防御守卫静默失效);
- 兜底 2 处改走出口,净增 0,遍数回落 130;
- 出口语义 3 例钉在 TaskFinalizeSupportTest。
2026-10-19 00:15:08 +08:00
huangzd1997
49eee59a13
fix(外观专利): 失败兜底出部分结果文件+WAIT_LLM 停放作业心跳续租(31302/31354)
...
线上两例死法修复,目标是「任务失败了也能下载」:
- 31354:组装作业在 WAIT_LLM 停放期执行线程已退出、Worker 执行期心跳
已取消,job 级 stuck 扫描按 updated_at 判陈旧,5 分钟阈值×5 次重试
耗尽后误判「文件生成任务运行超时」。客户端心跳经
AppearancePatentTaskHeartbeatSpi#onHeartbeat 按
dbJobTouchIntervalMillis(默认 60s,远小于 5 分钟阈值)节流续租
(touchRunningAssembleJobsIfStale,与 SimilarAsin 同口径)。
- 31302:覆盖率闸门判红重试 5 次判死后,1196 行成品零交付且不能下载。
接通 fallbackAssembleOnFailure 兜底钩子:作业判死后用已有分片出
部分结果文件(validateCompleteLlmCoverage 加 allowPartial 旁路),
写上 result.resultFileUrl 后前端下载按钮即恢复;兜底幂等(已有
结果文件短 路)、不动任务终态、与补传恢复重跑兼容。
- 棘轮尺 STRICT_TOTAL 1003→1004、NOT_RETHROW 561→562 抬格并逐处
记名(兜底自吞 catch 属接口契约要求的 fail-open 形状)。
全量 mvn -o test 4492 支 0 失败(9 skipped 为既有跳过)。
2026-10-18 23:41:24 +08:00
huangzd1997
1e3bcc9688
回传洪水收口(货源+外观): 「任务不是运行中」4 处出口归一进 TaskResultAdmission——真终态(SUCCESS/FAILED)带 40901,异常处理器按幂等成功回 success=true,客户端据此删本地副本停止补发;PENDING 不带码保持可重试(建单就写它,判死=丢还能送到的结果)
...
判据=两条链 setStatus 实测只有 PENDING/RUNNING/SUCCESS/FAILED,故取 FINISHED_ORDERED 不取 TERMINAL(取消态无证据);摘两支重复 helper 与因此空转的 1 处 BusinessCodes import;TaskDistributedLockService 补 [task-lock-held] 持锁时长留痕(>=5s info/>=60s warn),此前只有 WAIT_LLM 量得出时长
验证=后端全量 4291 passed 0 failed(skipped 7, 6.0min);正反各两支新用例钉死;变异 M1 摘码/M2 全状态带码各杀 2 红、还原字节一致;M3 换成 TERMINAL 无人判红=已知盲区(写进类注释);可读性棘轮 9 格绿(PipelineSupport 缩回 1975 行/基线 1978)
2026-10-12 01:22:43 +08:00
huangzd1997
b0829db81e
降本三条(10-11 现网取证):外观同请求图片去重 + 货源合规合批 + LLM token 计量落库
...
取证基线(库侧 biz_user_secret_usage_daily,10-01~10-11 实测 12,704 / 4,134 / 15,135 次):
外观 24h 全量 831 条请求逐条 json 解析,564 条带图共投 2,693 张、去重只剩 1,465 张
⇒ 45.6% 是同一张图在同一次请求里的副本;重试占比只有 0.24%(attempt 829/2/0),
所以省钱的口子在图片副本,不在重试。货源 4,134 次里 4,096 次集中在 10-10/10-11 两天,
类目已合批(10-02)而合规与图比仍逐行 ⇒ 合规是该模块最后一步逐行 LLM 调用。
1) 外观:每张不同的图只随请求发一份,正文附「图j=序号1、2…」对照表;每个序号仍各自
出一份 status/reason(省副本,不省判定,与 10-10「同组兄弟行也要都检测」同口径)。
归一化 URL 只当去重的键,发出去的还是行里那条原始串。应急回退:
llm-appearance-batch-size=1 即退回逐行,无需改码。
2) 货源:新键 llm-conform-batch-size=10(设 1 退回逐行)。前置条件是分类预计算存在,
否则整条不生效——避免同一行的类目被算两遍(两遍=多扣用户一次);缺编号行与整块
失败都逐行补检,并有一支 A/B 差分管住合批与逐行写回行的三字段+状态相等。
3) V157 给 biz_user_secret_usage_daily 加 prompt_tokens/completion_tokens,两个 client 收下
网关 usage。计次与 token 分两条语句:计次发生在发请求之前(含重试,请求没回来也算
一次),token 只在响应回来后有读数;网关没回 usage 就一条不写——0 会被读成"实测为 0"。
护栏记账:新 mapper 语句 addTokens 两处一起点名(SqlLayeringConventionTest 分母 97→98 +
MigratedSqlEquivalenceTest.NOT_MIGRATED);批量路径的 catch 不新增一处——把分类那一路的
"整块失败→逐行补检"抽成 batchAttempt/fallbackSingleRows 共用,静默 catch 棘轮四格一格没放宽。
顺带修掉 AppearancePatentResultRowDto 上一句已经过期的 javadoc(还写着兄弟行复用代表行结论)。
证据:后端全量 4288 例 0 红(本批 +24 例:去重 7 / token 4 / 合规合批 7 / 用量服务 6)。
变异自证 3/3 全杀:取消去重、摘掉 usage 落库、断掉合规合批,分别让对应用例判红;
两个受试文件按注入前字节还原,sha 复算一致。
2026-10-11 23:52:19 +08:00
huangzd1997
c4d2349cda
清无用 import(卖源码): 后端 248 处跨 128 支文件全部摘掉,javac+全量实跑双重判定
...
判据是逐支把 import 行的简单名拿去文件其余部分(含注释与 javadoc)做词边界匹配,
名字只在注释里出现的当作「在用」保留,所以这把尺子是往保守侧偏的。
验收不靠静态回声:`mvn -o -q test-compile` rc=0,再 `mvn -o clean package`
= Tests run 4264, Failures 0, Errors 0, Skipped 7,与清之前逐项一致(4,313→4,264 那 49 例是上午清设计文档摘掉的读 docs 用例,不是这一笔)。
diff 形状只认 `+0 / -248`,行尾没被整片改写。
2026-10-11 17:04:28 +08:00
huangzd1997
09867f612d
后端(补提交): 上一笔 pathspec 漏了 4 个未跟踪新文件——提交树本身编译不过
...
122faf7c 用 -- 指定路径提交,未跟踪文件不会被带上(共树下这是同一个坑第二次):
AppearancePatentRowOutcome 是主代码新引用的判据类,缺它就是一棵编译不过的树;
三支新用例(行结局分类 15 例 / 交付闸门 9 例 / 货源交付口径 3 例)同理。
2026-10-10 11:33:20 +08:00
huangzd1997
122faf7c74
后端(外观专利逐行送检): 撤掉组代表折叠与兄弟行借用结论,覆盖率分母改成交付行集
...
现网取证(主机A MinIO 上 6 份已交付 xlsx 逐格数):结果文件里 20.7%~51.3% 的行显示
「未取得检测结果」,且空的是整行三列、这些 ASIN 一个都没被检过、行号连续成块
(10-08 任务 30426:1211 行只有 96 批 960 行有结论;10-09 任务 30455 的 281 行空行
100% 属于"同父号已有一行被判")。两条成因都在判据口径上:
1) 送检只挑组代表行,兄弟行指望发起那一轮复用代表结论 —— 同父号的 2_1/2_2/2_3
各有各的 sku/标题/图片,借用等于成片行永不检测。按用户口径改为逐行申领、逐行送检,
组代表折叠与 expandRows 摊派一并删除(合批省的是调用数,代价是漏检)。
2) 覆盖率闸门的分母按「用户上传表的解析行」有没有标题/图片判该行该不该检,而数据
常在「客户端回传行」上 ⇒ 用户表不带标题列时分母恒 0、整段不判,成品半空而零告警。
判据抽成 AppearancePatentRowOutcome(JUDGED/NOT_INSPECTED/NO_DATA),表格文案、
原因 sheet 与闸门分母共用同一套;候选/工作单位计数也改用交付口径(旧的是
"四字段任一可用",只带专利维度文本的行会被读成已检测,而专利维度根本不入表)。
配套:判失败的任务不再整段跳过闸门(仍按既有口径出部分结果,但必打
「交付行账不完整」锚点并把缺口写进 task.errorMessage);出表前缺口<阈值时撤行级
标记并 requeue 补检一轮(releaseRowInspection 三参版才允许撤完成标记,两参版语义
由老用例钉死不变);llm-coverage-min-ratio 0.5→0.95(Properties 与 application.yml
两处默认值,已查两台既无 env 覆盖也无外置 yml 该键);货源面接上同口径的
「交付行账」度量日志(只数不改行为,阈值等本面实测分布)。
测试:外观专利整包 203 例、加货源共 645 例全绿。新增 AppearancePatentRowOutcomeTest(15)、
AppearancePatentDeliveryGateTest(9)、SimilarAsinDeliveryLedgerTest(3),
并在 RowMarkTimingTest 钉住"同父号子行逐行申领""兄弟行不得继承结论"。
2026-10-10 11:32:37 +08:00
huangzd1997
15094309cf
后端(四面9分批次): 锁跳过留痕、状态词表收成单点、版本硬地板进 yml 并记账
...
- 14 处「拿不到锁就 continue」过去零日志,现统一带可聚合锚点并有留痕判据
(LockSkipWitnessTest 7 例 + LockSkipSilentExitGuardrailTest 4 例)。
- 任务状态词表:散落内联集合改由单一定义点判方向(TaskStatusVocabularyRatchetTest 7 例),
CANCELED/CANCELLED 只做归一映射,没改库值也没改对外契约。
- 版本硬地板三键(min-supported / enforce / rejectUnreported)此前在任何 yml 里 0 处=出厂即惰性;
现在入册且 enforce=false 走记账模式(ClientVersionFloorConfigTest 9 例),真挡谁留给用户拍。
- 业务码→HTTP 状态只做映射单点 + 开关(默认关,开启前逐字节等价,BusinessErrorHttpStatusTest 8 例);
直接翻面会让三个前端把业务失败读成网络挂了。
- 验收:mvn -o test 这 5 个类 35 例 0 红(用 python subprocess 起 mvn——bash 里 cmd 包一层
开的是交互式 cmd,rc 是 cmd 的,会给出假的 rc=0)。
2026-10-09 23:09:37 +08:00
huangzd1997
2a4d15b801
fix(文案出口): 用户可见提示语一律走 UserMessages 把关,并补结果作业租约围栏
...
两件事同源:2026-10-09 任务 30456 的卡片上同时出现中文进度和一句英文异常原文。
围栏:派发链在执行前重读 job 行,让 activateRunningClaim 的 CAS 恒真,撞锁方
deferRunning 把在跑的行翻回 PENDING,markSuccess 静默写 0 行——成功被判成失败。
claim 快照现在贯穿到 runClaimed 不再回读,markSuccess 返回布尔并补 stage=SUCCESS_LOST
日志,让这次丢失可观测。
文案:普查数出 61 处把 ex.getMessage() 拼进用户可见字段(异常响应、任务 error_message、
结果作业 error_msg、看板 message),逐条翻译追不上新增速度,改为出口把关——
UserMessages.with(中文主干, 异常) 只拼接中文详情、orFallback(原文, 兜底句) 只放行含中文的串,
被换掉的原文进日志;GlobalExceptionHandler 按码分档兜底(401/4011/40902 各说各的话)。
另把 chunk-read-failed[N] 摘要写成"第 N 分片读取失败"、TASK_LOCK_BUSY 换成中文(40902 码不动,
客户端按码分支)。数字人两处与结果作业 worker 故意仍存原文:孤儿判定与三条 preserves raw
用例按 error_message 读它,界面侧由前端 userNotice 兜住,已在新尺子里点名豁免并反查豁免是否还被用到。
尺子:RawExceptionMessageSinkGuardTest(出口行数下限硬钉 1500+内存造违例自证)、UserMessagesTest、
UserFacingMessageChineseGuardTest 豁免表收到只剩 JSON 键 msg 一条。mvn -o test 4205 例 0 失败。
2026-10-09 19:34:25 +08:00
huangzd1997
6aa4f821a8
chore(瘦身): 摘 13 处零引用私有方法(160 行)与 mapstruct 死依赖
...
判死的尺子比「生产没调用」更严:private + 无注解 + 非 get/set/is 形态 + 名字在本文件只出现
1 次 + 在全仓 2,074 个跟踪文件(含 tests、mapper XML、两个前端 src)里也只出现 1 次。
tests 里有 57 处 getDeclaredMethod,反射是按名字取方法的,只看调用图会误杀。
同族审计给的是 40 支/450 行,差额那些名字会出现在别处的字符串或日志里,按这个口径不可证死,
所以只搬能证死的 13 处:AppearancePatentTaskService 37、DeleteBrandRunService 31、
QueryAsinTaskService 27、ZiniaoClientImpl 21、PublishWorkbookService 16、
ShopDataCrawlTaskService 9、PatrolDeleteTaskService 9、DedupeTotalDataService 6、
ShopMatchTaskService 4。
mapstruct 判死锚的是包名而不是注解名:本仓的 @Mapper 是 MyBatis-Plus 的
org.apache.ibatis.annotations.Mapper,按注解名判会误杀。依据是 import org.mapstruct 在
main+test 双口径 0,且 target 里没有 *MapperImpl*、generated-sources 0 文件。
验证走独立工作树(与主树同 HEAD d1a3e8a2):改前 mvn -o -q -DskipTests test-compile 出
MVN_RC=0,改后同命令再 0,才按字节搬回;搬回后 git diff --numstat 全是 0 加 / N 删。
主树这些路径在搬之前 0 脏、HEAD 与校验树同点,两条都设了断言。
2026-10-09 11:24:30 +08:00
huangzd1997
c1e7d57cce
fix(鉴权): 请求身份全量改走会话出口;公开默认 JWT 密钥从出厂件里摘掉
...
三件事都属"失败很安静"那一类:
1) 请求自带 user_id 当范围条件。cp-item2 只收了会改状态/花钱的出口,其余 28 支控制器
(进度/列表/详情,本支 18 支、另 10 支因与租户判定收口同文件而随 cp-item3 那笔)照旧把
"这单是谁的"交给调用方自报:A 传 B 的 user_id 就读到 B 的进度,
接口 200、日志无声。现在 190 支取请求身份的 handler 只经一个出口(写类 require/resolve、
读类 resolve),护栏 RequestSuppliedIdentityOutletTest 钉分母 126 写 + 63 读 + 1 豁免
(内部代理通道 InternalUserProxyController Get /user-proxy 按内部令牌放行)。DTO 形态
(控制器把整个 @RequestBody 递给 service)靠"该 DTO 是否声明 userId 字段"的索引识别,
少了这层判据会漏掉一半;进度类 28 支另由 ProgressQueryOwnershipOutletTest 单独钉。
桌面执行器 4.0.44 不带凭据是既定事实,[ownership-anonymous] 按 URI 计数留证据,
哪一支的匿名计数归零才允许把它从 resolve 换成 require。
2) 默认 JWT 密钥。application.yml 原本写的是
`${AIIMAGE_JWT_SECRET:please-change-this-secret-…}`,那个兜底默认值就是 2026-10-07
现网取证到的东西:两台都跑 profile server 且 env 里没有这个键,于是 JwtService 的启动闸门
看到的是公开字面量(非空)——既不拒绝启动也不告警,签出来的 token 任何读过源码的人都能伪造
(含超管)。现在占位符不带默认值、AuthProperties 缺省空串、isInsecure 同时认空串与该字面量,
server profile 缺密钥直接拒绝启动(宁可起不来)。JwtSecretFallbackGuardrailTest 五例钉
"资源文件里不许再出现那个字面量"与"两形都算不安全"。
发版顺序是硬约束:先在 A/B 两台 .env 配好与对方一致的 AIIMAGE_JWT_SECRET,再上新 jar;
轮换会把所有 web 会话退出登录。
3) 菜单写侧的无操作者重载(create/update/delete)删掉——三道闸门对 operator==null 的处置是
return(放行),src/main 里没人调用它们,但这条路在,下一支控制器接上去就是静默的跨公司改删。
读侧 list(String menuType) 是登录态自读与内部代理用的,故意保留,并被点名只许 1 处。
TaskProgressOwnershipSupport / SimilarAsinTaskLightControllerTest / ResultSuccessTimingContractTest
是 handler 加上 HttpServletRequest 之后的既有契约用例订正;SourceScan 补 withoutComments/methodBody
两支取文助手(源码守卫的匹配面必须剥注释,否则 javadoc 里提一句就能把"必须存在"那形喂绿)。
变异自证:RequestSuppliedIdentityOutletTest 4/4(M1 删参数形出口、M2 删 DTO 形出口、
M3 出口只写进注释、M4 isBound 恒真);JwtSecretFallbackGuardrailTest 4/4(J1 恢复 yml 默认值、
J2 恢复 AuthProperties 默认值、J3 闸门退回只判 isBlank、J4 isInsecure 恒真);
MenuWriteOutletOperatorTest 4/4。
2026-10-07 20:01:32 +08:00
huangzd1997
7c7a7f2665
fix(鉴权): 任务归属身份从会话推导,user_id 与不符即 403
...
客户端任务接口原先把"这单是谁的"交给调用方自报:请求体/查询串带 user_id,服务端拿它当范围
条件。身份应只信会话(JWT),桌面执行器与内部代理通道也不例外:
- AdminAuthSupport 增加 mayActForOtherUsers / resolveOwnershipUserId /
requireOwnershipUserId / bindOwnershipUserId:会话身份与请求 user_id 不一致直接 403,
只有平台超管与被授权管理员能代他人;
- 上架(PublishController/PublishTaskService)先接:user_id 缺失即 401,
仅两个桌面执行器端点允许留空;外观专利/相似 ASIN 的归属谓词补上
Objects.equals(userId, task.getUserId()),不再只比 moduleType;
- AdminApiGuardFilter 把入口口径与新helper 对齐,护栏测试 AdminAuthSupportOwnershipTest +
PublishOwnershipGuardrailTest 双向钉(放行面与拒绝面都有样本)。
同族的进度类模块(原先仍以请求体 user_id 为范围)在 cp-item7 一次接完;这一支只管会改状态/花钱的出口。
另外 resolveOwnershipUserId 的 [ownership-anonymous] 日志按 URI 限流也在这支——桌面执行器 4.0.44
不带凭据,只有分得清是哪个端点在打匿名请求,才敢逐支把它们从 resolve 换成 require。
2026-10-07 20:01:10 +08:00
huangzd1997
3359b14e6e
fix(判死线): 「从未上报结果分片」不再静默跳过,按处理位置三分扩到 5 个模块
...
品牌任务 2626 挂 9 小时那条出口(无结果回传的候选一律 continue、零日志)此前只在
deletebrand 一处改了三分管法;本笔把同一判据接到外观专利、采集、上架、店铺采集、
货源五个模块,并把"待组装→任务锁→尽力收尾→CAS 翻转"的共同尾部抽成一条,
上报过与从未上报两条路共用,避免各模块再各写一份漏掉日志的版本。
合批代价(必须记着):这 28 支文件是并行会话的在制品,提交时它仍在按模块跑变异自证
(ShopDataCrawl 那一支此刻正处于被注入态,注入发生在它自己的副本树里,主树是 pristine),
"全量绿"由本次发版前的独立 worktree 构建代为证明,不是它自己报过的数。
新增 3 支 *NoUploadStaleTest;推送前按登记表 50 个值与高熵串扫过 920 行新增,0 命中。
2026-10-07 02:45:41 +08:00
huangzd1997
b7acfc0eef
feat(菜单权限): 每家公司一套菜单树(V149)+ 公司 tab 只在注册表页渲染
...
本批两件事,加上随本批一起入仓的并行会话在制品:
一、菜单权限按公司隔离(批次 6)
- V149 给 columns 加 company_id:先可空加列(末位、ALGORITHM=INSTANT)→ 回填公司 1 →
MODIFY 收紧 NOT NULL;三段式缺一即撞 1048。同时建 (company_id, column_key) 复合键、
把公司 2 的 16 笔授权按 column_key 改指向它自己的副本,三类 menu_type 全复制,
admin_companies 作为角色内生闸门行不复制(D3)。
- 第三道归属门 PermissionMenuService.resolveScopeCompanyId:站点超管可带 company_id
读写任意公司,非超管锁本公司、越界 403。它注册进 CompanyIdParamGoesThroughReadScopeTest
的 SCOPE_DOORS,四条判据与 readScope / readCompanyIdOrOwn 共用——护栏在代码出口,不靠清单。
- 旁路种子 PermissionMenuSchemaInitializer 只种公司 1:31 段种子逐条钉公司,
按 column_key 点查的 14 段全部带 company_id,否则摘了 DEFAULT 就是跨公司串写。
- CompanyService.create 同一次写入里给新公司复制模板树(D4)。
二、公司 tab 收口(批次 b)
tab 条挂在壳层,对 22 页全画;改为按正列表 companyTabAppliesTo(menuKey) 判定,
只有注册表页渲染。护栏钉在用户看见的那个出口。
三、并行会话在制品(控制方「全部提交」,未单独拆分——见下)
- V150 店铺密钥 biz_shop_key 按公司(readCompanyIdOrOwn + writeCompanyId 两道门)
- V151 品牌库/商品类目推翻为全平台共享:只退唯一键、company_id DEFAULT 保留为
NOT NULL 承重约束(摘了每条 1364);删掉 ProductCategoryControllerCompanyScopeTest
那支"按公司隔离"的旧护栏,readCompanyId 方法一并移除
- invalidasin 字段与外观专利合批的连带改动
为什么不拆笔:后端 3891 例 / 0 红、前端 1731 例 / 0 红这两个读数是"合起来的树"的读数,
拆成多笔会让每一笔落到从未一起验过的组合上,而这一版要直接上两台。
回滚脚本在 backend-java/docs/rollback-V149/V150/V151-*.sql,不放进 Flyway 扫描路径。
设计记录:docs/ops/menu-company-tree-design-2026-10-06.md
2026-10-06 17:17:14 +08:00
huangzd1997
e5e36aa713
fix(外观专利): 批量正文读不出来改走单行补检,不再按传输失败整批记死
...
上游回了 200 但正文不是批量协议(纯文本、或缺 items 数组)时,原来和「请求根本没通」
落进同一个分支:整批 5 行一起记失败、外观请求也不再发出,报表里就是一批没有结论的行
(10-05 21:00-21:32 生产 23 次,约 115 行)。现按异常类型分成内容失败与传输失败两类,
由代码判定而非调用方猜文案:内容失败交给既有单行补检一轮,传输失败仍整批收口、绝不逐行
放大成本。顺带接受「条目齐全但没有 items 信封」的顶层数组形状(生产实见 2 例)。
护栏:HttpTest 加 4 条用例(批内乱码补检、全量乱码只补一轮、顶层数组照读、商标批乱码);
变异 5/5 KILLED,其中 M5 是反向护栏——把分类写死成内容失败也会被既有 3 条用例杀。
货源 SimilarAsinLlmService 逐条核过:批量分类解析失败即走单行回退,无同形状缺陷,不改。
2026-10-06 00:49:32 +08:00
huangzd1997
df03dce9c1
fix(看板): 任务状态收成三态,外观专利终态进度带真实状态落库
...
两次定案方向相反,所以分开钉:主看板只要 执行中/成功/失败 三态(其他状态不再当筛选项);
变体采集那页反过来——撤掉「在跑=0∪1 合并」口径,直接显示 待执行/处理中/成功/失败,
历史终态也要能看到。
- 后端 statusFilter 做同义词展开:成功 = SUCCESS∪COMPLETED,失败 = FAILED∪ERROR∪CANCELLED
(取消=没成功也不在跑,并入失败),展开只住这一处,页面模型不再各自 if。前端筛选项随之
收成 全部/执行中/成功/失败 四项(原 待执行/执行中/已排期/已完成/已取消 那一排撤掉)。
- 变体采集:不传 status = 全部状态,后端原样直查麦象(含历史终态),不再有 0∪1 合并哨兵;
前端选项与 label 同步改。上线顺序仍是先 jar 后前端——新前端发 ACTIVE 打旧 jar 会整页空。
- AppearancePatentTaskService.saveFileBuildProgress 的终态必须带任务真实状态落库:save() 只对
终态豁免 500ms 节流,而收尾三连写(组装/上传/完成)都在同一次调用里,若全按 RUNNING 写
就只有第一条落地,满格「结果文件已生成」必被吞——2026-10-04 生产实测的「已完成 0/130、
57/59」就是这么来的。对齐货源查询侧的 isTerminalFileBuildProgress。
- 节流侧补一条用例钉住"终态不受节流",模块侧补一条钉住"终态写的是任务状态而不是 RUNNING"——
这两条分别在 service 与 mapper 出口,任一处回退都会红。
验证:后端定向 4 类 53/0(外观终态快照 4、进度节流 9、看板查询 34、变体采集 6;与批次①同一轮 mvn 197 例 0 红);admin-frontend-vue 定向 task-center-board 25/0(含三态选项、默认视图、
汇总卡口径)、全量 1726 例中本批 0 红。
2026-10-05 11:52:07 +08:00
huangzd1997
3432232ee1
perf(外观专利): 品牌校验整批共用一次查询与一个超时预算
...
checkTitleText → checkTitleTexts:一批 10 行原先各带一个 total-timeout-millis(90s)
预算串行,上游 16890 劣化时批间隔被拉到分钟级;改成跨行去重一次查询、整批共用
deadline、结论按行归因、返回与入参同序同长。真正的价值是把爆炸半径从"行"收回"批"。
改动比预估大了一圈:三个回退点(标题缺失 / 标题识别失败 / 外观识别失败)原先也在
逐行发品牌查询,而回退行查的是整条原始标题,splitTitleText 能切出十几个词,逐行发
反而最贵。现在回退行只造结论不写行,与正常行汇进同一条 (row, LlmResult) 队列,
出口收敛到 applyLlmRowsInOneBatch 一处;pending.isEmpty() 的早退分支同样要刷,
否则回退行连品牌结论都拿不到。单参 applyResult 重载已删(零调用方 + 编译验证)。
行数不变、LLM 请求次数不变、代理提取次数不变 ⇒ 零成本。语义变化只有当初拍过的那条:
同批同品牌共享一次结论。
护栏 AppearancePatentBrandBatchTest 3 例 + BrandCheckClientTitleBatchTest 4 例,
断言各守一个坑:times(1)+never(checkTitleText) 证明合批真发生、两行结论不同证明
批内归因停在行;变异自证 6/6。后端全量 3631 例 Failures 0 Errors 0。
2026-10-04 18:38:27 +08:00
huangzd1997
37592a3b62
perf(代码审查落地): 后端 A1-A8 与前端 C1-C8 加固,retention 清理补索引(V141)
...
A 组(backend-java):
- A1 载荷引用计数不再无条件回落全表 COUNT
- A2 结果行读取由 LIMIT 1 改整页
- A3 ziniao 索引缓存过期判断下推 SQL
- A4 循环子任务认领改 CAS,失败一律抛
- A5 建单事务里不碰外部 IO
- A6 连接池补网络层超时(connectTimeout/socketTimeout,env 可覆盖)
- A7 日志留现场 + 异步落盘
- A8 其余:货源图片预取、结果工作簿装配等
- V141:三条 retention DELETE 的可用索引,其中 biz_price_track_loop_run
用 STORED 生成列承载 COALESCE 时间线(该表实测 881 行/17MB,COPY 秒级)
C 组(frontend-vue):URL 取值走 safe-url、行号取值走 row-id、
交付视频任务状态抽成 delivery-video-task-state.ts,各补用例。
2026-10-03 12:24:16 +08:00
huangzd1997
b728bb3f4d
perf(外观专利): LLM 批循环按 payload_hash 复用分片行索引,不再每批重读对象存储
...
一次 submitLlmBatches 有 N 批,每批落库前都要知道「哪些行属于哪个分片」,此前这份索引
是每批现做:把该任务全部分片的载荷重读重解析一遍,读的量是 (批数+1)×分片数,全在 LLM
请求的串行路径上。改成收集候选那一遍就把行键记进一次性的索引,后续批次只对 payload_hash
变过的分片重读;载荷哈希与载荷内容在所有写入点都是同一条 UPDATE 落的,可作新鲜度锚。
落库路径一行未改:mergeChunkPayload 仍自己 selectOne + 重读最新载荷再做 CAS,索引只用于
「行属于哪一片」的匹配,不作为合并基底。
测试 AppearancePatentChunkRowIndexTest 三例,逐个做过变异验证:去掉哈希比较只咬住
「变过必须重读」,命中缓存返回空集只咬住「复用后行仍要匹配得上分片」;
全量 3413 例通过。
2026-10-02 10:35:23 +08:00
huangzd1997
5ad0f5f685
fix(任务判死): 外观/货源判死文案按证据陈述,不再断言 Python 中断
...
2026-10-01 三条外观任务被心跳判死时一行业务结果都没回传过(Linux worker 一次领 5 条却只有
2 个采集槽,多出来的任务零心跳零分片直到钟面走完),而文案固定写 "Python interrupted before
uploading final result",把「没开跑」说成「跑挂了」,排查方向被带偏过一次。现在按已落库分片数、
最后回传/心跳时间、客户端最后一次上报的位置分述;结果文件作业重试耗尽也不再写成客户端中断。
2026-10-02 09:21:11 +08:00
huangzd1997
4b29a150f3
refactor: 第一批低风险收敛——任务缓存服务泛型化 + 前端死代码清理与状态映射统一
2026-10-01 14:05:30 +08:00
huangzd1997
943cf2d622
移除外观专利转 Linux 后台后的废弃代码
...
- Java:删除无调用方的 parsed-payload/queue-payload/parsed-groups 三个 HTTP 端点、service 的 parsedPayload/parsedGroupPage 方法与 AppearancePatentParsedGroupPageDto;service.queuePayload 保留(内部认领 SPI 仍在用)
- 前端:删除 getAppearancePatentParsedPayload/getAppearancePatentQueuePayload/activateAppearancePatentTask 封装与 endpoints 条目、ParsedPayloadDto 类型,以及外观专利页永远为空的 queuePayloadText 模板/声明/清零/样式
2026-09-30 13:54:46 +08:00
huangzd1997
f4be12c5f9
外观专利转 Linux 后台主力执行:activate 不再推送客户端浏览器
...
- activateTask 改为状态校验:PENDING 保持等 Linux 内部认领,旧前端点启动给出明确提示并中止入队,任务不会重复执行
- 内部认领新增独立等待窗口 internal-min-pending-minutes(默认2分钟),任务创建后快速自动开始
- 客户端兜底拉取默认白名单移除 APPEARANCE_PATENT,防止未来误开时客户端抢抓
- 前端「启动」按钮改「提交后台执行」:不再 enqueue_json 推客户端队列,直接进入轮询
2026-09-30 13:41:26 +08:00
huangzd1997
27a7cd0f82
fix(任务兜底拉取): 认领转交 owner_instance_id 且归属校验改读列 —— 认领在 server-121 而任务 parse 落 server-110 时, 组装载荷被归属校验拒绝并误标失败; resultJson 里的 ownerInstanceId 只是 parse 快照, 转交后不同步
2026-09-30 12:14:54 +08:00
huangzd1997
fa59de52fb
feat(taskcenter): 13 个客户端任务创建入口记录 JWT 设备号
...
设备号只认 JWT 签名 claim(不接受客户端可控请求头),controller 读取、service
归一化落库;续跑任务由服务端发起,继承原任务设备号。品牌检测走独立
brand_crawl_tasks 表,同一口径。
2026-09-28 22:33:53 +08:00
huangzd1997
5dd11f7048
fix(外观专利/品牌任务): 判死任务不再显示"结果生成中",批次心跳与进度取大写入防误杀
...
29473/29479 心跳超时判死后,前端 statusText/statusClass 先判 isResultPreparing 再看
FAILED,用户看到的是"结果生成中",会以为任务还在跑而继续等(后台检测可能确实还在跑、
文件生成后下载按钮照常出现,但文案必须是失败)。改成 FAILED 一律优先判定,
pendingResultHint 也随之切成"任务已失败,结果文件…"。
后端两处心跳:外观专利 LLM 每批 touchJavaSideTaskActivity —— 软恢复后的检测阶段可达
数小时,不刷会被通用兜底线的 updated_at 超 120 分钟误杀;品牌进度改走 Redis Lua 合并
写入,phase 不被 crawling 打回(assembling/uploading/failed 受保护)、
current_line/total_lines 只增不减,消掉多执行方互相覆盖。
2026-09-28 19:39:00 +08:00
huangzd1997
aa7e07cf02
fix(外观专利): stale 恢复不再把整批 LLM 包进事务,行锁不再持十几分钟
...
那 50 秒锁等待的持锁方就是这里:三个调用点把整个 finalizeStaleTask 包进
PROPAGATION_REQUIRES_NEW,而恢复分支里 submitLlmBatches 每批开头的 touchRunning
是 UPDATE biz_task_file_job ... WHERE id=? AND status='RUNNING',锁要活到串行发完
整批 LLM 请求(线上实测单批 costMs=1077959)之后才释放。改为只把封口和 finalizeTask
各自包成短事务,LLM 批次留在事务外;另在发批前查 isActualTransactionActive 做回归哨兵。
同源的 SimilarAsinTaskService 一直是正确形状,这里只是回到一致。
2026-09-28 14:11:36 +08:00
huangzd1997
f4f6e414f0
fix(外观专利): 完成标记只打在真正落库的行上
...
网关少回一行、或回来的 rowToken 在分片里匹配不到时,整批结果落库不完整,
但调用方仍把全部发送行标成已检测:没落库的那行带着"已检测"的空壳 24 小时内
不再补检,用户扣了次数却在结果里永久没有结论。合并写入改为回报真正写进去的
行键,只对这些行打完成标记,其余撤销交下一轮重发(受轮次上限约束)。
2026-09-28 03:09:49 +08:00
huangzd1997
9b0188f5ad
fix(外观专利): 行重发加轮次上限,超限就地判失败并写明原因
...
两态行标让失败行下一轮能重新申领(否则发版/中断就永久丢行),代价是轮次层此前
完全没有闸:上游持续劣化时同一批行会一轮轮重发,每轮都过 SecretUsageContext.call
扣用户的 LLM 次数;而 assemble job 走 deferRunning 不累加 retry_count,
MAX_RETRY_COUNT 那道闸永远到不了,HTTP 层的 llmRetryTimes=3 也只管单轮内部。
新增 aiimage.appearance-patent.llm-row-max-rounds(默认 3,<=0 关闭)。轮次落在独立
Redis 键上(处理中键会被撤销、完成键只在成功时打,只有这张表能回答"这行被重发过几次"),
首轮设 TTL 后续不自增 TTL;Redis 故障时读成 0,宁可不闸也不把在跑的检测判死。
顺带修 countUninspectedRows:Python 心跳超时恢复路径原先用 collectPendingLlmCandidates
数待检行数,那一步会把行申领走,紧接着真正发起检测时就一行也拿不到,整单只能等
处理中标记 TTL 过期。
2026-09-28 00:42:22 +08:00
huangzd1997
a58dc8a680
fix(断点续传): 外观/结果作业/去重三处中断语义补齐,重启不再静默丢行
...
- 外观专利行标改两态(in-flight 15min / processed 24h):只有 CAS 写回 payload 成功
才转「已处理」,异常、覆盖率不足、CAS 打满等未落库出口一律撤销标记 —— 修「发 LLM
请求前就盖章,进程被杀的那一批永不再补检」
- 结果文件作业开机自回收:按 owner_instance_id 只收本机名下 RUNNING 且心跳超 90s 的行;
卡死阈值 30 → 5 分钟,重启接回从最长半小时压到 5 分钟
- 外观结果表缺检行显式写「未取得检测结果」并判失败,不再留空靠 0.5 覆盖率阈值蒙过
- 去重进度改 NodeSharedStore 跨节点共享,runId 用已落库的 task_no:轮询打到另一节点或
发版重启后仍能读到真实进度、已完成文件仍可下载;共享态缺失时按 task_no 从库重建;
逐文件心跳防 StaleTaskRepair 把长任务误判死;开机把本机残留 RUNNING 判失败并给提示
2026-09-27 22:26:09 +08:00
huangzd1997
ed7dd9381b
feat(LLM): 外观专利/货源多行合批 + 读超时抬到 600s,砍请求次数
...
- 外观专利:商标提取 10 行一批、外观检测 5 行(=5 张图)一批,一个 10 行批次
从 20 次请求降到 3 次。Gemini 支持多图,无需再逐行单独发图。
- 批量协议:用户文本用「序号<TAB>行」,响应 {"items":[{"i":n,…}]} 一律按序号回填,
不信数组位置。三道校验门(序号在批内、关键词逐字属于本行原文、状态枚举且理由非空),
缺行或失真行单发补检一次;传输失败按整批记失败、绝不逐行重发,避免劣化窗口放大成 N 倍。
- 应急开关:llm-title-batch-size / llm-appearance-batch-size 任一设为 1 即退回逐行,无需改代码。
- 货源查询:类目一级/二级合并为一次调用,两级树每批只加载一次(原来每行各问一次、共 2 次)。
- 超时:读 600s、首查 300s(外观专利与货源同步调整)。合批后单请求输出量约为原来 5 倍,
沿用按单图调出的 60s 会误杀正常慢批次、连带整批白等一轮重试。
- 口径影响:后台 LLM 使用按「次」统计,上线后次数约降到 1/6.7,与历史数据不可横向比较。
2026-09-27 19:47:51 +08:00
huangzd1997
fd54655f17
fix(外观专利): 覆盖率分母改为解析全行并启用阈值,修「904 行只检 1 行仍报成功」
...
三处叠加导致塌陷不可见:
1. validateCompleteLlmCoverage 收到的 receivedRows 已经按「拿到结果」过滤过分母,
覆盖率恒为 100%,整片结果丢失也测不出来;改为传解析出的全部行。
2. 判定被放在 filterReceivedParsedRows 之后,整个源文件结果全空时会先 continue 掉,
连判都不判;移到循环开头,zip 少一个文件不能还报成功。
3. 阈值本身写死在 `boolean enforceCompleteLlmCoverage = false` 上,是死代码。
改为配置 aiimage.appearance-patent.llm-coverage-min-ratio,默认 0.5 只拦塌陷级
(现网正常任务实测约 0.91)。
完整性判定另拆出 hasDeliverableLlmResult:现网正常返回里 patent 恒为空串,
拿它当必要条件会把每个任务都判成不完整。
isTechnicalLlmFailure 去掉按 "coze" 子串匹配——品牌名 "Cozee Bay" 会被判成调用失败、
真结论被清空;Coze 工作流特征串随直连改造一并移除。
2026-09-27 11:26:54 +08:00
huangzd1997
4df80b95b8
fix(外观专利): 状态列要求商标与外观都成功,修「商标查询失败」仍显示成功
...
状态列原先按「结论非空即成功」反推,而「商标查询失败」(品牌检测上游查询
失败)是主动写进结论列的合法文案,于是结论写着失败、状态却写成功,自相矛盾;
LLM 技术性失败的行同样被误判为成功。
改为:结论列产出「侵权」/「无侵权」(两个维度都给出有效判定时才会产出)才判
成功;「商标查询失败」「外观识别异常」、LLM 技术性失败、空白一律判失败。
影响:外观专利检测结果 Excel 的「状态」列;不改变任务级完成判定。
2026-09-27 11:18:17 +08:00
huangzd1997
b9ed336510
fix(解析器): 表头行整行格式污染时列范围按「非空表头」收缩
...
用户 Excel 表头行被整行格式化(整行实例化成 16384 个空单元格)时,货源/外观专利/集采
三处解析器按最大单元格列号展开列范围,每行数据被填充 1.6 万个占位空值,142KB 的 xlsx
生成 2.3GB 载荷,建任务 500(2026-09-26 生产事故:货源没跑出来.xlsx)。
- SimilarAsinExcelParser / AppearancePatentExcelParser / CollectDataService:列范围改为
只统计非空表头的最大列号,尾部空列不再生成占位列(中间空列占位行为保持不变)
- 新增三处回归测试 + 事故样本(原样 + 集采关键词变体)
2026-09-26 20:45:07 +08:00
huangzd1997
afa45d51c3
fix(长任务判死): 封口前增加「客户端仍在推进」豁免,避免还在采集就被结案丢数据
...
服务端二次判死线(心跳正常但 N 分钟无结果分片上报)只看分片间隔,客户端攒批回传一慢
就把仍在采集的任务判成卡死、封口结案,后续分片全被拒(生产 28919:1300 行只出 395 行,
丢 905 行)。改为封口前用 TaskHeartbeatPositionService 的位置快照判定客户端是否仍在推进:
ADVANCING(位置在变)→ 本轮不封口;STALLED(长时间不变)→ 按原判据;UNKNOWN(老客户端
无位置信息)→ 保留原行为。接入 similar-asin / appearance-patent / brand / delete-brand /
collect-data 五条判死线。
2026-09-23 10:54:59 +08:00
huangzd1997
4b162d1f38
feat(任务恢复): 外观专利接上「补传恢复」;合并冲突保留兜底对象并可诊断
...
28459 的两个遗留项:
1) 外观专利缺「补传恢复」入口——分片缺失致组装 job 重试耗尽后,客户端补传缺口
也无法自动重跑,只能人工重置 job。TaskFileJobService 早有
resetTerminalFailedForRecovery,但只被删除品牌模块接了。现按同一口径在分片
提交成功后检查并恢复;best-effort,恢复失败不影响补传本身。
2) 合并 CAS 冲突不可诊断且会删掉唯一的兜底对象——原实现每次冲突都删掉刚写入的
版本化对象,重试耗尽即抛异常、行仍指向旧指针;一旦旧对象也不在,该分片永久
读不到(28459 的 chunk-462/473/484 正是这个形态)。现在冲突时读回行上当前
哈希并写进异常与日志;终局失败保留最后一个对象,作为读路径「同槽位兄弟对象」
兜底的恢复源。外观专利与相似ASIN 同一口径。
测试:新增 17 个用例(补传恢复 8 / 外观专利合并冲突 5 / 相似ASIN 合并冲突 4),
RED 均已确认;全量 mvn test 3099 个 0 失败。
2026-09-17 11:04:38 +08:00
huangzd1997
dd85c4f4f2
fix(任务收尾): 打破「数据永久缺失 → 卡死恢复无限重建 job」的死循环
...
线上任务 28459(appearance_patent)卡在 RUNNING:chunk 462/473/484 的 payload
对象已不存在,组装失败 → stale recovery 每 30 秒重建一次 assemble job 再失败,
而恢复过程又会刷新任务心跳、任务永远判不出「卡死」,48 分钟空转近百轮。
- appearance-patent:读 chunk 时若 payload 对象已不存在(RustFS NoSuchKey),
跳过该分片让任务按已有分片出部分结果,不再抛异常把组装永久拖死;
similar-asin 在原有 typeMismatch 跳过分支旁补同款处理
- TaskFileJobService.hasExhaustedAssembleJob + stale recovery:已有「重试耗尽且
已终态收尾」的 assemble job 时放弃恢复,交给 finalizeStaleTask 按失败收尾
—— 用户看到明确失败,而不是无限 RUNNING
实测:部署后两节点 28459 相关日志、rustfs 确定性错误、stale recovery 重建全部归零。
2026-09-17 01:19:14 +08:00
huangzd1997
06b3fc3502
perf(全链路): 连接池/事务边界/轮询与 IO 效率收口
...
Java:
- LLM 180s 读超时不再被全局 call-timeout 静默截断成 90s(长思考请求被掐断→重试→付费网关二次计费)
- 代理 HttpClient 缓存改有界 LRU(jikip 每次提取新 IP,无界缓存持续泄漏 selector 线程与连接池)
- 12 个 service 的 Redis 任务锁移出 @Transactional(自旋最坏 10s 白占 DB 连接,池仅 30),远端对象删/传改 afterCommit
- 结果文件 Job 闸门拒绝时不再回退内联执行(改重新入队,避免把背压转嫁给 MQ 消费线程)
- imagevideo 每秒扫描加列投影、过期清理加 LIMIT;权限页整表查询改列投影(不再拉回密码哈希)
- 哈希改 HexFormat;补 5 处"不能改"的技术依据注释(批量插入会丢回填主键、流式丢模板与图片等)
前端:4 个工具页轮询改轻量端点(带 fallback);PriceTrack 快照节流写盘;候选店铺表分页;页面隐藏时停表
客户端:HTTP 连接池按出口复用(Session 仍每请求新建,保持无跨请求状态);品牌检测 WIPO 逐请求握手;
代理配置按 mtime 缓存;串行任务改专属池;异常降级为标签页重连;紫鸟启动改端口轮询;模板编译缓存;
日志上报连接与落盘收口;Flask 版本 API 改按请求复用连接
2026-09-15 23:01:59 +08:00
huangzd1997
792b5f8bce
feat(任务判死): 心跳正常但 180 分钟无结果上报的二次判死线(13 模块)+ 同期待发改动
...
判死线(治 28131 型「主线程卡死、心跳线程照发」):
- 判据改看 biz_task_scope_state.last_chunk_at(HTTP 心跳不刷新它);从未上报跳过不判
- 中央线覆盖 DELETE_BRAND/PRODUCT_RISK_RESOLVE/PRICE_TRACK/SHOP_MATCH/PATROL_DELETE/QUERY_ASIN/WITHDRAW
- 自带线接入 COLLECT_DATA/SIMILAR_ASIN/APPEARANCE_PATENT/SHOP_DATA_CRAWL/PUBLISH/BRAND
- 客户端心跳带处理位置 progressText,判死文案含最后位置;no-result-upload-timeout-minutes 默认 180(0 关闭)
同期带上另一工作流的待发改动:跟价换 IP 重试、品牌检测重试上限与 LLM 并发下调、
教程包后台管理页与 V126 迁移、admin-vue 教程记录页。
2026-09-14 17:56:20 +08:00
huangzd1997
2d5ca99068
feat(任务派发): 客户端兜底拉取页面未推送成功的任务 + 修店铺匹配定时任务误杀
...
问题:任务派发链路的"推送"只存在于页面里(Java 解析落库 PENDING → activate →
pywebview 桥 enqueue_json 推本机队列)。只解析没点启动、推送前关页面、在纯浏览器
打开,任务都会停在 PENDING,2 小时后被 StaleTaskRepairService 标失败
(「任务长期未被领取,已自动失败」,09-11 生产清理过 263 条同画像)。
- 服务端新增 GET /api/tasks/pull-pending(TaskClientPullController,身份从 JWT 取,
不接受 user_id 参数):只挑创建超 5 分钟仍 PENDING 的本用户任务,逐条条件更新认领
(PENDING→RUNNING + 接管 owner_instance_id)——与页面 activate 同一谓词,天然互斥,
不会重复执行;认领后组装不出载荷则标 FAILED,不留 RUNNING 孤儿
- payload 由各业务模块实现 ClientTaskPullSpi 组装(task 侧不 import 业务模块,同 G5):
首批 SIMILAR_ASIN / COLLECT_DATA / APPEARANCE_PATENT——这三个 Python 消费端会自行
回拉明细,故载荷极简、客户端零模块知识;开关 aiimage.client-task-pull.enabled 默认 false
- 防双执行:三处 activate 由「非终态即可」收紧为只认 PENDING,未命中抛
「任务已在执行中(可能已由客户端自动接管),无需重复启动」(顺带堵住整行 updateById
把认领写入的 owner 覆盖回去的竞态);两个前端页 activate 失败即提示并停止入队
- 客户端:amazon/main.py 新增 pending_task_pull_worker,启动点挂在 app_client/main.py
的 start_task_monitor(独立入口的 worker 线上并不生效);开关 pending_pull_enabled 用
getattr 读取,避免 test/ 下的旧 config 缺键导致整包导入失败
- 同批修:StaleTaskRepairService 的 SCHEDULED 分支改按 scheduled_at + 120min 判死
(原按 updated_at 会必杀排期 >2h 的店铺匹配定时任务,而 activate 又被 scheduledAt-90s 挡住)
- 测试:TaskClientPullServiceTest / StaleTaskRepairServiceTest / CollectDataTaskPullSpiImplTest /
CollectDataActivateGuardTest 共 20 例;客户端 pending_task_pull_worker 7 例并更新启动顺序契约测试
2026-09-14 16:23:34 +08:00
huangzd1997
9cac49cf58
perf(F5+): 行数据按需拉取(结果行版本信号)+ 修复 progress/light 恒判 missing
...
行数据按需拉取(审查 F5 后续):
- V125 给 biz_file_result 补 updated_at(DEFAULT/ON UPDATE 由数据库维护,
实体标注 insertStrategy/updateStrategy=NEVER —— 否则 selectById→updateById 的
写回会把旧值写回去、ON UPDATE 不触发,版本信号静默冻结)
- 装配器回传 rowsVersion=「最后变更时间毫秒#行数」,5 个品牌工具页版本未变即跳过
带行明细的重型 batch;前端变更信号为 rowsVersion + status/fileStatus/fileReady 复合
(任务收尾常见「行早写完、之后才置成功」,只看行版本会把界面卡在旧状态)
修复线上缺陷(同一功能验证时暴露):
- TaskProgressLightAssembler 列裁剪漏选 module_type 却用它做模块过滤 →
getModuleType() 恒为 null → light 恒把任务判成 missing;第七批把 light 接进
跟价/定时匹配/商品风险的轮询后,消费方会把运行中任务判为 FAILED
- 补选中列 + 守卫用例 taskQueryMustSelectModuleType(已反向验证:去掉修复即红)
- 前端 lightClaimsAllTasksMissing:整体性 missing 结论用重型端点复核后再采信
契约与文档:light 白名单补 rowsVersion(Java 契约测试 / spec 06 §2 / 12 个端点描述)
测试:mvn test 2901 全绿;前端 npm test 765 全绿
2026-09-14 12:08:25 +08:00
huangzd1997
659180b8d2
perf(C5): 外观专利服务解析改走流式解析器(最后一条活路径)
...
AppearancePatentTaskService.parseWorkbook 原为 POI 全量 DOM(用户源文件整表入堆);
改为复用已有的流式孪生实现 AppearancePatentExcelParser(EasyExcel SAX,语义一致且自带单测),
服务侧只保留原有业务处理(分组键/状态过滤/字段补齐/hydrate)。外观专利模块测试全绿。
至此:用户源文件的解析已无 DOM 路径(剩余 DOM 仅用于报表模板写入,样式/图片/公式必须 DOM)。
2026-09-14 10:58:59 +08:00
huangzd1997
f4ee7e16f0
refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
...
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)
性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引
安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)
容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
(该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
2026-09-14 06:46:27 +08:00
huangzd1997
9e4b56b588
refactor: 结果下载直链解析去重(11 处 → 1 处)
...
新增 common/service/ResultDownloadResolver,7 个模块的 resolveResultDownloadUrl
改为委托调用(appearancepatent/queryasin/withdraw/pricetrack/productrisk/
patroldelete/shopmatch)。
顺带修掉两处隐患:
- 原实现用 userId.equals(entity.getUserId()),userId 为 null 时 NPE
(新实现用 Objects.equals)
- shopmatch 原实现在 url 为空时抛"任务不存在",与语义不符,统一为"暂无可下载文件"
其余 4 处**刻意保留**,因为它们本就不是重复:
- shopdatacrawl:有 validateUserId + requireResultEntity + ensureResultOwner 前置校验
- deletebrand:返回 null 而非抛异常(调用方依赖该语义)
- similarasin:已分叉为返回 record ResultDownloadInfo
- brand:走的是另一套下载路径
文件名解析 resolveResultDownloadFilename 同样没收口:各模块兜底文件名策略确有差异
配套更新 3 个显式构造 Service 的测试(DelegationTest/HistoryBatchTest/
RollbackSemanticsContractTest)注入新依赖的 mock。mvn test 2795 个全绿。
2026-09-14 05:17:10 +08:00
huangzd1997
90cf32787d
fix: 第四批修复(结果读取并发化/分页钳制/JWT 密钥强校验/凭据按 id)
...
性能
- listResultSnapshots 对指针化载荷改并发读取(有界池 + 保序汇总):此前逐行同步对象存储读,
500 行结果文件生成要多花数十秒。仅在确有指针行时才走池——内联 JSON 直接串行读,
避免为本地读取引入调度抖动(性能基准测试容差会被影响)
安全/正确性
- 管理端 GET /{id}/credential 改为按路径 id 查询(此前忽略 id、改用 shop_name,
会出现「路径声明的店铺」与「实际读取凭据的店铺」不一致);凭据 VO 构造抽公共方法
- server profile 下 JWT 密钥缺失即拒绝启动:此前静默回退到公开默认值(等同无防护,
任何人可伪造 token),只留 warn 日志拦不住发布事故;本地/测试 profile 保持宽松
边界
- 分页/条数参数补齐上限钳制(文档早已声明"最大 N"但无校验):
PriceTrack/ShopMatch 的 page_size → 2000;TaskFileJob 的 limit → 1000;
AppearancePatent/Publish 的 limit → 100
2026-09-14 05:02:33 +08:00
huangzd1997
7368322791
fix: 全维度审查修复(安全/正确性/性能/稳定性/客户端/前端)
...
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权(此前可匿名换取任意员工店铺登录令牌)
- 删除 Flask 遗留后门:默认密码建超管 + 每次启动写生产 users 表(服务端与客户端各一份)
- 进度/详情接口归属过滤:新增 TaskProgressOwnershipSupport,11 模块 progress/light 与
/tasks/batch 接入,DTO 补 userId,前端 13 个查询封装补传(未传时后端不过滤,兼容旧端)
- 代理提取链接(含账密)不再明文入日志(新增 common/util/SecretMasking)
- 全局异常兜底不再回传原始异常信息;内部令牌比较改常量时间
- 登录加失败计数与锁定(10 次锁 15 分钟);品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15(开关默认 false,行为不变,为收紧做准备)
- 生产关闭 springdoc/knife4j(/doc.html 匿名可读全部接口定义)
正确性
- 40901/40902 拆分:锁竞争不再被伪装成 success=true(此前客户端停止重试、分片静默丢失)
- 假成功收敛:集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally(7 模块,失败路径不再留僵尸 RUNNING 任务)
- 状态机条件更新:跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交
性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB(Element Plus 改按需 + el-config-provider)
- 载荷引用计数按指针里的 taskId 收敛(原 JSON 列 IN 全表扫且逐行调用)
- 店铺明细多值批量 INSERT;快照 upsert 预载缓存;结果文件列改单条 UPDATE
- 新增迁移 V120(补 3 个缺失索引)/V121(删 4 个被覆盖的冗余索引)/V122(URL 前缀索引)
稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列(防堆积 OOM)
- Redis 锁释放改 Lua 原子校验(原裸 delete 会误删他人已过期的锁)
- imagevideo 加死节点接管;锁续期失败重试;调度池 4→16;openStream 全部加超时
- 事务内远程对象删除移到提交后;启动恢复锁按实例命名
客户端
- 不再 taskkill /f /im chrome.exe(改为按调试端口精准回收,不杀用户自己的浏览器)
- 密码检测不再无条件杀紫鸟进程;品牌检测加全局互斥(代理池不再互相覆盖)
- base_dir 统一到 exe 目录(原被 os.getcwd() 覆盖,日志/缓存会分裂两个目录)
- 缓存加定时清理;图片下载加超时;mkstemp 句柄托管
测试
- 同步更新受影响的契约测试(构造器签名/条件更新/方法改名/新增接口方法等)
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
2026-09-14 04:15:36 +08:00