huangzd1997
|
8812a3b64a
|
feat(安全): 店铺凭据解密支持历史密钥,为轮换留出双密钥窗口
换 shop-credential-key 会让 435 行历史密文全部解不开,而调用方拿到解不开的串
是当明文口令往外发(紫鸟账号、1688 店铺、第三方 api_key 都这样用)。
现在新增 aiimage.security.shop-credential-key-previous(逗号分隔),解密按
当前→历史的顺序回试,加密只用当前密钥;全部不中时 WARN 写明"这串密文会被
当成明文口令发出去",不再静默回退。与当前密钥相同的历史项自动丢弃。
previous 留空时行为与改动前逐字节一致(6 例单测盯着这一条)。
轮换设计与取证见 docs/ops/credential-rotation-design-2026-10-02.md(只含长度与
sha8 指纹,无明文值);轮换本身与存量重加密脚本仍未做。
|
2026-10-02 11:01:18 +08:00 |
|
huangzd1997
|
5f7f37c788
|
docs(运维): A1 外观批间全量重读已改码 b728bb3f,记下未做的改法2与货源同形态
|
2026-10-02 10:36:18 +08:00 |
|
huangzd1997
|
b728bb3f4d
|
perf(外观专利): LLM 批循环按 payload_hash 复用分片行索引,不再每批重读对象存储
一次 submitLlmBatches 有 N 批,每批落库前都要知道「哪些行属于哪个分片」,此前这份索引
是每批现做:把该任务全部分片的载荷重读重解析一遍,读的量是 (批数+1)×分片数,全在 LLM
请求的串行路径上。改成收集候选那一遍就把行键记进一次性的索引,后续批次只对 payload_hash
变过的分片重读;载荷哈希与载荷内容在所有写入点都是同一条 UPDATE 落的,可作新鲜度锚。
落库路径一行未改:mergeChunkPayload 仍自己 selectOne + 重读最新载荷再做 CAS,索引只用于
「行属于哪一片」的匹配,不作为合并基底。
测试 AppearancePatentChunkRowIndexTest 三例,逐个做过变异验证:去掉哈希比较只咬住
「变过必须重读」,命中缓存返回空集只咬住「复用后行仍要匹配得上分片」;
全量 3413 例通过。
|
2026-10-02 10:35:23 +08:00 |
|
huangzd1997
|
87a306458c
|
fix(货源): 品牌检测部分结果文案只写可观测事实,不再指认猜测的故障原因
通知里那句「(品牌检测服务超时或被限流)」是本层代码推断出来的,真实原因
只有 BrandCheckClient 的 brand-check warn 日志知道(本轮实际是代理取不到 IP)。
把猜测写进用户通知,会把排查方向从「代理/账号余额」带到「品牌服务」上去。
新增 CollectDataPartialResultNoticeTest 3 例:驱动真 processResultFileJob,
断言文案含可核对的语义、不含「超时/限流」,且任务已被判失败时不推这条。
|
2026-10-02 10:35:17 +08:00 |
|
huangzd1997
|
0fd0ee17ee
|
fix(通知): 聚合去重键从小时桶改自然日,刷新不再把已读点亮回未读
后台「通知」被刷屏的两个乘数:一条告警一天最多重发 24 次(小时桶换键),
以及刷新时 set read_at=null 把用户已读过的红点重新点亮。现在 task_failed /
service_down / maixiang_anomaly 五类键统一按「用户×模块×自然日」聚合,
pushOrRefresh 只更新文案不动 read_at;桶的日期取事件自身的 updatedAt,
跨零点轮询不会把昨天的失败挪进今天的桶。
|
2026-10-02 10:35:06 +08:00 |
|
huangzd1997
|
b5614c9f10
|
docs(运维): 上线后性能/逻辑审查报告(外观与货源两条链的批间串行等待是大头)
只读代码审查,每条带 file:line,依赖线上数才能定量化的标了【待测】并附取数 SQL。
四条 P0 的共同形态是「贵的不是 LLM 本身,是夹在批次之间的串行等待」;另记两处
有现成批量接口没接上的系统性浪费与一处调度自相矛盾(PENDING 排队超 5 分钟被 retry
顶到上限,之后一次真实超时直接判死)。
|
2026-10-02 09:22:48 +08:00 |
|
huangzd1997
|
7772854352
|
fix(货源): LLM 密钥去掉平台公费兜底,任务没带自己的密钥就不检而不代付
`llm-api-key` 这条回落链(配置 → 公费 key)此前是账目对不上的一个来源:用户没配密钥时
货源任务照样跑完 LLM,花费记在平台头上。现在只认任务自带的 api_key,为空即跳过检测、
保留原始行。两台线上都未设置 AIIMAGE_SIMILAR_ASIN_LLM_API_KEY,本批发布对现网行为零变化。
|
2026-10-02 09:21:40 +08:00 |
|
huangzd1997
|
a4391de6fa
|
perf(用户密钥): 探测与告警按密钥值收敛,共用同一把 key 的账号不再各付一次提取费
实测 314 条配置只有 33 种密钥(一把平均挂 9.5 个账号):定时巡检按「模块+密文」分组后一轮只
真实探测一次;后台「立即检测该用户」的 90s 新鲜期缓存键去掉 uid、改为按密钥值指纹共享,
管理员连点 N 个共用 key 的账号只付 1 次费。管理员侧告警按密钥组合并成一条(受众仍按数据权限
过滤,正文不列 uid——同 key 账号常分属不同主管),单账号组保持原文案与原去重键。
|
2026-10-02 09:21:25 +08:00 |
|
huangzd1997
|
5ad0f5f685
|
fix(任务判死): 外观/货源判死文案按证据陈述,不再断言 Python 中断
2026-10-01 三条外观任务被心跳判死时一行业务结果都没回传过(Linux worker 一次领 5 条却只有
2 个采集槽,多出来的任务零心跳零分片直到钟面走完),而文案固定写 "Python interrupted before
uploading final result",把「没开跑」说成「跑挂了」,排查方向被带偏过一次。现在按已落库分片数、
最后回传/心跳时间、客户端最后一次上报的位置分述;结果文件作业重试耗尽也不再写成客户端中断。
|
2026-10-02 09:21:11 +08:00 |
|
huangzd1997
|
fa4bd57016
|
refactor: 第二批收敛——公共 Excel 写出器 + 任务收尾零件下沉 + 前端上传区/任务面板抽取
|
2026-10-01 15:00:52 +08:00 |
|
huangzd1997
|
4b29a150f3
|
refactor: 第一批低风险收敛——任务缓存服务泛型化 + 前端死代码清理与状态映射统一
|
2026-10-01 14:05:30 +08:00 |
|
huangzd1997
|
f05960659f
|
feat(模型): 密钥检测模型也切换至 gemini-3.1-flash-lite-preview-thinking-medium,弃用 doubao
- aiimage.user-secret.check-model 默认值由 doubao-seed-2-0-lite-260215 改为
gemini-3.1-flash-lite-preview-thinking-medium(application.yml 与 Properties 同步)
- 检测与业务同款模型:同为便宜档,且"密钥能过但目标模型在中继不可路由"能在巡检时更早暴露
- 已实测核实生产两节点容器无任何 MODEL 环境变量覆盖(docker exec java-server env),
改默认值即生效;密钥检测每日 04:30 巡检,部署次日见新模型
测试:UserApiSecretCheckServiceTest 23 例全绿。
|
2026-10-01 12:23:59 +08:00 |
|
huangzd1997
|
19fbc0c9bd
|
feat(模型): 外观专利 / 货源查询切换至 gemini-3.1-flash-lite-preview-thinking-medium
两个模块 5 个模型开关统一替换(原 gemini-3.8-flash):
- 外观专利:商标提取(title-model)、外观检测(appearance-model)
- 货源查询:类目匹配、合规检查、图片对比(llm-category / conform / image-compare-model)
application.yml 默认值、Properties 类默认值、本地配置样例、测试断言与网关探测脚本
一并同步。生产两节点无环境变量覆盖,走 yml 默认值,随下次 JAR 部署生效。
测试:AppearancePatentLlmClientHttpTest 16 例全绿。
|
2026-10-01 12:19:13 +08:00 |
|
huangzd1997
|
629fdfab79
|
feat(ASIN缓存): 新增 ASIN 采集结果跨任务缓存(asincache 模块 + V139)
同一个 (国家, ASIN) 的详情页被反复重采:单任务内 62.9 倍重复(43,504 行只有 692 个
不同 ASIN)、8 天跨任务 6.7 万行重复(2026-10-01 实测),每条重复都意味着重开一次页、
可能重买一次代理 IP。关键词链与变体链的结果分别落在两处互相看不见,只有 Java 侧能同时
收到两条链的结论,所以缓存放服务端、由服务端判新鲜度。
- 新表 biz_asin_result_cache(V139):一个 (国家, ASIN) 一行,重采覆盖;只收两种可复用
结论 —— OK(页面正常且有价格,复用 60 分钟)、NOT_FOUND(详情页 404,复用 7 天);
空价 / 风控拦截页 / 采集异常一律不入库,避免把瞬时故障锁成永久结论
- 新鲜度只在服务端判(按 observed_at 真正开页时间);采集端拿不到 / 看不懂一律照常开页
(fail-open),任何情况下不许让缓存导致漏行、错行
- 新增内部接口 /api/internal/asin-cache/query|write(X-Internal-Token 自校验,与
InternalBrandTaskController 同口径),供采集端开页前先问、采完回写
- 关键词采集链在任务锁外旁路写入:缓存写失败的代价只是"下次多开一次页",只记 warn,
不影响 chunk 提交
- migration-inventory.md 快照更新至 V139,「V137 冗余索引 DROP」待办顺延 V140
测试:AsinResultCacheServiceTest(13)/ InternalAsinCacheControllerTest(5)/ 采集链
4 个测试类(35)共 53 例全绿。
|
2026-10-01 12:19:05 +08:00 |
|
huangzd1997
|
051eab6de5
|
docs(运维决策): 记录续跑/兜底拉取开关 10-01 已开启与回读证据
§13.4 的"要不要开"由用户拍板为开,落地的只有 .env 两行;
同时记下与 13.4 的两处偏差(白名单已在代码里收窄、A 保持内部认领关闭)
以及外观专利中断单会被自动重跑并扣用户自付次数这个客户可感知代价。
|
2026-10-01 00:53:37 +08:00 |
|
huangzd1997
|
40df9319cd
|
品牌任务判死文案不再提「前端」,带真实超时分钟数
「前端长时间无响应,任务已自动失败」是 Flask 时代遗留文案(任务心跳
早已由服务端记录),对用户误导大;改为「任务超时(N 分钟无进度上报),
已自动失败」,N 取 brandProgressProperties 配置(默认 30)。
|
2026-09-30 15:35:56 +08:00 |
|
huangzd1997
|
bab0777c7d
|
chore(更新日志): 追加 4.0.41 条目(国家切换失败修复/未开通商城明确提示)
|
2026-09-30 13:55:54 +08:00 |
|
huangzd1997
|
943cf2d622
|
移除外观专利转 Linux 后台后的废弃代码
- Java:删除无调用方的 parsed-payload/queue-payload/parsed-groups 三个 HTTP 端点、service 的 parsedPayload/parsedGroupPage 方法与 AppearancePatentParsedGroupPageDto;service.queuePayload 保留(内部认领 SPI 仍在用)
- 前端:删除 getAppearancePatentParsedPayload/getAppearancePatentQueuePayload/activateAppearancePatentTask 封装与 endpoints 条目、ParsedPayloadDto 类型,以及外观专利页永远为空的 queuePayloadText 模板/声明/清零/样式
|
2026-09-30 13:54:46 +08:00 |
|
huangzd1997
|
f4be12c5f9
|
外观专利转 Linux 后台主力执行:activate 不再推送客户端浏览器
- activateTask 改为状态校验:PENDING 保持等 Linux 内部认领,旧前端点启动给出明确提示并中止入队,任务不会重复执行
- 内部认领新增独立等待窗口 internal-min-pending-minutes(默认2分钟),任务创建后快速自动开始
- 客户端兜底拉取默认白名单移除 APPEARANCE_PATENT,防止未来误开时客户端抢抓
- 前端「启动」按钮改「提交后台执行」:不再 enqueue_json 推客户端队列,直接进入轮询
|
2026-09-30 13:41:26 +08:00 |
|
huangzd1997
|
27a7cd0f82
|
fix(任务兜底拉取): 认领转交 owner_instance_id 且归属校验改读列 —— 认领在 server-121 而任务 parse 落 server-110 时, 组装载荷被归属校验拒绝并误标失败; resultJson 里的 ownerInstanceId 只是 parse 快照, 转交后不同步
|
2026-09-30 12:14:54 +08:00 |
|
huangzd1997
|
829dbf1a72
|
chore(更新日志): 追加 4.0.40 条目(新版库存页修复 / 失败原因回传 / 凭据掩码 / 供应商拒付 / 环境熔断)
|
2026-09-30 11:44:41 +08:00 |
|
huangzd1997
|
279c1641ea
|
fix(任务兜底拉取): 候选 cutoff 显式用北京时间 —— 容器默认 UTC, LocalDateTime.now() 与 DB 北京时间字面值比较错位 8 小时, 候选查询恒空(内部认领上线实测踩中)
|
2026-09-30 11:40:00 +08:00 |
|
huangzd1997
|
881d35acfa
|
fix(任务终态): 店铺级部分失败不再静默SUCCESS——四模块按失败原因如实标FAILED
- ProductRiskTaskService: 新增结果组装守卫(isResultAwaitingFileAssembly),部分店铺失败→FAILED; 补ProductRiskTaskServiceTest
- PriceTrackTaskService: 部分店铺失败→FAILED
- DeleteBrandRunService: failedCount>0→FAILED(不再"有成功就算成功"),预览行与计数反映组装终态
- ShopMatchTaskService: 同模式
|
2026-09-30 11:07:45 +08:00 |
|
huangzd1997
|
c0492f7c86
|
feat(任务兜底拉取): 新增服务端内部认领端点 /api/internal/tasks/pull-pending —— Linux 后台 worker 专用(X-Internal-Token), 不限用户认领长期 PENDING 任务, 独立开关 internal-enabled 与客户端兜底解耦; 外观专利详情页抓取迁 Linux 前置
|
2026-09-30 11:00:34 +08:00 |
|
huangzd1997
|
b0676e09c1
|
chore(更新日志): 追加 4.0.38/4.0.39 条目(跟价+全模块适配新版库存页)
|
2026-09-30 08:18:18 +08:00 |
|
huangzd1997
|
76954280b1
|
feat(通知): 新增「采集机掉线」告警,并把队列积压判据改成「有活没人干」
背景(2026-09-29):麦象采集机 15:19 起整机停摆 6 小时(5 个 worker 全没,机器
无开机自启),现有告警完全没发现 —— 五类检查全靠「任务 update_time 不新鲜」间接
推断,一次停摆被摊成几十条"任务失败";队列积压又卡在 pending≥300 的阈值上
(当时停在 210),用户看到的是大面积业务失败,误导排查方向。
- 新增第 6 项检查「采集机掉线」:读 18960 新接口 /api/console/workers 的
machineIdleSeconds(采集端打点,见 maixiang_run_task 同批提交),超阈值(默认 10
分钟)推一条管理员告警,文案含逐信号静默时长便于定位。
* 按**机器级**判活而不是逐 worker:变体采集领到长任务后不再调 /batch/task/get,
逐 worker 判会在长任务正常运行时误报「vc 掉线」(实测踩到)。
* machineIdleSeconds=null(从未上报)视为未知并跳过,避免刚上线误报一次。
- 队列积压判据改为 pending≥阈值 **且 processing=0**,阈值默认 300→100:
只看 pending 两边都不讨好(低了误报"一时来不及",高了真出事也不报)。
单 worker 死掉(机器还活着)由这条覆盖。
- 配置:新增 AIIMAGE_NOTIFICATION_MAIXIANG_SILENT_MINUTES(默认 10)。
|
2026-09-29 21:45:16 +08:00 |
|
huangzd1997
|
209ec386a2
|
docs(运维): §二十 热修 8c9141d6 已发两台并端到端复核;补 §二十一 前端设备列删除与进度口径核查
|
2026-09-29 01:12:56 +08:00 |
|
huangzd1997
|
52ef172803
|
feat(taskcenter): 任务列表移除设备列
设备维度保留在设备条、设备筛选与详情抽屉;同步更新设计文档 16 的列表字段。
|
2026-09-29 00:45:52 +08:00 |
|
huangzd1997
|
ac8b34afcc
|
docs(运维): §十九/§二十 发版记录(看板 c6ee759d)与 SQL 空跑发现的 collation 热修(8c9141d6 待发布)
§十九 记录 Java 双机 + 麦象接口 + admin-vue 三处同批上线与回读口径;
§二十 记录把 21 条 @Select 渲染进生产库只读空跑发现设备页 3 条语句 ERROR 1271、
修复与验证数字、以及"授权菜单前必须先发热修"的顺序约束。
顺带把盘点里的取号提示 V138 → V139。
|
2026-09-29 00:22:13 +08:00 |
|
huangzd1997
|
8c9141d661
|
fix(taskcenter): 设备花名册 UNION 显式统一 device_id 排序规则
device_log_file.device_id 是 utf8mb4_0900_ai_ci,两张任务表是 utf8mb4_general_ci,
三个 UNION 分支混排规则在运行期直接报 ERROR 1271(生产库空跑 21 条语句时发现,
设备页 4 条 SQL 全挂)。日志侧显式 COLLATE utf8mb4_general_ci 归一,并加回归测试钉住。
|
2026-09-29 00:14:11 +08:00 |
|
huangzd1997
|
3a8f6968ff
|
feat(taskcenter): 前端看板页面(页签/筛选/汇总卡/设备条/详情抽屉)
- 路由 task-center/board(menuKey admin_task_center)+ guides 文案,both 由既有门禁守
- api 层 5 个只读接口;详情接口把后端 data:null 归一为 null(unwrap 对 null data 回传信封)
- 页签一:5 项汇总卡 + 设备卡条(点击按设备筛选/再点取消)+ 10 列任务表(stuck/网页/失败角标、进度条)+ 详情抽屉(分组明细)
- 页签二:变体采集专列(不显示设备与店铺),展示麦象 res_mes 与任务参数
- 30s 轮询:页面隐藏跳过、回前台立即刷新、卸载清理;另有手动刷新
- 顺带补 admin_device_logs 缺失的 guide(a7f244f9 登记路由时漏补,align-operation-guide 一直红)
Tests run: 1634, Failures: 0(node --test 全量)+ vue-tsc 无错误 + vite build 通过,
浏览器真跑:页签切换、设备卡筛选、详情抽屉均正常,控制台无报错
|
2026-09-28 23:35:54 +08:00 |
|
huangzd1997
|
4f414b46e6
|
feat(taskcenter): 变体采集接口(麦象代理,多 uid + res_mes)
|
2026-09-28 23:22:41 +08:00 |
|
huangzd1997
|
f9d702f9a6
|
feat(taskcenter): 任务详情接口
|
2026-09-28 23:16:28 +08:00 |
|
huangzd1997
|
186c288dbf
|
feat(taskcenter): 两表 UNION 任务列表 + 筛选 + 店铺/进度装配
- biz_file_task(12 个客户端模块)∪ brand_crawl_tasks,品牌任务号合成 brand-<id>、
终态用 updated_at 充当 finished_at;子查询内下推过滤、外层排序分页
- 筛选:账号名(users LIKE → ∩ 可见账号)、业务、状态、设备、店铺(4 个来源 EXISTS)、
创建时间范围;选具体业务时品牌分支恒空,带店铺筛选时品牌分支直接排除(防撞号误判)
- 状态口径单一来源:SQL 字面量与 Java 集合由测试守同步,服务层判「卡住」复用同一集合
- 店铺来源优先级链:上架结果文件 → 任务结果分组 → 结果文件名 → 快照 scope → 请求体
items[].shopName(最后一级批量一次拉取,列表主查询不拉大 JSON 列);品牌行店铺恒空
- 进度:快照(按 moduleType+taskId 匹配,防品牌 id 撞号)优先,无快照用行内文件计数
Tests run: 42, Failures: 0, Errors: 0
|
2026-09-28 23:09:21 +08:00 |
|
huangzd1997
|
cd9bf509ec
|
feat(taskcenter): 设备花名册与在线状态接口
新增 GET /api/admin/task-center/devices:任务设备(近 30 天)∪ 客户端日志设备
(近 7 天、uid 非空)合并去重,设备名取日志侧、最近任务时间取任务侧;在线 =
最近活动(任务 updated_at ∪ 日志上报)≤ 5 分钟,在线优先排序。`web-` 前缀标
webDevice 供前端标注「网页」。
SQL 侧把原来的 ROSTER_ROWS 拆成 TASK_DEVICE_ROWS + LOG_DEVICE_ROWS 再组合,
统计口径与列表共用同一段并集,避免两处漂移;新增按设备统计进行中任务数
(空设备号不归属任何设备)。overview 的 deviceTotal/deviceOnline 继续走
COUNT 查询(同一并集常量派生),不再从列表二次计算。
测试:Service 合并/在线阈值/空设备号/排序/网页标记 8 项,Mapper 动态 SQL 9 项。
|
2026-09-28 22:54:36 +08:00 |
|
huangzd1997
|
8485469137
|
feat(taskcenter): 客户端任务管理模块骨架、菜单授权与汇总接口
新增 modules/taskcenter:组范围裁剪(超管直通 / 非超管取本组用户)、
两表 UNION 统计(biz_file_task 12 模块 + brand_crawl_tasks)、设备花名册
(任务设备近 30 天 + 客户端日志设备近 7 天且 uid 非空)。overview 返回
设备总数/在线数/进行中/今日完成/疑似卡住五项。
权限复用既有菜单授权:PermissionMenuService.requireClientTaskCenterAccess
(超管直通,非超管要求 admin_task_center 授权,无记录即 403)。
测试:ScopeService 7 项 + Mapper 动态 SQL 渲染 7 项(不连库,守住 XML
实体转义与可见账号占位符数量)。
|
2026-09-28 22:48:18 +08:00 |
|
huangzd1997
|
fa59de52fb
|
feat(taskcenter): 13 个客户端任务创建入口记录 JWT 设备号
设备号只认 JWT 签名 claim(不接受客户端可控请求头),controller 读取、service
归一化落库;续跑任务由服务端发起,继承原任务设备号。品牌检测走独立
brand_crawl_tasks 表,同一口径。
|
2026-09-28 22:33:53 +08:00 |
|
huangzd1997
|
0a7e1b9c01
|
feat(taskcenter): V138 客户端任务管理迁移与设计文档
biz_file_task / brand_crawl_tasks 补 device_id 列(JWT 签名 claim,历史任务留空),
并挂载 admin_task_center 菜单:只写 columns 不写 user_column_permission,
管理员默认不可见,超管授权后可见。
|
2026-09-28 22:33:49 +08:00 |
|
huangzd1997
|
d087b0ff49
|
docs(运维): §十八 本批发版记录(a31df4a2,外观/品牌状态与心跳 + 密钥后台代填锁定)
含两笔提交的分工、验证读数(后端 3283/0、app 800/0、admin 1624/1 存量红)、
worktree 干净检出出包与产物自查、两台发版表(B 19:43 空闲先发 / A 19:45 在飞后发,
A 自回收 4、claimed 9、busy requeue 32→4、ERROR 0)、两条前端通道的软链与线上字节校验、
新端点守卫形状,以及 admin_device_logs 缺 guide 这条存量红灯留人决定。
|
2026-09-28 19:55:13 +08:00 |
|
huangzd1997
|
8b4425dcbf
|
feat(密钥管理): 后台可代填并锁定用户代理设置,客户端只读并回填本地配置
代理是选配、不进 items 也不参与门禁,但客户端各任务链读的是本地 app.json 的
proxy_url,用户自填值与后台不一致时排查成本高。改法:
- 后台 PUT/DELETE /api/admin/user-secrets/{userId}/modules/{moduleKey} 代填/解锁,
写入后该行 source=admin;数据权限走 resolveVisibleUserIds,超管不限;
- 客户端 save/clear 命中锁定行时服务端直接拒绝并给出原因(只置灰挡不住直接调接口);
- 密钥包把代理单独放 proxy 字段下发(仍不进 items、不影响 complete 判定),
锁定时带 full 明文,客户端据此幂等地对齐本地配置;解锁 = 删除该行。
只开放代理代填:密钥模块要客户端提交任务时携带本地明文,代填会把用户卡死。
|
2026-09-28 19:39:08 +08:00 |
|
huangzd1997
|
5dd11f7048
|
fix(外观专利/品牌任务): 判死任务不再显示"结果生成中",批次心跳与进度取大写入防误杀
29473/29479 心跳超时判死后,前端 statusText/statusClass 先判 isResultPreparing 再看
FAILED,用户看到的是"结果生成中",会以为任务还在跑而继续等(后台检测可能确实还在跑、
文件生成后下载按钮照常出现,但文案必须是失败)。改成 FAILED 一律优先判定,
pendingResultHint 也随之切成"任务已失败,结果文件…"。
后端两处心跳:外观专利 LLM 每批 touchJavaSideTaskActivity —— 软恢复后的检测阶段可达
数小时,不刷会被通用兜底线的 updated_at 超 120 分钟误杀;品牌进度改走 Redis Lua 合并
写入,phase 不被 crawling 打回(assembling/uploading/failed 受保护)、
current_line/total_lines 只增不减,消掉多执行方互相覆盖。
|
2026-09-28 19:39:00 +08:00 |
|
huangzd1997
|
a95cf4e64e
|
docs: 更正两条我自己说错的口径,并附两台 /tmp 全量列名的实测
- "容器内外各查过 0 残留"在方法上是假阴性:`ls /tmp/.my*` 探不到 tempfile 生成的
`tmpXXXX` 名字。改成列全 /tmp 后确认无凭据残留,但判据要换成"全量列名"。
- 上一稿说 reclaim_mysql_fragmentation.py 没自清理是错的,它 finally 里就 rm -f。
- scripts/ 里 password 字面量真实数 14 处/13 文件(非"5 个老脚本"),SSH 侧 7 处已换密钥、
剩 12 处是 pymysql 库口令。另列出两台 /tmp 里别人留下的 113MB 日志等大文件,不代删。
|
2026-09-28 19:24:20 +08:00 |
|
huangzd1997
|
37fb65cecd
|
docs: 记 e344111a 两台发版验收,并纠正一条读法——200 不是守卫放行
A 重启代价:开机自回收本机遗留作业 count=3、7 分钟 20 条 scheduled worker claimed、
超限 0 条、ERROR 0;busy requeue 34 条含重启追赶,仍远低于 §十一 修前量级。
验收口径补一条:writeFailure 走 setStatus(SC_OK) + body code=401,401 又只打 debug,
所以"HTTP 200"和"[admin-guard] 0 条"都不能当"守卫没生效"的证据,要读 body 的 code。
|
2026-09-28 19:14:56 +08:00 |
|
huangzd1997
|
a022bfbe06
|
docs: 回填版本保留候选清单,并记一次 worktree 全量 26 红的归因
§二.4 直接把 04:50 那轮 dry-run 的 20 个候选版本、两条安全边界(分布式锁已挡并发、
删除路径钉在 nanri-image/versions/ 前缀且需无引用)写清,交人工核对后就能拍 dry-run。
§十六 记下同一批代码在主树 3275/0 绿、在新检出 worktree 却 6 fail + 20 error:
前者是 autocrlf 改写 golden(已由 3bd2b607 钉死),后者是"文档一致性测试"读的是
34 份只活在本机的 md —— 这条属仓库缺口,要人决定入库还是改成缺失即跳过。
|
2026-09-28 19:05:44 +08:00 |
|
huangzd1997
|
3bd2b60774
|
build: 把断言会读到的文本钉成 LF,新检出不再被 autocrlf 改写
2026-09-28 在隔离 worktree 跑全量时,ShopDataCrawl/AppearancePatent/PublishBatch
三组快照测试共 6 个失败:golden 文件被检出成 CRLF,而生成串用 append('\n'),
Files.readString 不做归一就整片红(内容与主工作树逐字节一致,去掉 \r 后相等)。
仓库 HEAD 里 0 个文本 blob 含 CR,所以 eol=lf 是零 churn 的钉法:不改现有文件、
不让 git status 变脏,只保证 checkout 形态与 blob 一致。
只列扩展名,不写 `* text`:后者会让 git 去归一化 jar/png/zip 等二进制产物。
|
2026-09-28 18:59:14 +08:00 |
|
huangzd1997
|
859c0f64c7
|
docs(运维): §二.10 紫鸟索引里 119 个失效员工绑定每轮空跑(取证在案,行为变更留人拍板)
|
2026-09-28 18:49:06 +08:00 |
|
huangzd1997
|
d16bb57f50
|
docs(运维): §十四 内部令牌绕开绑定的洞与取证、§十五 xlsx 输出流无缓冲的分阶段实测,并改掉 §二.1 里已被本次作废的那条依据
|
2026-09-28 18:46:05 +08:00 |
|
huangzd1997
|
ff3da2557b
|
fix(货源): 结果文件写 xlsx 的输出流补 64KB 缓冲,万级图片导出省约 7 秒
WpsCellImageWriter / ExcelCellImageWriter 都直接把 ZipOutputStream 套在
Files.newOutputStream 上,没有缓冲:每个 entry 的 local header、数据、以及 close() 时
逐条写的中央目录记录都是独立 syscall。10k 图片实测 media loop 2.97s + close 4.07s,
而 patchSheet 只有 0.19s——时间花在写放大,不在压缩。
现网确实吃这段:主机A 近 24h 的 [wps-dispimg] 日志里 images= 最大到 8058。
zip 是纯顺序写,加缓冲不改变产物字节。同一用例从 10.4~12.4s(贴穿测试里那个 10s 墙钟预算)
降到 1.81s,测试阈值一个字没动。
JPEG entry 仍走 DEFLATE(改 STORED 会变产物字节,需要真图 + WPS/Excel 打开回归,另议)。
|
2026-09-28 18:46:01 +08:00 |
|
huangzd1997
|
31d3c0857d
|
fix(安全): X-Internal-Token 不再绕开用户态接口的 user_id 归属绑定
守卫里"令牌可信即在 shouldNotFilter 整体放行"把刚上线的绑定又开了一个洞:这把
X-Internal-Token 是硬编码在分发出去的桌面客户端里的静态共享密钥(amazon/tool.py:20、
crawler_core/log_uploader.py:38),它能证明"走了内部通道",证明不了"这个 user_id 是谁"。
带 JWT + 这把钥匙的请求因此完全不参与绑定,等于给别人令牌就能读任意 user_id。
改法只拆语义不加开关:令牌继续豁免"要不要凭据"(否则仅凭令牌即鉴权的
/api/admin/shop-manages/credential 会被误拦 401),不再豁免"归属归谁"。
管理员/超管代客操作豁免照旧。
对现网零影响的取证:全工作区 .py 里 operatorId/operator_id 出现 0 处,所以纯令牌请求
进 requireUserOrInternal 后无 JWT→resolveToken 即抛→identity=null→绑定不触发;
不带 user_id 的按 task_id 回调仍然整体跳过守卫(新用例用 verify(never()) 守住)。
AdminApiGuardFilterTest 30 个用例全绿;新增 4 个,其中 internalTokenDoesNotBypassOwnershipBinding
在改代码前是红的,就是那个洞的可执行证明。
|
2026-09-28 18:45:46 +08:00 |
|
huangzd1997
|
812ac31a48
|
docs(运维): §13.5 可观测改动两台发版验收(md5 6880abb0,ran=false 已能在巡检里读到)
|
2026-09-28 17:22:39 +08:00 |
|