huangzd1997
|
fcec51bb71
|
perf(OSS): 服务端对象读写与浏览器预签名拆成两张 client
Java 在自己机器上用 https://oss.aishufu.top 读写对象,等于走公网 EIP 回环
(ip route get 自己的公网 IP 是 via 192.168.0.253 dev eth0),实测只有 0.98 MB/s、
TLS 首字节 39ms;同一台走 VPC 内网是 900 MB/s、0.9ms。结果 Excel 出表与输入件下载都吃这条。
不能直接把 endpoint 改成内网地址:预签名 URL 的 host 必须是浏览器可达的反代入口,
否则用户侧直传当场全断。所以新增 aiimage.oss.internal-endpoint(默认空=沿用 endpoint,
行为与今天完全一致),只给服务端 I/O 的 client 用;presign 那两处改用 public-endpoint 的 client,
并把内网地址纳入 managedEndpoints,避免历史数据里出现内网 host 时不归一化。
启动打一行 [oss] 服务端读写端点=…(预签名端点=…),发版后直接回读生效值。
|
2026-09-28 09:27:19 +08:00 |
|
huangzd1997
|
d24ef64160
|
fix(存储与巡检): MinIO 建连超时收到 10s,30 秒巡检周期改回 2 分钟
OssStorageService 的 MinioClient 走 8.5.17 默认值,connect/write/read 三项全是
5 分钟(S3Base.DEFAULT_CONNECTION_TIMEOUT):oss.aishufu.top 不可达时,跑在结果文件
作业线程上的每次上传/下载要挂满 5 分钟才失败。改为只收紧建连到 10s,读写留 120s
以覆盖数百 MB 结果文件的分片上传与流式读取。
delete-brand 与 collect-data 的 stale 巡检按 30 秒一轮跑,而判死阈值是 30 分钟心跳
超时——每分钟一轮纯属多余轮询(且两台各跑一份,另一端每轮打一条"另一个实例持有锁")。
delete-brand 代码里的 @Scheduled 默认值本来就是 2 分钟,是 yml 把它改成了 30 秒。
|
2026-09-28 01:26:59 +08:00 |
|
huangzd1997
|
c9be8f87d4
|
fix(临时载荷): 收口删除守卫 + chunk 读兜底,修「对象被误删→任务永久失败」
线上任务 28459(外观专利)三个分片的载荷对象被删、DB 行仍指向已删的确定性
key,组装读不到 → 整单 FAILED。数据其实还在同槽位的版本化对象里,是行指错了。
三条收口:
- 上传补偿删除加准入:只有末段带 UUID 的版本化 key(本次写入独占)才允许入队。
确定性 key 会被重传复用,删它就删掉了行仍在引用的对象;而删除队列
(deleteObjectFromRetry -> removeObject)本身不做引用反查,准入必须卡在入队处。
- 引用守卫阈值 >1 收紧为 >0:原来把「恰好 1 行引用」当作调用方自己那行而放行,
但调用方无法证明归属。物理删除本就约定在 DB 行删除之后执行,正常路径引用数
必为 0;宁可留孤儿(有保留期清理兜底),也不删可能仍被引用的对象。
- chunk 读兜底:指针对象确已缺失(NoSuchKey)时回退同槽位版本化对象 chunk-N-*。
仅限 chunk 槽位 + 确为缺失两个条件,避免误配无关对象或掩盖真实故障。
测试:新增 31 个用例(补偿删除准入 / 引用守卫 / 兄弟对象兜底),均先确认 RED
再实现;另更新 3 个断言旧行为的既有用例。全量 mvn test 3082 个 0 失败。
|
2026-09-17 10:42:53 +08:00 |
|
huangzd1997
|
750548593a
|
fix(rustfs): 修 unexpected end of stream 根因——零长度请求体缺 Content-Length
抓包定位(90 秒内 515 次 HTTP 411 Length Required):OkHttp 对长度为 0 的请求体
不写 Content-Length,请求于是既无 Content-Length 也无 Transfer-Encoding——HTTP/1.1
不允许这样,RustFS 直接回 411;客户端读到不完整响应就报 unexpected end of stream
再重试。业务里上传空内容(content 为 null/空)是常态,所以每天上千次。
修复用 network interceptor 在协议层补 Content-Length: 0:普通 interceptor 里加的
头会被 BridgeInterceptor 按 body 长度覆盖,加了不生效。
实测:部署后同样 90 秒抓包,411 从 515 次降到 0,两节点「确定性错误不重试」归零。
此前排除的公网链路、keepAlive、连接复用三项确实都不是原因——抓包才是对的入口。
|
2026-09-17 01:36:55 +08:00 |
|
huangzd1997
|
7533398209
|
fix(rustfs): 确定性错误不再重试;回退两处经实测无效的连接池实验
- 新增 isNonRetryable:NoSuchKey / AccessDenied / 签名错误等确定性错误立即失败,
不再白打两次请求(线上 read 一个已清理的 chunk 会连打 3 次并留下一条 ERROR)
- connectionPoolMaxIdle 0→5、keepAlive 30000→300000 回退:
实测证明 unexpected end of stream 与连接复用无关——禁用复用后新容器起来的
第一次请求照样中招。至此已排除公网链路、keepAlive 过长、连接复用三项;
另用 mc 并发压 200 个小对象全部成功,说明 RustFS 服务端无问题。
剩余方向指向 MinIO SDK(8.5.17,已是最新)/OkHttp 与 RustFS 的协议细节,
需抓包对比 mc 与 Java 的请求才能定位。数据不丢(重试都能成功),影响是每次 +600ms。
|
2026-09-17 00:58:01 +08:00 |
|
huangzd1997
|
5a18c5350b
|
fix(稳定性): 修任务锁超时/实例转发/扫描降噪,补 rustfs 结论日志
线上日志扫描发现的缺陷批量修复:
- TaskFileJobService.resetStuckRunningJobsDetailed 去掉跨行长事务:两节点
@Scheduled 各取 200 行在同一事务里逐行 UPDATE,互等行锁导致 biz_task_file_job
每天上百次 Lock wait timeout。改逐行独立提交(本就有 CAS 条件,幂等)
- TaskOwnerForwardService 连接类失败重试 3 次:两节点滚动重启窗口内的
Connection refused 会直接丢掉用户提交的结果(读超时不重放,避免重复提交)
- AdminApiGuardFilter 把 401/被顶下线降为 debug(线上单节点一天近 3000 条噪声)
- NoResourceFoundException 单独处理:如实返回 404,不再刷 ERROR 堆栈、不再伪装
200(每天 580 条,绝大多数是外部扫描 /.env、/credentials、aliyun.json 等)
- RustfsObjectStorageService 补「重试后成功 / 重试耗尽」结论日志:一天上千条
retrying 却无结论,无法判断数据是否落盘
- 连接池 keep-alive 300s→30s,减少复用已被对端关闭的空闲连接
- SimilarAsin 提交结果遇到已删除任务时带 TASK_NOT_FOUND(40401),客户端据此
停止每 30 秒一轮的无谓重试
- 修 SimilarAsinResultRowDto 的 GBK 乱码 JsonAlias("浠锋牸" → "价格")
|
2026-09-17 00:32:48 +08:00 |
|
huangzd1997
|
f4ee7e16f0
|
refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)
性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引
安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)
容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
(该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
|
2026-09-14 06:46:27 +08:00 |
|
huangzd1997
|
de9686ecac
|
refactor(品牌工具页): 历史轮询抽为 useHistoryPolling
QueryAsin / Withdraw / PatrolDelete 三页逐字相同的 startHistoryPolling /
stopHistoryPolling 收敛为 shared/composables/useHistoryPolling:定时器走各页
categorized-timers(category 固定 history-poll),间隔默认主轮询的 2 倍。
categorized-timers 补 CategorizedTimers 类型导出;补注入式假定时器单测 5 例。
净减约 40 行;vue-tsc 构建与 695 个前端单测通过。
|
2026-09-13 23:22:49 +08:00 |
|
huangzd1997
|
a3b01f1f50
|
fix(安全/健壮性): 全工作区审查修复——鉴权兜底扩展+路径穿越+忙等+泄漏
- AdminApiGuardFilter 兜底扩展到 /api/collect-data、/api/price-track:无需鉴权的
工具接口纳入 JWT/内部令牌校验(原匿名可达即越权读写他人数据)
- pricetrack asinFiles 改为仅允许上传临时目录内文件(canonical 前缀校验),
修复请求路径直接 new File 可读服务器任意 csv/xlsx 的穿越
- dedupe 删除导入逐行 REQUIRES_NEW 事务改 500 条一批 IN 删除,50 万行导入
由 50 万个事务收敛为千级
- 前端记住密码 XOR 硬编码密钥改 WebCrypto AES-GCM(密钥随机生成独立存储),
登录流程接口改 async 并保证自动登录恢复时序
- 任务进度轮询失败按指数退避(原固定 5s 无限撞);下载进度终态条目 2 分钟
自动清理(原永久堆积);AmazonConsolePage statusTimer 卸载清理
|
2026-09-11 17:11:43 +08:00 |
|
huangzd1997
|
ff1a0e485a
|
fix(内存): 两处无界内存风险加固——brand-check 线程池改有界队列+CallerRuns(大批量检查不再无界堆积 OOM);OSS readObjectBytes 加 20MB 读取上限防大对象误用 OOM
|
2026-09-11 16:09:50 +08:00 |
|
huangzd1997
|
3e305e1854
|
fix(shop-data-crawl): 累计档迁独立桶 shufu-shop-data 脱离默认桶30天过期规则+修复批量下载zip恒失败——① 新增 aiimage.oss.shop-data-bucket(默认 shufu-shop-data):上传侧 resolveBucket 按 SHOP_DATA_CRAWL、读取/删除/直链侧 bucketForObjectKey 按 result/shop_data_crawl/ 前缀双路路由(DB 里存的是裸 objectKey 不含桶名,key 不变故存量对象 mc mirror 即无缝切换),configuredBuckets 纳入新桶,启动自检未配置时告警 ② 批量下载 zip 原直接把 df.result_file_url 当绝对 URL(URI.create().toURL()),裸 objectKey 必抛 no protocol 导致整包 100% 失败,改由 loadDownloadRows 统一走 generateFreshDownloadUrl 拼直链 ③ 补 OssStorageServiceTest 5 用例覆盖此前零覆盖的上传选桶/裸key前缀路由
|
2026-09-10 14:31:00 +08:00 |
|
huangzd1997
|
43d0546400
|
feat(software-version): 安装包改浏览器直传 MinIO,支持批量删除
- 后端新增 /api/admin/version/presign、confirm、delete 端点;直传后服务端校验对象并写 web_config
- OSS 层新增软件版本对象 presign PUT/大小校验/删除与 client 桶 URL 识别
- 后台前端上传改 presign→PUT→confirm 三段式直传,带进度条;成功提示精简为"发布成功"
- 版本列表加勾选/表头全选、批量删除与单行删除;操作按钮样式对齐其他子菜单
|
2026-09-08 23:51:18 +08:00 |
|
huangzd1997
|
0bf39b04db
|
fix(backend-java): 收口并发资源与恢复链路
|
2026-09-05 14:44:00 +08:00 |
|
huangzd1997
|
1a3d46ac45
|
fix(oss): 软件版本安装包显式上传公开 client 桶,对齐历史直链布局
生产 Java 未设 AIIMAGE_OSS_BUCKET,默认桶为私有 nanri-ai-images;而 web_config
历史版本全部存于公开 client 桶(oss.aishufu.top/client/nanri-image/versions/...,
桌面端检测更新匿名下载)。原 uploadSoftwareVersionPackage 走默认桶会把新版本写入
私桶导致客户端无法下载。改为显式写 software-version-bucket(新增可配属性,默认
client,env AIIMAGE_OSS_SOFTWARE_VERSION_BUCKET)并保持 nanri-image/versions/ 前缀。
注:本提交含 OssStorageService 上"软件版本上传"方法与早前 readObjectBytesBounded
改动,为软件版本模块(见 ③)的配套存储能力。
|
2026-09-04 10:21:47 +08:00 |
|
huangzd1997
|
9ac5787e00
|
task-164: 清理失败不阻断契约(单文件失败其余继续、失败路径可见、不上抛、下轮重试、引用跳过不计失败)+ 8 条测试
|
2026-09-02 07:35:57 +08:00 |
|
huangzd1997
|
248803096c
|
task-163: 引用中文件不清契约(job/result 引用跳过、引用解除后可清、判定失败保守跳过、批量混合、幂等)+ 8 条测试
|
2026-09-02 07:30:53 +08:00 |
|
huangzd1997
|
a8fb089bcb
|
task-162: 路径穿越输入矩阵(../、..\、绝对路径、%2e 编码、全角点、混合分隔符、空字节全部拒绝)+ 9 条测试
|
2026-09-02 07:25:49 +08:00 |
|
huangzd1997
|
30023ef89a
|
task-160: 超保留期仍被引用巡检(超期+引用检出供人工处理、未超期/未引用不报、只读、可重复)+ 8 条测试
|
2026-09-02 07:14:05 +08:00 |
|
huangzd1997
|
fa1b947bb5
|
task-155: 孤立文件巡检报表(只读巡检超保留期且无引用文件,报表含路径/大小/时间,绝不删除,可重复)+ 8 条测试
|
2026-09-02 06:47:03 +08:00 |
|
huangzd1997
|
a832529c39
|
task-154: 临时目录磁盘容量告警(aiimage.storage.capacity-warn-bytes 阈值、告警含当前容量/阈值、10 分钟频率限制、测量失败容忍不阻塞)+ 8 条测试
|
2026-09-02 06:40:20 +08:00 |
|
huangzd1997
|
8642c1e5ec
|
task-152: 清理失败吞异常记指标(aiimage.temp-cleanup.failed 计数、日志+指标均不阻断主流程、按路径隔离、无重试循环)+ 8 条测试
|
2026-09-02 06:29:59 +08:00 |
|
huangzd1997
|
a691b61f6e
|
task-151: 路径安全校验(PathSafetyGuard 规范化 startsWith 判定、../与绝对路径与符号链接逃逸拒绝、接入清理路径)+ 8 条测试
|
2026-09-02 06:24:37 +08:00 |
|
huangzd1997
|
d334946938
|
task-149: 临时文件时间元数据补缺(TempFileMetadata 创建/修改/访问时间与大小读取,mtime 回退不改变清理语义,IO 错误容忍)+ 8 条测试
|
2026-09-02 06:08:50 +08:00 |
|
huangzd1997
|
1350f8a9ad
|
task-67: 复用 RustFS/MinIO 客户端与 HTTP 连接池
- buildClient 改为 double-check 懒加载缓存共享 MinioClient(volatile 单例),
同一实例持有同一 OkHttpClient,连接池随实例共享,不再每次操作新建客户端
- supplier 注入路径优先且不写共享缓存,测试隔离不受污染
- 未配置/空白 endpoint 时不创建实例,拒绝操作并保持缓存为空
|
2026-08-30 19:04:32 +08:00 |
|
huangzd1997
|
822fc22457
|
task-66: 限制 RustFS 并发读写与重试的总资源预算
- 新增 aiimage.transient-storage.max-total-concurrent-operations 配置
(默认 0 不启用):跨 upload/read/delete 的总并发预算
- executeWithRetry 入口获取一个总许可,整次操作(含全部重试)全程占用,
重试不额外消耗,超预算立即拒绝并计入 operation=total rejected 指标
- 失败/完成后 finally 释放总许可,无残留锁;负值/0 视为未启用保持原行为
|
2026-08-30 18:57:26 +08:00 |
|
huangzd1997
|
927c3c931e
|
task-64: transient payload 压缩改为直接 gzip 二进制流上传
- RustfsObjectStorageService 新增 uploadBytes/readObjectBytes 二进制流 API
(application/gzip),uploadText/readObjectAsString 改为其薄包装
- TransientPayloadStorageService 的 encodeStoredPayload 直接输出 gzip 字节,
不再经过 gzip64 + Base64 文本编码(消除 33% 体积膨胀与中间字符串副本)
- 读取端按 gzip magic 识别二进制流解压;兼容旧 gzip64: 文本与历史裸文本
- 本地回落文件同步改为写二进制(Files.write),超限判定基于 gzip 后字节数
|
2026-08-30 18:42:19 +08:00 |
|
huangzd1997
|
27b2ae99fe
|
task-43: 采集源文件查找改为确定路径/索引查询
LocalFileStorageService 新增 fileKey→文件名 有界索引(LinkedHashMap LRU,
上限 1024 淘汰最旧):saveTempFile 登记,findLocalSourceFile 优先按索引
直接构造确定路径,索引过期/进程重启时兜底枚举根层目录,结果与索引一致;
key 与索引名均校验单段字符集,防止路径穿越与索引污染。8 个用例覆盖
正常/批量/幂等/空/单元素/索引容量超限/非法输入/清理与重启降级,
mvn 全量测试通过。
|
2026-08-30 13:08:13 +08:00 |
|
huangzd1997
|
b9f2d6fbfc
|
task-33: 将店铺源文件 key 映射改为确定路径,取消临时目录递归扫描
|
2026-08-29 20:18:57 +08:00 |
|
huangzd1997
|
6e9988fd2c
|
统一结果文件下载 URL 生成:历史记录/上传回包等漏网点改用 generateFreshDownloadUrl,result/ 前缀对象走 download 域名
|
2026-08-26 03:58:29 -04:00 |
|
huangzd1997
|
c9301b9250
|
OSS 结果文件下载分流:新增 aiimage.oss.download-endpoint 配置,result/ 前缀对象生成独立下载域名直链(默认未配置时回退原行为)
|
2026-08-26 13:37:11 +08:00 |
|
supernijia
|
cf59e23f15
|
完善任务存储、权限及货源查询流程
|
2026-08-14 22:49:15 +08:00 |
|
supernijia
|
641c70d451
|
处理后台新需求
|
2026-08-09 20:08:39 +08:00 |
|
supernijia
|
40f4fae272
|
新需求更新 同步更新
|
2026-08-06 01:11:54 +08:00 |
|
supernijia
|
e453e822c0
|
菜单修改优化
|
2026-07-28 13:40:19 +08:00 |
|
supernijia
|
567aeaba5d
|
完成上架相关优化、oss迁移
|
2026-07-25 17:57:34 +08:00 |
|
supernijia
|
a9bfb8ac6d
|
上架需求增加
|
2026-07-25 09:58:29 +08:00 |
|
super
|
32606559b4
|
完成视频部分的前后端
|
2026-07-11 19:42:42 +08:00 |
|
super
|
ced59b5787
|
更新带货视频工作流接口和页面
|
2026-07-09 00:27:49 +08:00 |
|
super
|
7f54a2d3f2
|
处理下载为公共模块
|
2026-06-12 13:40:29 +08:00 |
|
super
|
687b193645
|
新增内容,新增拉起软件层
|
2026-06-08 09:19:15 +08:00 |
|
super
|
175144f729
|
更新这个货源
|
2026-05-22 09:41:31 +08:00 |
|
super
|
b274def6ba
|
异常记录检测修改
|
2026-05-04 19:04:55 +08:00 |
|
super
|
3ce469e7fd
|
提交更新
|
2026-05-02 09:28:26 +08:00 |
|
super
|
af280928b0
|
修复商品风险多店铺问题
|
2026-04-30 21:31:11 +08:00 |
|
super
|
fff3b6e889
|
优化后台业务
|
2026-04-30 11:36:58 +08:00 |
|
super
|
7e1974a688
|
后端架构更新
|
2026-04-27 09:18:10 +08:00 |
|
super
|
8ea7e949c2
|
后台查询Asin文档更新
|
2026-04-24 15:14:14 +08:00 |
|
super
|
54ee3f304e
|
完成后端架构重构等
|
2026-04-23 15:25:41 +08:00 |
|
super
|
5dd7a92cf5
|
删除品牌
|
2026-03-27 21:32:00 +08:00 |
|
super
|
2cd0fcff93
|
完成品牌部分改造
|
2026-03-24 22:22:37 +08:00 |
|