huangzd1997
|
9a6b57db58
|
refactor+perf+fix: G5 模块边界 SPI 化、C5 流式解析、C6/C7 查询优化、D13 队列持久化、A3/A4/A7 鉴权
模块边界(G5 / G7)
- 新增 task/spi/TaskModuleHeartbeatSpi + 13 个模块实现:TaskHeartbeatService 不再 import 任何
业务模块(原先注入 12 个 CacheService 并用 switch 分发);启动校验重复注册
- 新增 task/spi/BrandTaskHeartbeatSpi(品牌任务心跳/中断)、BrandTaskStaleRepairSpi(陈旧修复)、
CollectDataItemCleanupSpi(历史清理):跨模块 Mapper 操作收回业务模块
- G7:10 个被跨模块借用的 productrisk VO 迁至 common/model/vo
- 架构棘轮收紧:TASK_TO_BUSINESS_BASELINE 119 → 6(实测)
- 新增 TaskModuleHeartbeatSpiCoverageTest(moduleType 覆盖与拼写)
性能与容量(C5/C6/C7/D13)
- C5 流式解析:SkipPriceAsinService(含两行表头语义)、AppearancePatentExcelParser、
BrandTaskService、DeleteBrandRunService、LocalFileStorageService.getExcelInfo 改 ExcelStreamReader;
行数上限改为迭代中生效
- C6 去重总数据列表:关键字改前缀匹配(命中 uk_data_value);V124 删除永不生效的 idx_country
- C7 撞款扫描:按店逐批取数(索引前缀),不再全表 GROUP BY + JOIN + 全量拉内存
- D13 待删对象本地日志 PendingDeleteJournal(启动回放 + 收敛重写),RustfsDeleteRetryService 与
TransientPayloadDeleteOrchestrator 接入;异步删除失败对象写回日志
- V123 删除 biz_file_result 两个被复合索引覆盖的单列索引
安全(A3/A4/A7 + 守卫名单)
- A4 数字人版本写操作要求管理员;A7 视频密钥按登录身份(超管例外)
- A3 上传接口加危险扩展名黑名单(可配置)
- AdminApiGuardFilter 用户态名单补 /api/ziniao(controller 已 requireAdmin,此处为开关打开后的第二层)
容量(明细表保留期)
- 新增 ShopDataCrawlItemRetentionService:biz_shop_data_crawl_item 按保留期(默认 30 天)分批清理
(该表此前无任何清理策略,是增长最快的表),job 锁 + 单轮批次上限
|
2026-09-14 06:46:27 +08:00 |
|
huangzd1997
|
dc6e8924a9
|
refactor(品牌工具页): 历史轮询抽为 useHistoryPolling
QueryAsin / Withdraw / PatrolDelete 三页逐字相同的 startHistoryPolling /
stopHistoryPolling 收敛为 shared/composables/useHistoryPolling:定时器走各页
categorized-timers(category 固定 history-poll),间隔默认主轮询的 2 倍。
categorized-timers 补 CategorizedTimers 类型导出;补注入式假定时器单测 5 例。
净减约 40 行;vue-tsc 构建与 695 个前端单测通过。
|
2026-09-13 23:22:49 +08:00 |
|
huangzd1997
|
e6021593ea
|
fix(安全/健壮性): 全工作区审查修复——鉴权兜底扩展+路径穿越+忙等+泄漏
- AdminApiGuardFilter 兜底扩展到 /api/collect-data、/api/price-track:无需鉴权的
工具接口纳入 JWT/内部令牌校验(原匿名可达即越权读写他人数据)
- pricetrack asinFiles 改为仅允许上传临时目录内文件(canonical 前缀校验),
修复请求路径直接 new File 可读服务器任意 csv/xlsx 的穿越
- dedupe 删除导入逐行 REQUIRES_NEW 事务改 500 条一批 IN 删除,50 万行导入
由 50 万个事务收敛为千级
- 前端记住密码 XOR 硬编码密钥改 WebCrypto AES-GCM(密钥随机生成独立存储),
登录流程接口改 async 并保证自动登录恢复时序
- 任务进度轮询失败按指数退避(原固定 5s 无限撞);下载进度终态条目 2 分钟
自动清理(原永久堆积);AmazonConsolePage statusTimer 卸载清理
|
2026-09-11 17:11:43 +08:00 |
|
huangzd1997
|
cd055f8ccd
|
fix(内存): 两处无界内存风险加固——brand-check 线程池改有界队列+CallerRuns(大批量检查不再无界堆积 OOM);OSS readObjectBytes 加 20MB 读取上限防大对象误用 OOM
|
2026-09-11 16:09:50 +08:00 |
|
huangzd1997
|
08e78ebe55
|
fix(shop-data-crawl): 累计档迁独立桶 shufu-shop-data 脱离默认桶30天过期规则+修复批量下载zip恒失败——① 新增 aiimage.oss.shop-data-bucket(默认 shufu-shop-data):上传侧 resolveBucket 按 SHOP_DATA_CRAWL、读取/删除/直链侧 bucketForObjectKey 按 result/shop_data_crawl/ 前缀双路路由(DB 里存的是裸 objectKey 不含桶名,key 不变故存量对象 mc mirror 即无缝切换),configuredBuckets 纳入新桶,启动自检未配置时告警 ② 批量下载 zip 原直接把 df.result_file_url 当绝对 URL(URI.create().toURL()),裸 objectKey 必抛 no protocol 导致整包 100% 失败,改由 loadDownloadRows 统一走 generateFreshDownloadUrl 拼直链 ③ 补 OssStorageServiceTest 5 用例覆盖此前零覆盖的上传选桶/裸key前缀路由
|
2026-09-10 14:31:00 +08:00 |
|
huangzd1997
|
45fdd8a294
|
feat(software-version): 安装包改浏览器直传 MinIO,支持批量删除
- 后端新增 /api/admin/version/presign、confirm、delete 端点;直传后服务端校验对象并写 web_config
- OSS 层新增软件版本对象 presign PUT/大小校验/删除与 client 桶 URL 识别
- 后台前端上传改 presign→PUT→confirm 三段式直传,带进度条;成功提示精简为"发布成功"
- 版本列表加勾选/表头全选、批量删除与单行删除;操作按钮样式对齐其他子菜单
|
2026-09-08 23:51:18 +08:00 |
|
huangzd1997
|
40224d8e56
|
fix(backend-java): 收口并发资源与恢复链路
|
2026-09-05 14:44:00 +08:00 |
|
huangzd1997
|
3420c72c1d
|
fix(oss): 软件版本安装包显式上传公开 client 桶,对齐历史直链布局
Build Backend JAR / build (push) Has been cancelled
生产 Java 未设 AIIMAGE_OSS_BUCKET,默认桶为私有 nanri-ai-images;而 web_config
历史版本全部存于公开 client 桶(oss.aishufu.top/client/nanri-image/versions/...,
桌面端检测更新匿名下载)。原 uploadSoftwareVersionPackage 走默认桶会把新版本写入
私桶导致客户端无法下载。改为显式写 software-version-bucket(新增可配属性,默认
client,env AIIMAGE_OSS_SOFTWARE_VERSION_BUCKET)并保持 nanri-image/versions/ 前缀。
注:本提交含 OssStorageService 上"软件版本上传"方法与早前 readObjectBytesBounded
改动,为软件版本模块(见 ③)的配套存储能力。
|
2026-09-04 10:21:47 +08:00 |
|
huangzd1997
|
34f614ea32
|
task-164: 清理失败不阻断契约(单文件失败其余继续、失败路径可见、不上抛、下轮重试、引用跳过不计失败)+ 8 条测试
|
2026-09-02 07:35:57 +08:00 |
|
huangzd1997
|
7a43ed6c43
|
task-163: 引用中文件不清契约(job/result 引用跳过、引用解除后可清、判定失败保守跳过、批量混合、幂等)+ 8 条测试
|
2026-09-02 07:30:53 +08:00 |
|
huangzd1997
|
0e4d680aef
|
task-162: 路径穿越输入矩阵(../、..\、绝对路径、%2e 编码、全角点、混合分隔符、空字节全部拒绝)+ 9 条测试
|
2026-09-02 07:25:49 +08:00 |
|
huangzd1997
|
9712bdf538
|
task-160: 超保留期仍被引用巡检(超期+引用检出供人工处理、未超期/未引用不报、只读、可重复)+ 8 条测试
|
2026-09-02 07:14:05 +08:00 |
|
huangzd1997
|
d64ef5284a
|
task-155: 孤立文件巡检报表(只读巡检超保留期且无引用文件,报表含路径/大小/时间,绝不删除,可重复)+ 8 条测试
|
2026-09-02 06:47:03 +08:00 |
|
huangzd1997
|
87a6d20f88
|
task-154: 临时目录磁盘容量告警(aiimage.storage.capacity-warn-bytes 阈值、告警含当前容量/阈值、10 分钟频率限制、测量失败容忍不阻塞)+ 8 条测试
|
2026-09-02 06:40:20 +08:00 |
|
huangzd1997
|
3b34ec3bef
|
task-152: 清理失败吞异常记指标(aiimage.temp-cleanup.failed 计数、日志+指标均不阻断主流程、按路径隔离、无重试循环)+ 8 条测试
|
2026-09-02 06:29:59 +08:00 |
|
huangzd1997
|
f0e12b9b1b
|
task-151: 路径安全校验(PathSafetyGuard 规范化 startsWith 判定、../与绝对路径与符号链接逃逸拒绝、接入清理路径)+ 8 条测试
|
2026-09-02 06:24:37 +08:00 |
|
huangzd1997
|
dd569edc66
|
task-149: 临时文件时间元数据补缺(TempFileMetadata 创建/修改/访问时间与大小读取,mtime 回退不改变清理语义,IO 错误容忍)+ 8 条测试
|
2026-09-02 06:08:50 +08:00 |
|
huangzd1997
|
2819fb3c6c
|
task-67: 复用 RustFS/MinIO 客户端与 HTTP 连接池
- buildClient 改为 double-check 懒加载缓存共享 MinioClient(volatile 单例),
同一实例持有同一 OkHttpClient,连接池随实例共享,不再每次操作新建客户端
- supplier 注入路径优先且不写共享缓存,测试隔离不受污染
- 未配置/空白 endpoint 时不创建实例,拒绝操作并保持缓存为空
|
2026-08-30 19:04:32 +08:00 |
|
huangzd1997
|
e2d6875ef9
|
task-66: 限制 RustFS 并发读写与重试的总资源预算
- 新增 aiimage.transient-storage.max-total-concurrent-operations 配置
(默认 0 不启用):跨 upload/read/delete 的总并发预算
- executeWithRetry 入口获取一个总许可,整次操作(含全部重试)全程占用,
重试不额外消耗,超预算立即拒绝并计入 operation=total rejected 指标
- 失败/完成后 finally 释放总许可,无残留锁;负值/0 视为未启用保持原行为
|
2026-08-30 18:57:26 +08:00 |
|
huangzd1997
|
ca32cde4fe
|
task-64: transient payload 压缩改为直接 gzip 二进制流上传
- RustfsObjectStorageService 新增 uploadBytes/readObjectBytes 二进制流 API
(application/gzip),uploadText/readObjectAsString 改为其薄包装
- TransientPayloadStorageService 的 encodeStoredPayload 直接输出 gzip 字节,
不再经过 gzip64 + Base64 文本编码(消除 33% 体积膨胀与中间字符串副本)
- 读取端按 gzip magic 识别二进制流解压;兼容旧 gzip64: 文本与历史裸文本
- 本地回落文件同步改为写二进制(Files.write),超限判定基于 gzip 后字节数
|
2026-08-30 18:42:19 +08:00 |
|
huangzd1997
|
173287e3d6
|
task-43: 采集源文件查找改为确定路径/索引查询
LocalFileStorageService 新增 fileKey→文件名 有界索引(LinkedHashMap LRU,
上限 1024 淘汰最旧):saveTempFile 登记,findLocalSourceFile 优先按索引
直接构造确定路径,索引过期/进程重启时兜底枚举根层目录,结果与索引一致;
key 与索引名均校验单段字符集,防止路径穿越与索引污染。8 个用例覆盖
正常/批量/幂等/空/单元素/索引容量超限/非法输入/清理与重启降级,
mvn 全量测试通过。
|
2026-08-30 13:08:13 +08:00 |
|
huangzd1997
|
0e4a1c1c35
|
task-33: 将店铺源文件 key 映射改为确定路径,取消临时目录递归扫描
|
2026-08-29 20:18:57 +08:00 |
|
huangzd1997
|
75f23d4568
|
统一结果文件下载 URL 生成:历史记录/上传回包等漏网点改用 generateFreshDownloadUrl,result/ 前缀对象走 download 域名
Build Backend JAR / build (push) Has been cancelled
|
2026-08-26 03:58:29 -04:00 |
|
huangzd1997
|
18db20099a
|
OSS 结果文件下载分流:新增 aiimage.oss.download-endpoint 配置,result/ 前缀对象生成独立下载域名直链(默认未配置时回退原行为)
Build Backend JAR / build (push) Has been cancelled
|
2026-08-26 13:37:11 +08:00 |
|
supernijia
|
7a7f1dfa21
|
完善任务存储、权限及货源查询流程
Build Backend JAR / build (push) Has been cancelled
|
2026-08-14 22:49:15 +08:00 |
|
supernijia
|
38216a1885
|
处理后台新需求
Build Backend JAR / build (push) Failing after 16m58s
|
2026-08-09 20:08:39 +08:00 |
|
supernijia
|
28e7fce11c
|
新需求更新 同步更新
|
2026-08-06 01:11:54 +08:00 |
|
supernijia
|
7c3c9e53a0
|
菜单修改优化
|
2026-07-28 13:40:19 +08:00 |
|
supernijia
|
4ddb8b47b0
|
完成上架相关优化、oss迁移
|
2026-07-25 17:57:34 +08:00 |
|
supernijia
|
8ab36b1aaf
|
上架需求增加
|
2026-07-25 09:58:29 +08:00 |
|
super
|
d8ca8de537
|
完成视频部分的前后端
|
2026-07-11 19:42:42 +08:00 |
|
super
|
aab4ce942c
|
更新带货视频工作流接口和页面
|
2026-07-09 00:27:49 +08:00 |
|
super
|
8672668c33
|
处理下载为公共模块
|
2026-06-12 13:40:29 +08:00 |
|
super
|
c85e5b278f
|
新增内容,新增拉起软件层
|
2026-06-08 09:19:15 +08:00 |
|
super
|
70e902e7ea
|
更新这个货源
|
2026-05-22 09:41:31 +08:00 |
|
super
|
111f30d150
|
异常记录检测修改
|
2026-05-04 19:04:55 +08:00 |
|
super
|
3ce66a59ee
|
提交更新
|
2026-05-02 09:28:26 +08:00 |
|
super
|
01bae23df5
|
修复商品风险多店铺问题
|
2026-04-30 21:31:11 +08:00 |
|
super
|
c6ecfb5b77
|
优化后台业务
|
2026-04-30 11:36:58 +08:00 |
|
super
|
995e2ee65a
|
后端架构更新
|
2026-04-27 09:18:10 +08:00 |
|
super
|
0caf62c3d2
|
后台查询Asin文档更新
|
2026-04-24 15:14:14 +08:00 |
|
super
|
34bc980eea
|
完成后端架构重构等
|
2026-04-23 15:25:41 +08:00 |
|
super
|
5dd7a92cf5
|
删除品牌
|
2026-03-27 21:32:00 +08:00 |
|
super
|
2cd0fcff93
|
完成品牌部分改造
|
2026-03-24 22:22:37 +08:00 |
|
super
|
497d65d41d
|
更新新增三个模块
|
2026-03-22 11:20:09 +08:00 |
|
super
|
7f9a6bd9cb
|
环境搭建配置
|
2026-03-21 10:00:16 +08:00 |
|
super
|
d39d310544
|
新增接口文档
|
2026-03-20 19:31:02 +08:00 |
|
super
|
92d3fc965b
|
完成新需求
|
2026-03-20 14:26:34 +08:00 |
|