super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,252 Commits 1 Branch 0 Tags
b70557a077bda40b4d7ca356e4e4f6ceefc8aaf6
Commit Graph

254 Commits

Author SHA1 Message Date
huangzd1997 b70557a077 feat(认证/通知): 单设备登录互踢 + 站内通知铃铛系统 
- 单设备登录：登录成功即 last-login-wins 绑定 users.machine；非超管旧 token
  在下一次受保护请求抛 4011 下线，超管豁免；仅认 token 内签名 deviceId，不用请求头。
  前端两端接入踢下线跳转（?kicked=1 提示），V118 清空历史 machine
- 站内通知：新增 notification 模块（任务失败扫描 / 密钥欠费 / 下游服务探测三类来源），
  前后台铃铛组件 + 轮询；后台列表按主管数据范围（UserDataScopeSupport）过滤；V116 建表

均已于 2026-09-13 部署上线，此次补提交源码（此前仅存在于已部署 JAR/构建产物中）
 2026-09-13 23:08:22 +08:00
huangzd1997 a0f6582914 feat(密钥管理): 代理配置后台明文展示 + 按次统计各密钥调用损耗 
- 后台密钥管理「代理设置」列改为完整明文展示（含账号密码），便于运维核对；
  新增 full 字段仅对代理模块下发，密钥两列保持脱敏
- 新增 biz_user_secret_usage_daily（V117）：用户 × 模块 × 天累计真实对外请求次数
- 计次口径：LLM 每次真实 HTTP 请求（含重试）计 1 次；代理每次成功提取计 1 次
- LLM 埋点走 SecretUsageContext 上下文（批次外设置、线程池内快照恢复）
- 新增内部上报接口 /api/internal/user-secret-usage（X-Internal-Token）
- 新增后台页「密钥用量统计」：日期范围 + 用户名 + 分组筛选，含范围内汇总
 2026-09-13 21:56:46 +08:00
huangzd1997 a4f60ef21c fix(权限): 用户菜单权限“自己没掉”——分区落库时级联清理跨类型误删 + 编辑弹窗空授权提交 
- 级联清理的有效集改为按目标「完整直接授权」计算（读库，含 admin/app 全类型）。
  此前 admin/app 分区落库把本次提交的 id 当成完整有效集，员工持有的另一类型授权
  会整体被判越权删除；两次分区落库互相补刀，最终清空员工全部菜单权限
  （生产表现：保存某非超管的权限后，他直建员工的菜单隔三差五自己消失）
- AdminUserService 改为两类落库完成后再统一级联一次，新增 cascadeSubordinateOverreach 入口
- 后台「编辑用户」弹窗：授权未加载完成/失败时禁用保存并明确提示，
  避免以空 columnIds 整树清空该用户授权（改动密码等操作也会连带触发）
- 回归测试：deferredCascadeKeepsSubordinateGrantsOfOtherMenuType、
  perTypeReplacementDoesNotCascadeBeforeAllTypesWritten、edit_user_dialog_blocks_save_until_auth_loaded

已知既有红测试（与本次改动无关，干净 HEAD 上同样复现，未新增）：
ArchitectureBoundaryTest.taskToBusinessDependencyDoesNotGrow（110 > 基线 84）、
HttpClientTimeoutEffectiveTest.connectTimeoutFiresOnUnreachableHost（本机网络环境 60s）
 2026-09-13 14:18:01 +08:00
huangzd1997 3f6ad0c6ad feat(后台分组): 分组筛选与分组列仅超管可见，非超管一律隐藏 
管理员/普通用户数据已由后端裁剪到本人可访问分组，分组维度对其无意义；
账号归属分组是超管职责，故只有超管需要按分组筛选与区分。

- 隐藏分组筛选+分组列：品牌数据库、查询ASIN、最低价ASIN、去重总数据、
  店铺管理、用户密钥
- 仅隐藏分组展示：店铺数据记录(筛选框+卡片行)、图片视频任务(所属分组行)、
  撞款检测(明细抽屉分组列+卡片分组标签)
- 弹窗分组选择保留展示但锁定：非超管仅1个可访问分组时自动选中并置灰
  (查询/最低价ASIN 另联动加载该分组店铺)，多分组不锁以免限制用户
- 空数据行 colspan 随列显隐动态化
- 新增 tests/align-group-visibility.test.ts 回归守卫(5 条)
 2026-09-13 14:00:19 +08:00
huangzd1997 8cd8390d95 fix(健壮性): Java OOM 三处 + 双TE 502 根因 + admin-vue 403 白屏 
Java:
- similarasin Excel 解析改 EasyExcel 流式（原 WorkbookFactory 全量 DOM，大表 OOM）+ 魔数校验
- collectdata 结果组装改游标分批 + 导入改流式（原全量驻留内存）
- GlobalExceptionHandler 转发响应过滤逐跳头与实例标识头（双 Transfer-Encoding 导致 nginx 502 的根因）
admin-vue:
- 403（无后台权限，如工具号 token）与 401 同样跳登录页，修复后台白屏
- task-266 测试断言对齐 daily-files 端点演进
 2026-09-13 12:58:49 +08:00
huangzd1997 82a782550e feat(密钥): 用户 API 密钥服务端化——V115 按账号绑定存储 + 后台密钥管理页 + 桌面端全站拦截与配置引导 
- 新增 usersecret 模块：外观专利/货源查询密钥从本地 localStorage 迁移至 biz_user_api_secret（AES 加密、按 uid 绑定）
- 后台「密钥管理」页：脱敏展示、立即检测、清空；每日 04:30 分布式锁定时巡检
- 桌面端：密钥设置面板走服务端、未配齐引导 /setup-secrets、代理余量展示
- 删除专利汇令牌全链路与密钥保留时长选择器
 2026-09-13 10:03:59 +08:00
huangzd1997 5af4e1c23e fix(admin-vue 查询ASIN): 列表筛选/分页参数对齐后端 snake_case，导出 XLSX 带上当前筛选 
- query-asin-filter: toQueryAsinQuery 输出 page_size/group_id/shop_name（35bed42b 后端已改显式 snake，
  camel 参数被静默忽略导致分组/店铺名筛选无作用、pageSize 固定回落 15）
- 新增 query-asin-export: 按当前筛选构建导出 URL，页面「导出 XLSX」不再恒为全量
- query-asin-import-api: 导入兜底分组 groupId→group_id（后端 importExcel 已改名，此前同样被丢弃）
- query-asin-delete-import-api: 保持 groupId 并加注释（后端仍隐式 camel，统一需两端同步部署）
- task-71 测试断言更新为 snake 契约（含 camel 不下发反断言）+ 新增导出 URL 用例

已上线 admin-vue-20260910-145200，线上 chunk 验证含 snake 参数；task-71 10/10 通过，vue-tsc 通过
 2026-09-10 14:53:57 +08:00
huangzd1997 02441565a0 fix(admin-vue): 编辑用户菜单权限已授权回显失效——树数据就绪后 await nextTick 再 setCheckedKeys（el-tree store 异步同步 props.data，旧实现作用在空 store 上勾选丢失），补源码断言防回归测试 2026-09-09 18:32:44 +08:00
huangzd1997 45fdd8a294 feat(software-version): 安装包改浏览器直传 MinIO，支持批量删除 
- 后端新增 /api/admin/version/presign、confirm、delete 端点；直传后服务端校验对象并写 web_config
- OSS 层新增软件版本对象 presign PUT/大小校验/删除与 client 桶 URL 识别
- 后台前端上传改 presign→PUT→confirm 三段式直传，带进度条；成功提示精简为"发布成功"
- 版本列表加勾选/表头全选、批量删除与单行删除；操作按钮样式对齐其他子菜单
 2026-09-08 23:51:18 +08:00
huangzd1997 50d0d110a2 fix(admin): 后台自定义浮层(modal-mask 3000/导出等待3100)遮挡 Element 消息——ElMessage 全局抬升 z-index 4000、确认消息盒(ElOverlay.is-message-box)抬升 4100,修复去重台账导入/编辑未选分组警告被浮层挡住看不见;新增层级回归测试 2026-09-07 21:35:48 +08:00
huangzd1997 c5982dd900 feat(admin): 最低价ASIN列表操作列新增整条删除按钮——后端DELETE /skip-price-asins/{id}(权限校验+日志),前端确认弹窗+删空页回退,补单测与对齐测试 2026-09-07 16:05:57 +08:00
huangzd1997 0bd4843b8e fix(admin): 店铺数据记录卡片任务号显示 taskId(file_task.id 短数字 27172 类)——上一提交回退方向反了,查库确认 taskNo 实为 SHOP_DATA_CRAWL-雪花ID 超长串,用户要的是短数字 id;保留任务号样式修复(12px+省略号收缩,状态徽章不被挡) 2026-09-07 15:53:34 +08:00
huangzd1997 e8f0dead9e fix(admin): 店铺数据记录卡片任务号改回短任务号(taskNo优先,反馈taskId过长)——同步删除确认；修复任务号样式类名不匹配(模板shop-card-task-no/样式sd-task-no)致长任务号将'已完成'状态徽章挤出卡片被裁——任务号12px+flex收缩省略号,状态徽章固定可见 2026-09-07 15:41:17 +08:00
huangzd1997 b575059726 feat(admin): 店铺数据记录卡片改一行4个；卡片任务号改为任务id(file_task.id,与桌面端推送/心跳/回传同一id)——taskId优先,taskNo/resultId兜底；删除确认同步；更新对齐测试 2026-09-07 15:34:35 +08:00
huangzd1997 4994142a67 feat(需求): ①创建/编辑用户菜单权限勾选父菜单自动全选子菜单(el-tree去check-strictly走父子联动,提交前压缩为最小直接授权集,父勾选时后代不重复落库) ②修复管理员勾选店铺数据菜单仍提示'无权查看店铺数据任务'——admin分区授权后若有效授权含店铺数据任务/重复检查菜单(含经'店铺管理'分组展开),自动补内部数据权限 admin_shop_data_crawl_task_data(镜像V84惯例只增不删,回收仍走超管数据范围授权UI) 2026-09-07 14:22:53 +08:00
huangzd1997 f6c44d1b92 feat(撞款): 店铺上架分布/撞款覆盖矩阵/撞款详情 三块分页器常显(修复反馈:数据不足一页时看不到分页器——去掉v-if条件,与全站一致显示共N条+10/20/50/100+跳页) 2026-09-07 09:36:20 +08:00
huangzd1997 678605e9fb feat(需求): ①全站分页pageSize统一默认10+10/20/50/100选项(9页默认值15/20→10+6个兜底常量统一+撞款台账升级OldPagination+商品类目树顶层标准分页) ②修复6页OldPagination缺import分页器不渲染(不符合ASIN/查询ASIN/最低价ASIN/生成记录/店铺密钥/店铺管理)+查询ASIN操作列按钮间距+最低价范围筛选number类型报错 ③e2e断言对齐现状(顶栏h1/移除收起按钮后规格同步)+国家显示中文断言固化 2026-09-07 02:43:37 +08:00
huangzd1997 cd6beef388 feat(需求): ①全站列表/卡片分页统一为共享 OldPagination(共N条+10/20/50/100条数可选+跳页) ②创建用户菜单权限改左右布局(后台|桌面端并排) ③修复角色筛选失效(normalizeUserPageParams 白名单丢 role 字段) 2026-09-07 02:43:37 +08:00
huangzd1997 4a9ddcab64 feat(需求): ①账户域菜单/分组补筛选(名称/组长/类型) + 分组管理移除「数据权限分组」摘要卡 ②店铺密钥列表补筛选(备注/紫鸟账号) ③店铺数据记录两级分页常显 ④全站分组筛选下拉支持模糊搜索(el-select filterable,样式对齐蓝白42px) 2026-09-07 02:43:37 +08:00
huangzd1997 3ef7cefe07 align(tasks·像素复刻): 视频任务记录/店铺数据记录 两页自绘复刻旧版(panel-image-video-tasks/shop-data-crawl-tasks)——form-box筛选[用户名/提交起止]+panel-box toolbar[全选/批量下载/权限配置/汇总]+任务/店铺卡片网格+旧版状态徽章映射+原生confirm删除+旧式分页(店铺级+卡片9/页)；空态/调试链接复制对齐旧版 2026-09-07 02:43:37 +08:00
huangzd1997 b0c461d347 align(records·像素复刻): 软件版本(全量无分页同旧版)/数字人版本(三态色/最新★/操作矩阵/数字页码分页) 自绘复刻旧版；确认走原生 confirm 对齐旧版 2026-09-07 02:43:37 +08:00
huangzd1997 f324c6bd3d align(shop·像素复刻): 店铺密钥/店铺管理 两页自绘复刻旧版(panel-shop-keys/shop-manage)——序号列+令牌掩码+白名单状态药丸(正常绿/未加白名单红/未检测灰)+悬停详情、密码列******+眼睛实时读明文、btn-sm行操作+原生confirm删除+旧式分页 2026-09-07 02:43:37 +08:00
huangzd1997 35ecceacb4 align(asin·像素复刻): 品牌库/查询ASIN/最低价ASIN/商品类目 四页自绘复刻旧版(panel-invalid-asin-data/query-asin/skip-price-asin/product-categories)——原生rowspan表格+可复制ASIN+btn-sm行操作+原生confirm删除+旧式分页(类目15/页/搜索态)+面板头搜索组/操作组+树[+/−]折叠/懒加载/编辑态按钮文案；编辑弹窗父级只读 2026-09-07 02:43:37 +08:00
huangzd1997 c5c103b287 align(account·像素复刻): 用户管理/菜单权限配置/分组管理 三页自绘复刻旧版(panel-users/columns/group-manage)——原生表格+btn-sm行操作+原生confirm删除+旧式分页(菜单/分组全量无分页同旧版)+分组摘要chips；创建/编辑/菜单树弹窗保留现有组件 2026-09-07 02:43:37 +08:00
huangzd1997 66082af52a fix(样办反馈): ①生成记录查询按钮与输入框对齐(修复登录页非scoped .form-group{margin-bottom:20px}全局泄漏，登录页样式收窄scoped+页面内显式重置) ②去重汇总移除数据权限分组摘要块(模型纯函数保留) ③分组筛选下拉显示真实分组名(解析器兼容Java groupName字段) 2026-09-07 02:43:37 +08:00
huangzd1997 c200fa4f32 align(去重数据汇总·像素复刻样办2): DedupeRegistryPage 重写为自绘复刻 admin panel-dedupe-total-data(分组摘要chips/双行筛选grid/页头操作组/旧式表格btn-sm行操作/编辑+导入modal/导出等待遮罩/旧式分页)；删除确认改原生confirm对齐旧版 2026-09-07 02:43:36 +08:00
huangzd1997 e81aa9e02e align(生成记录样办·反馈): 还原旧版交互——去掉重置/清理数据/查看大图按钮，点击缩略图直接放大预览；按钮间距统一10px；前端 clearHistory 适配移除(后端 DELETE /history 端点保留) 2026-09-07 02:43:36 +08:00
huangzd1997 4276a90236 align(生成记录·像素复刻样办): RecordsHistoryPage 重写为自绘复刻 admin panel-history(旧版 form-box/panel-box/原生控件/table-scroll/thumb 缩略图/旧式分页/大图 modal CSS)；脚本沿用现有 API，测试断言适配自绘结构 2026-09-07 02:43:36 +08:00
huangzd1997 fc4eff2f01 align(shop/records/tasks): 店铺管理/密钥、生成记录查看大图、数字人版本操作矩阵、视频任务明细/下载 主操作统一实心 small(对齐 .btn-sm)；纯复制链接辅助保留 text 2026-09-07 02:43:36 +08:00
huangzd1997 2691472a5e align(account): 用户/菜单/分组行内操作统一实心 small 按钮(对齐旧版 .btn-sm)，移除 link 形态 2026-09-07 02:43:36 +08:00
huangzd1997 4742a2e3b5 align(全局+asin): 每面板操作提示条(guides对齐旧版admin-interactions.js原文)；asin域行内按钮统一实心small(对齐.btn-sm)；商品类目树折叠钮靛蓝#6366f1改蓝白token 2026-09-07 02:43:36 +08:00
huangzd1997 26e062d32c task-284(收尾/在途批次): 页头按钮归位卡内toolbar+店铺数据记录改名+弹窗报错清除; Java page_size配对/按角色数据范围过滤/撞款导出XLSX/Excel图改WPS DISPIMG/V110查询索引 2026-09-07 02:43:36 +08:00
huangzd1997 898fae4cb3 align(用户菜单授权): 创建/编辑用户菜单权限补齐前端客户端(app)菜单并按类型分区落库 
用户管理菜单权限此前只含后台 admin(单类型)：前端授权树/回显仅拉 menuType=admin，
后端 replaceDirectPermissions 也固定用 ADMIN 作用域写。现改为同时覆盖 后台(admin)+前端客户端(app)：
- 前端 user-menu-auth 节点携带 type，api 并行拉取 admin/app 两类可授权树与已授权 id 合并去重，树内两类根并存(账号与权限/视频/前端工具/运营工具/后勤工具等)
- 后端 PermissionMenuService 新增 resolveMenuTypes(按 id 解析类型)；AdminUserService create/update 把勾选 id 拆 admin/app 分区整树替换(internal 不纳入)
- 前端 1556 测试全绿 + build 通过；后端单测(AdminUserServiceTest/PermissionMenuServiceTest/Controller/PermissionMenuResolveTypeTest) EXIT 0
- 本地 E2E：创建用户写入 admin=7+app=3 → 按类型回读 admin[7]/app[3]，删除正常
 2026-09-07 02:43:36 +08:00
huangzd1997 8034d916bc align(撞款): 店铺数据重复按登录角色区分范围——超管看全分组、管理员只看本组 
撞款控制台角色收口：前端读会话角色(isSuperAdmin)，非超管隐藏筛选「分组」下拉、
「分组撞款」分段与「分组说明」按钮（分组专属交互仅超管需要）；普通管理员数据已由
后端 resolveVisibleShopKeys 裁剪到所管分组店铺(超管 null=全量)。前端 1554 测试全绿 + build 通过。
 2026-09-07 02:43:36 +08:00
huangzd1997 191e5f9102 align(重复检测): DuplicateCheckPage 像素级复刻 reference asin-store-console 
撞款控制台整页复刻 reference 观感：引入页面独立 reference 令牌(#2E5BE6 主蓝/#D63A4A 红/#F2F4F8 底)落到 KPI 色点/矩阵单元格/撞款卡/台账 chips；撞款覆盖矩阵与全部ASIN台账改原生表格(台账20条/页+共N条/上一页/下一页/跳至N页分页条,列头服务端排序▲/▼)；筛选改原生 input/select/date；明细抽屉+底部 toast 复刻 reference(原生 mask/drawer/d-table 汇总徽章)；分组说明只读(归属来自店铺管理)。
数据源保持自家 /api/admin/shop-data-crawl/duplicate-check-console|-ledger|-export 不变。

验收：mock-admin-server 补 console/ledger 夹具；新增 e2e dup-console.spec(渲染/台账切换/令牌色值/矩阵台账结构断言+截图)；align-dup-console/align-column-width 断言随原生表格调整；前端 1552 测试全绿 + vue-tsc/build 通过。
 2026-09-07 02:43:36 +08:00
huangzd1997 4c88964473 task-283(后台迁移收尾/发布): admin-vue 后台工程入库 + Flask 后台整体退役 
- 新后台 admin-frontend-vue 整工程入库(base=/admin-vue/、History 路由、Nginx 静态托管方案与 verify-dist 校验)
- Java AdminConsoleController 改为入口重定向: /admin|/admin.html、/login|/login.html -> /admin-vue/; 删除 classpath:static 旧 admin.html/login.html 单页与 admin.js 副本
- Flask 后台整体退役: 删除 admin_api/auth/main 蓝图、web_source 页面、static 脚本与 admin 相关测试; app.py 收敛为仅注册 version_bp(/api/version、/api/version/latest, 供桌面端更新检查)
- AdminApiGuardFilterTest 豁免样例路径 /admin.html -> /admin-vue/
 2026-09-06 10:41:47 +08:00
huangzd1997 6bd935dc6b task-282(验收反馈): 类目改回旧版树形表格(缩进+[+-]折叠标记+名称/层级路径/排序/来源/说明/操作列,懒加载与加载更多保留) 2026-09-06 02:45:46 +08:00
huangzd1997 ab787ceff7 task-280(验收反馈): 重复检测对齐reference P0(分组筛选生效/抽屉聚合+汇总徽章/台账计数预载/total_dup计数/矩阵表头吸顶;后端含工作区在途console化代码) 2026-09-06 02:41:44 +08:00
huangzd1997 3dd39bba44 task-279(验收反馈): 修复类目树子级挂错父级(根级loadMore id=-1与父级1的合成节点撞node-key,合成id改独立负数域) 2026-09-06 02:33:51 +08:00
huangzd1997 648935e757 task-278(验收反馈): 生成记录加清理数据功能(DELETE /api/admin/history 二次确认+条数提示;含工作区在途的 imagehistory 分页优化) 2026-09-06 02:25:44 +08:00
huangzd1997 6d9b4a13ee task-277(验收反馈): 类目树优化(占位子级保证展开箭头/28px缩进/节点加间距/箭头放大加色) 2026-09-06 02:19:45 +08:00
huangzd1997 3b5adff2e3 task-276(验收反馈): 分页组件全站统一(jumper+按钮高亮样式)+MenusPage补分页+最低价筛选同排+视频筛选加固+移除侧边栏收起按钮+gitignore战役脚本规则 2026-09-06 02:16:47 +08:00
huangzd1997 6e2e4bf8e7 task-275(验收反馈): 菜单权限标识/路由后台自动生成(menu_auto_/auto/ 前缀),表单移除两项输入;编辑缺省保持原值 2026-09-06 01:57:17 +08:00
huangzd1997 c3dc2a3f2f task-274(验收反馈): 15 列表页表格列 width→min-width 自适应(DuplicateCheck 例外) 2026-09-06 01:50:38 +08:00
huangzd1997 0315a3a93d task-273(验收反馈): 店铺数据卡片宫格排(一行3个/一页9张+卡片分页) 2026-09-06 01:48:57 +08:00
huangzd1997 8add3ceaa4 task-272(验收反馈): 分组/软件版本/类目搜索表补齐分页组件(prev/next 中文由 locale 提供) 2026-09-06 01:46:49 +08:00
huangzd1997 9ac4eda054 task-271(验收反馈): Element Plus 全局接入 zh-cn 语言包(日期控件/分页组件中文) 2026-09-06 01:44:06 +08:00
huangzd1997 c381527528 test(live): 菜单树 smoke 兼容生产扁平 group-* 标记形态与本地嵌套形态；生产 8/8 live smoke 通过(登录/菜单/各域列表) 2026-09-05 23:45:16 +08:00
huangzd1997 efada31764 test(时间扫描): 不变式改为有时间展示的页才要求 formatDateTime（查询/最低价ASIN 按参考布局去掉更新时间列，豁免无时间列页面，与 task-268 口径一致） 2026-09-05 23:42:25 +08:00
huangzd1997 d30e8f3e8f align(店铺数据记录): 改回每条任务一张卡片(店铺名头+任务号/状态+分组/最新/国家/文件行+下载文件/删除)、全选口径 file_ready&&有resultId 不再附加终态、空态文案对齐（对齐 admin.js renderShopDataRecordTable/syncShopDataSelectionUi） 2026-09-05 23:40:24 +08:00