super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,235 Commits 1 Branch 0 Tags
b7d4d325e0ab8b95e5f2c96ce55a67a5b3b10aeb
Commit Graph

270 Commits

Author SHA1 Message Date
huangzd1997 b7d4d325e0 feat(密钥管理): 列表按用户聚合三字段列 + 代理配置服务端上报 
- Java：后台列表一行一用户（货源查询密钥/外观专利密钥/代理设置），行级状态三项全通过才算通过；检测/清空改为按用户；搜索仅按用户名（去 UID）；新增代理检测（经用户代理请求自家域名）与代理掩码（隐去账密）
- 后台前端：三字段列改版 + 行级状态筛选 + 用户名筛选
- 桌面前端：登录加载密钥时补报本地代理（只填空缺不覆盖）、保存/清空代理实时上报
 2026-09-13 10:47:19 +08:00
huangzd1997 82a782550e feat(密钥): 用户 API 密钥服务端化——V115 按账号绑定存储 + 后台密钥管理页 + 桌面端全站拦截与配置引导 
- 新增 usersecret 模块：外观专利/货源查询密钥从本地 localStorage 迁移至 biz_user_api_secret（AES 加密、按 uid 绑定）
- 后台「密钥管理」页：脱敏展示、立即检测、清空；每日 04:30 分布式锁定时巡检
- 桌面端：密钥设置面板走服务端、未配齐引导 /setup-secrets、代理余量展示
- 删除专利汇令牌全链路与密钥保留时长选择器
 2026-09-13 10:03:59 +08:00
huangzd1997 441917bfce feat(后台/店铺数据): 结果下载增加进度弹窗 
批量打包下载与单店下载接入 axios onDownloadProgress，progress 弹窗显示
百分比；后端未回 Content-Length 时退化为 indeterminate 流动条，避免用户
在大 zip 下载期间以为页面无响应。
 2026-09-12 11:42:33 +08:00
huangzd1997 9962d9797e feat(后台): 店铺密钥页支持配置静态代理 + 手动检测白名单——列表展示代理/失败次数，操作列加「检测白名单」按钮（绕过缓存真实请求并重置自动重试计数） 2026-09-11 17:18:27 +08:00
huangzd1997 dd45ffe34c chore(清理): 删除死代码与过期文件——7个无引用DTO+图片工作台整棵子树(16文件)+冗余副本+一次性脚本+可再生审计快照 
每项删除前均做过全仓库引用核对（含 tests/、两个前端、Python 侧）：
- Java 7 个 DTO：BrandTaskRunRequest、LegacyBrandTaskCreateVo、Ziniao{SwitchShopRequest,CurrentShopVo,LoginUrlVo,SwitchShopVo}、
  AppearancePatentParsedGroupManifestDto —— 全仓库仅命中声明行本身
- frontend-vue 整棵 src/pages/image/（16 文件）：9a487ae9 起首页一级入口已删（"图片已并入视频页"），
  该子树完全自闭环；同步移除 /image 路由与 ImageVideoPage 的图片入口
- frontend-vue 两个孤儿组件 AiModuleSwitch/AiWorkflowShell：无引用，且位于 src/shared/components
  而非 unplugin-vue-components 默认扫描的 src/components，不存在自动注册
- backend/tool/devices.py + .device_id：app_client/tool/devices.py 的冗余副本（活的是 app_client 那份），
  app.py 只注册 version_bp，无任何引用
- admin-frontend-vue 的一次性 Playwright 调试脚本 rescan.tmp.mjs / diag-role-price.mjs
- backend-java/scripts/*_report.json ×4：可由 n1_scan.py 等重跑的审计快照
- frontend-vue/DESIGN.md：Last refreshed 2026-06-09，仍是 MPA 时代内容
- backend/requirement.txt：pip freeze 63 条裁剪为实际 import 的 5 条；run.sh 硬依赖该文件存在，故保留文件本身

验证：mvn compile 通过、vue-tsc --noEmit 通过、残留引用 grep 零命中。
注：仓库既有的 4 个失败测试类（FlywayMigration*DocTest、MigrationInventoryTest、HttpClientTimeoutEffectiveTest）
经 stash 对照实验确认与本次改动无关（相同 Failures/Errors 计数）。
 2026-09-11 01:33:54 +08:00
huangzd1997 5af4e1c23e fix(admin-vue 查询ASIN): 列表筛选/分页参数对齐后端 snake_case，导出 XLSX 带上当前筛选 
- query-asin-filter: toQueryAsinQuery 输出 page_size/group_id/shop_name（35bed42b 后端已改显式 snake，
  camel 参数被静默忽略导致分组/店铺名筛选无作用、pageSize 固定回落 15）
- 新增 query-asin-export: 按当前筛选构建导出 URL，页面「导出 XLSX」不再恒为全量
- query-asin-import-api: 导入兜底分组 groupId→group_id（后端 importExcel 已改名，此前同样被丢弃）
- query-asin-delete-import-api: 保持 groupId 并加注释（后端仍隐式 camel，统一需两端同步部署）
- task-71 测试断言更新为 snake 契约（含 camel 不下发反断言）+ 新增导出 URL 用例

已上线 admin-vue-20260910-145200，线上 chunk 验证含 snake 参数；task-71 10/10 通过，vue-tsc 通过
 2026-09-10 14:53:57 +08:00
huangzd1997 02441565a0 fix(admin-vue): 编辑用户菜单权限已授权回显失效——树数据就绪后 await nextTick 再 setCheckedKeys（el-tree store 异步同步 props.data，旧实现作用在空 store 上勾选丢失），补源码断言防回归测试 2026-09-09 18:32:44 +08:00
huangzd1997 45fdd8a294 feat(software-version): 安装包改浏览器直传 MinIO，支持批量删除 
- 后端新增 /api/admin/version/presign、confirm、delete 端点；直传后服务端校验对象并写 web_config
- OSS 层新增软件版本对象 presign PUT/大小校验/删除与 client 桶 URL 识别
- 后台前端上传改 presign→PUT→confirm 三段式直传，带进度条；成功提示精简为"发布成功"
- 版本列表加勾选/表头全选、批量删除与单行删除；操作按钮样式对齐其他子菜单
 2026-09-08 23:51:18 +08:00
huangzd1997 630bfc3eee fix(shop-data-crawl): 后台店铺数据记录改读每店最新累计档，删除任务不再连坐后台 
后台“店铺数据记录”此前以每次抓取的 file_result/file_task 为源，前台删除任务会物理删
这两张表，导致该店在后台退档/消失。现改为以采集归档维护、删除任务时保留的
biz_shop_data_crawl_daily_file 每店最新一档为数据源：
- V113：daily_file 冗余 shop_name 列并回填；归档写档三处入口同步写入
- 列表/批量下载/单档下载/删除端点改按每日累计档 id（daily-files/{id}）
- 管理端删除=真删该店这条数据记录（档+文件+明细），前台任务历史保留但清文件指针
- 明细行 daily_file_id 跨天滚动删旧档时改指新档，修存量悬空引用（另附修复脚本）
 2026-09-08 15:02:25 +08:00
huangzd1997 50d0d110a2 fix(admin): 后台自定义浮层(modal-mask 3000/导出等待3100)遮挡 Element 消息——ElMessage 全局抬升 z-index 4000、确认消息盒(ElOverlay.is-message-box)抬升 4100,修复去重台账导入/编辑未选分组警告被浮层挡住看不见;新增层级回归测试 2026-09-07 21:35:48 +08:00
huangzd1997 c5982dd900 feat(admin): 最低价ASIN列表操作列新增整条删除按钮——后端DELETE /skip-price-asins/{id}(权限校验+日志),前端确认弹窗+删空页回退,补单测与对齐测试 2026-09-07 16:05:57 +08:00
huangzd1997 0bd4843b8e fix(admin): 店铺数据记录卡片任务号显示 taskId(file_task.id 短数字 27172 类)——上一提交回退方向反了,查库确认 taskNo 实为 SHOP_DATA_CRAWL-雪花ID 超长串,用户要的是短数字 id;保留任务号样式修复(12px+省略号收缩,状态徽章不被挡) 2026-09-07 15:53:34 +08:00
huangzd1997 e8f0dead9e fix(admin): 店铺数据记录卡片任务号改回短任务号(taskNo优先,反馈taskId过长)——同步删除确认；修复任务号样式类名不匹配(模板shop-card-task-no/样式sd-task-no)致长任务号将'已完成'状态徽章挤出卡片被裁——任务号12px+flex收缩省略号,状态徽章固定可见 2026-09-07 15:41:17 +08:00
huangzd1997 b575059726 feat(admin): 店铺数据记录卡片改一行4个；卡片任务号改为任务id(file_task.id,与桌面端推送/心跳/回传同一id)——taskId优先,taskNo/resultId兜底；删除确认同步；更新对齐测试 2026-09-07 15:34:35 +08:00
huangzd1997 4994142a67 feat(需求): ①创建/编辑用户菜单权限勾选父菜单自动全选子菜单(el-tree去check-strictly走父子联动,提交前压缩为最小直接授权集,父勾选时后代不重复落库) ②修复管理员勾选店铺数据菜单仍提示'无权查看店铺数据任务'——admin分区授权后若有效授权含店铺数据任务/重复检查菜单(含经'店铺管理'分组展开),自动补内部数据权限 admin_shop_data_crawl_task_data(镜像V84惯例只增不删,回收仍走超管数据范围授权UI) 2026-09-07 14:22:53 +08:00
huangzd1997 f6c44d1b92 feat(撞款): 店铺上架分布/撞款覆盖矩阵/撞款详情 三块分页器常显(修复反馈:数据不足一页时看不到分页器——去掉v-if条件,与全站一致显示共N条+10/20/50/100+跳页) 2026-09-07 09:36:20 +08:00
huangzd1997 678605e9fb feat(需求): ①全站分页pageSize统一默认10+10/20/50/100选项(9页默认值15/20→10+6个兜底常量统一+撞款台账升级OldPagination+商品类目树顶层标准分页) ②修复6页OldPagination缺import分页器不渲染(不符合ASIN/查询ASIN/最低价ASIN/生成记录/店铺密钥/店铺管理)+查询ASIN操作列按钮间距+最低价范围筛选number类型报错 ③e2e断言对齐现状(顶栏h1/移除收起按钮后规格同步)+国家显示中文断言固化 2026-09-07 02:43:37 +08:00
huangzd1997 056abcd473 fix(反馈): ①分组管理操作列加宽160px ②查询ASIN操作列补「删除」(整店全站配置清除,逐国端点) ③去重汇总编辑/删除间距(gap8) ④店铺数据记录下载文件按钮与全站编辑主色统一(btn-sm主蓝) ⑤撞款页按钮色统一蓝白(btn-primary #4f78a5)；⑥全站分页统一收官: 分组管理/菜单管理/软件版本补 OldPagination(10/20/50/100) 2026-09-07 02:43:37 +08:00
huangzd1997 e820811d98 feat(需求): ①撞款页「店铺上架分布/撞款覆盖矩阵/撞款详情/明细抽屉」四块补分页(共享 OldPagination,10/20/50/100 可选) ②店铺数据记录去掉顶部店铺级分页、保留底部(店铺 pageSize 提到 200 一次全载) 2026-09-07 02:43:37 +08:00
huangzd1997 cd6beef388 feat(需求): ①全站列表/卡片分页统一为共享 OldPagination(共N条+10/20/50/100条数可选+跳页) ②创建用户菜单权限改左右布局(后台|桌面端并排) ③修复角色筛选失效(normalizeUserPageParams 白名单丢 role 字段) 2026-09-07 02:43:37 +08:00
huangzd1997 f00fdcd42a feat(需求): ①用户管理补「角色」筛选(前端+后端 role 参数) ②软件/数字人版本页补版本号搜索 ③全站 el-select 统一 filterable(分组/所属管理员/角色等大下拉可模糊搜索) 2026-09-07 02:43:37 +08:00
huangzd1997 970affec95 feat(需求): ①用户创建/编辑菜单权限按「后台/桌面端」一级分组展示(双树分区勾选合并) ②全站表格操作列编辑/删除横向对齐(ops-cell 统一 flex+gap 8px) 2026-09-07 02:43:37 +08:00
huangzd1997 4a9ddcab64 feat(需求): ①账户域菜单/分组补筛选(名称/组长/类型) + 分组管理移除「数据权限分组」摘要卡 ②店铺密钥列表补筛选(备注/紫鸟账号) ③店铺数据记录两级分页常显 ④全站分组筛选下拉支持模糊搜索(el-select filterable,样式对齐蓝白42px) 2026-09-07 02:43:37 +08:00
huangzd1997 3ef7cefe07 align(tasks·像素复刻): 视频任务记录/店铺数据记录 两页自绘复刻旧版(panel-image-video-tasks/shop-data-crawl-tasks)——form-box筛选[用户名/提交起止]+panel-box toolbar[全选/批量下载/权限配置/汇总]+任务/店铺卡片网格+旧版状态徽章映射+原生confirm删除+旧式分页(店铺级+卡片9/页)；空态/调试链接复制对齐旧版 2026-09-07 02:43:37 +08:00
huangzd1997 b0c461d347 align(records·像素复刻): 软件版本(全量无分页同旧版)/数字人版本(三态色/最新★/操作矩阵/数字页码分页) 自绘复刻旧版；确认走原生 confirm 对齐旧版 2026-09-07 02:43:37 +08:00
huangzd1997 f324c6bd3d align(shop·像素复刻): 店铺密钥/店铺管理 两页自绘复刻旧版(panel-shop-keys/shop-manage)——序号列+令牌掩码+白名单状态药丸(正常绿/未加白名单红/未检测灰)+悬停详情、密码列******+眼睛实时读明文、btn-sm行操作+原生confirm删除+旧式分页 2026-09-07 02:43:37 +08:00
huangzd1997 35ecceacb4 align(asin·像素复刻): 品牌库/查询ASIN/最低价ASIN/商品类目 四页自绘复刻旧版(panel-invalid-asin-data/query-asin/skip-price-asin/product-categories)——原生rowspan表格+可复制ASIN+btn-sm行操作+原生confirm删除+旧式分页(类目15/页/搜索态)+面板头搜索组/操作组+树[+/−]折叠/懒加载/编辑态按钮文案；编辑弹窗父级只读 2026-09-07 02:43:37 +08:00
huangzd1997 c5c103b287 align(account·像素复刻): 用户管理/菜单权限配置/分组管理 三页自绘复刻旧版(panel-users/columns/group-manage)——原生表格+btn-sm行操作+原生confirm删除+旧式分页(菜单/分组全量无分页同旧版)+分组摘要chips；创建/编辑/菜单树弹窗保留现有组件 2026-09-07 02:43:37 +08:00
huangzd1997 66082af52a fix(样办反馈): ①生成记录查询按钮与输入框对齐(修复登录页非scoped .form-group{margin-bottom:20px}全局泄漏，登录页样式收窄scoped+页面内显式重置) ②去重汇总移除数据权限分组摘要块(模型纯函数保留) ③分组筛选下拉显示真实分组名(解析器兼容Java groupName字段) 2026-09-07 02:43:37 +08:00
huangzd1997 c200fa4f32 align(去重数据汇总·像素复刻样办2): DedupeRegistryPage 重写为自绘复刻 admin panel-dedupe-total-data(分组摘要chips/双行筛选grid/页头操作组/旧式表格btn-sm行操作/编辑+导入modal/导出等待遮罩/旧式分页)；删除确认改原生confirm对齐旧版 2026-09-07 02:43:36 +08:00
huangzd1997 e81aa9e02e align(生成记录样办·反馈): 还原旧版交互——去掉重置/清理数据/查看大图按钮，点击缩略图直接放大预览；按钮间距统一10px；前端 clearHistory 适配移除(后端 DELETE /history 端点保留) 2026-09-07 02:43:36 +08:00
huangzd1997 4276a90236 align(生成记录·像素复刻样办): RecordsHistoryPage 重写为自绘复刻 admin panel-history(旧版 form-box/panel-box/原生控件/table-scroll/thumb 缩略图/旧式分页/大图 modal CSS)；脚本沿用现有 API，测试断言适配自绘结构 2026-09-07 02:43:36 +08:00
huangzd1997 7adef149d8 align(视频任务/店铺数据记录): 列表主体补 el-card 卡壳(对齐旧版 panel-box 双卡结构)——toolbar+卡片网格+空态+分页脚入卡 2026-09-07 02:43:36 +08:00
huangzd1997 e793f3b72d fix(店铺数据记录): 两级分页不再叠放——店铺级分页上移 toolbar 汇总行右侧(>20店才显示)，卡片级分页保留底部 footer 2026-09-07 02:43:36 +08:00
huangzd1997 fc4eff2f01 align(shop/records/tasks): 店铺管理/密钥、生成记录查看大图、数字人版本操作矩阵、视频任务明细/下载 主操作统一实心 small(对齐 .btn-sm)；纯复制链接辅助保留 text 2026-09-07 02:43:36 +08:00
huangzd1997 2691472a5e align(account): 用户/菜单/分组行内操作统一实心 small 按钮(对齐旧版 .btn-sm)，移除 link 形态 2026-09-07 02:43:36 +08:00
huangzd1997 4742a2e3b5 align(全局+asin): 每面板操作提示条(guides对齐旧版admin-interactions.js原文)；asin域行内按钮统一实心small(对齐.btn-sm)；商品类目树折叠钮靛蓝#6366f1改蓝白token 2026-09-07 02:43:36 +08:00
huangzd1997 26e062d32c task-284(收尾/在途批次): 页头按钮归位卡内toolbar+店铺数据记录改名+弹窗报错清除; Java page_size配对/按角色数据范围过滤/撞款导出XLSX/Excel图改WPS DISPIMG/V110查询索引 2026-09-07 02:43:36 +08:00
huangzd1997 898fae4cb3 align(用户菜单授权): 创建/编辑用户菜单权限补齐前端客户端(app)菜单并按类型分区落库 
用户管理菜单权限此前只含后台 admin(单类型)：前端授权树/回显仅拉 menuType=admin，
后端 replaceDirectPermissions 也固定用 ADMIN 作用域写。现改为同时覆盖 后台(admin)+前端客户端(app)：
- 前端 user-menu-auth 节点携带 type，api 并行拉取 admin/app 两类可授权树与已授权 id 合并去重，树内两类根并存(账号与权限/视频/前端工具/运营工具/后勤工具等)
- 后端 PermissionMenuService 新增 resolveMenuTypes(按 id 解析类型)；AdminUserService create/update 把勾选 id 拆 admin/app 分区整树替换(internal 不纳入)
- 前端 1556 测试全绿 + build 通过；后端单测(AdminUserServiceTest/PermissionMenuServiceTest/Controller/PermissionMenuResolveTypeTest) EXIT 0
- 本地 E2E：创建用户写入 admin=7+app=3 → 按类型回读 admin[7]/app[3]，删除正常
 2026-09-07 02:43:36 +08:00
huangzd1997 8034d916bc align(撞款): 店铺数据重复按登录角色区分范围——超管看全分组、管理员只看本组 
撞款控制台角色收口：前端读会话角色(isSuperAdmin)，非超管隐藏筛选「分组」下拉、
「分组撞款」分段与「分组说明」按钮（分组专属交互仅超管需要）；普通管理员数据已由
后端 resolveVisibleShopKeys 裁剪到所管分组店铺(超管 null=全量)。前端 1554 测试全绿 + build 通过。
 2026-09-07 02:43:36 +08:00
huangzd1997 191e5f9102 align(重复检测): DuplicateCheckPage 像素级复刻 reference asin-store-console 
撞款控制台整页复刻 reference 观感：引入页面独立 reference 令牌(#2E5BE6 主蓝/#D63A4A 红/#F2F4F8 底)落到 KPI 色点/矩阵单元格/撞款卡/台账 chips；撞款覆盖矩阵与全部ASIN台账改原生表格(台账20条/页+共N条/上一页/下一页/跳至N页分页条,列头服务端排序▲/▼)；筛选改原生 input/select/date；明细抽屉+底部 toast 复刻 reference(原生 mask/drawer/d-table 汇总徽章)；分组说明只读(归属来自店铺管理)。
数据源保持自家 /api/admin/shop-data-crawl/duplicate-check-console|-ledger|-export 不变。

验收：mock-admin-server 补 console/ledger 夹具；新增 e2e dup-console.spec(渲染/台账切换/令牌色值/矩阵台账结构断言+截图)；align-dup-console/align-column-width 断言随原生表格调整；前端 1552 测试全绿 + vue-tsc/build 通过。
 2026-09-07 02:43:36 +08:00
huangzd1997 4c88964473 task-283(后台迁移收尾/发布): admin-vue 后台工程入库 + Flask 后台整体退役 
- 新后台 admin-frontend-vue 整工程入库(base=/admin-vue/、History 路由、Nginx 静态托管方案与 verify-dist 校验)
- Java AdminConsoleController 改为入口重定向: /admin|/admin.html、/login|/login.html -> /admin-vue/; 删除 classpath:static 旧 admin.html/login.html 单页与 admin.js 副本
- Flask 后台整体退役: 删除 admin_api/auth/main 蓝图、web_source 页面、static 脚本与 admin 相关测试; app.py 收敛为仅注册 version_bp(/api/version、/api/version/latest, 供桌面端更新检查)
- AdminApiGuardFilterTest 豁免样例路径 /admin.html -> /admin-vue/
 2026-09-06 10:41:47 +08:00
huangzd1997 6bd935dc6b task-282(验收反馈): 类目改回旧版树形表格(缩进+[+-]折叠标记+名称/层级路径/排序/来源/说明/操作列,懒加载与加载更多保留) 2026-09-06 02:45:46 +08:00
huangzd1997 b7029835d8 task-281(验收反馈): 重复检测P1视觉对齐(KPI圆点/在售店铺蓝/warn格浅红底/矩阵空态副文案/分布副标题) 2026-09-06 02:42:56 +08:00
huangzd1997 ab787ceff7 task-280(验收反馈): 重复检测对齐reference P0(分组筛选生效/抽屉聚合+汇总徽章/台账计数预载/total_dup计数/矩阵表头吸顶;后端含工作区在途console化代码) 2026-09-06 02:41:44 +08:00
huangzd1997 3dd39bba44 task-279(验收反馈): 修复类目树子级挂错父级(根级loadMore id=-1与父级1的合成节点撞node-key,合成id改独立负数域) 2026-09-06 02:33:51 +08:00
huangzd1997 648935e757 task-278(验收反馈): 生成记录加清理数据功能(DELETE /api/admin/history 二次确认+条数提示;含工作区在途的 imagehistory 分页优化) 2026-09-06 02:25:44 +08:00
huangzd1997 6d9b4a13ee task-277(验收反馈): 类目树优化(占位子级保证展开箭头/28px缩进/节点加间距/箭头放大加色) 2026-09-06 02:19:45 +08:00
huangzd1997 3b5adff2e3 task-276(验收反馈): 分页组件全站统一(jumper+按钮高亮样式)+MenusPage补分页+最低价筛选同排+视频筛选加固+移除侧边栏收起按钮+gitignore战役脚本规则 2026-09-06 02:16:47 +08:00
huangzd1997 6e2e4bf8e7 task-275(验收反馈): 菜单权限标识/路由后台自动生成(menu_auto_/auto/ 前缀),表单移除两项输入;编辑缺省保持原值 2026-09-06 01:57:17 +08:00