super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,184 Commits 1 Branch 0 Tags
e248b6e43af385c37367db472a89d5263300e1ab
Commit Graph

392 Commits

Author SHA1 Message Date
huangzd1997 e248b6e43a feat(web): 前端 SPA 化 + 工具页任务面板统一与历史批量删除 
- SPA 化：22 个 MPA html 入口与 *-main.ts 合并为 index.html + vue-router（URL 无 .html 后缀），
  页面跳转全部 router-link，/new_web_source/xxx.html 旧路径归一为 /xxx
- 任务面板统一：共享 TaskCenterPanel/TaskItemCard/TaskStatCards/HistoryTaskLayer，
  16 个工具页右侧统一为统计卡 + 当前任务 + 历史任务弹层（任务ID/开始/结束/状态必展示）
- 历史记录支持单条删除 + 批量勾选删除（确认框/全选/失败提示）
- Java 7 模块（dedupe/convert/split/productrisk/shopmatch/pricetrack/deletebrand）
  history 接口补齐任务时间字段（VO+Service，复用 biz_file_task 列）
- 图片工作台/API 层（brand/permission/user）既有未提交改动一并提交
 2026-09-08 10:02:55 +08:00
huangzd1997 abcfa5bef7 perf(similarasin): LLM 输入图转存前压缩,规避网关拉图超时 
- 主图/拼图转存 MinIO supply_images 前统一走 SimilarAsinImageEmbedder.resizeImage
  (长边 1280 / JPEG q0.75 / 迭代降质至 ≤150KB),体积 1~5MB → 100~300KB
- 根因:LLM 网关按 URL 拉取 OSS 图片,原图过大偶发 context deadline exceeded
  (convert_request_failed),27117 等任务 1 行 LLM 500 即整任务卡死
- 压缩失败降级原字节不阻断行处理;压缩前后字节数 INFO 日志便于线上排查
- SimilarAsinImageEmbedder.resizeImage 由包私有改 public 供复用
 2026-09-07 22:28:13 +08:00
huangzd1997 83e38d4278 fix(similarasin): LLM 切换 gemini-3.8-flash + 修复双实例 stale 判死盲区 
- 模型切换:glm-5.3-flash / gemini-3.7-flash(类目/合规/图片对比,appearancepatent)→ gemini-3.8-flash
  涉及 SimilarAsinProperties、AppearancePatentProperties、application.yml、TLS 探针与测试断言
- stale 判死盲区:finalizeStaleTasks 去掉 isOwnerCurrent 过滤,改由 job 锁持有实例全局判死
  (任务 27117 线上死因:客户端 done 信号被任务锁拒后断线,owner 过滤导致无人判死,
  被另一实例 job stuck 扫描误判为"文件生成任务运行超时";appearancepatent 同源盲区一并修复)
- 客户端回传重试:3x2s → 8 次,40902 锁忙固定等 15s(app_client/similar_asin.py,随客户端发包生效)
 2026-09-07 22:10:20 +08:00
huangzd1997 c5982dd900 feat(admin): 最低价ASIN列表操作列新增整条删除按钮——后端DELETE /skip-price-asins/{id}(权限校验+日志),前端确认弹窗+删空页回退,补单测与对齐测试 2026-09-07 16:05:57 +08:00
huangzd1997 6d6cfcb6ff fix(权限): 店铺数据重复检查仅勾菜单无「店铺数据记录」仍403——校验口径与自动补权对齐(任务/重复检查任一菜单+数据权限即可放行,镜像魏振峰反馈: 只勾103未勾94且数据权限已补仍被拒); 顺带修复 controller 直连 mapper 架构违规 resolveVisibleShopNameKeys 下沉 ShopDataCrawlAdminTasksService 2026-09-07 15:08:43 +08:00
huangzd1997 4994142a67 feat(需求): ①创建/编辑用户菜单权限勾选父菜单自动全选子菜单(el-tree去check-strictly走父子联动,提交前压缩为最小直接授权集,父勾选时后代不重复落库) ②修复管理员勾选店铺数据菜单仍提示'无权查看店铺数据任务'——admin分区授权后若有效授权含店铺数据任务/重复检查菜单(含经'店铺管理'分组展开),自动补内部数据权限 admin_shop_data_crawl_task_data(镜像V84惯例只增不删,回收仍走超管数据范围授权UI) 2026-09-07 14:22:53 +08:00
huangzd1997 e6cf4c2461 fix: 停用登录设备绑定(注释 machine 写入/重绑与 check_login 不一致拒绝)便于多设备/联调；Vue 首页背景图改 /bg.jpg 并补 public 资源、首页/登录布局居中修复 2026-09-07 11:19:42 +08:00
huangzd1997 23e749c973 fix(撞款): 存量迁移修复——①POI zip安全限制放宽(setMaxFileCount/minInflateRatio,旧文件条目数超限整店失败) ②明细批次唯一键放宽(V112 uk→普通索引,同店同日同国同ASIN允许多行) ③迁移失败日志补全堆栈 2026-09-07 03:11:48 +08:00
huangzd1997 5f8c469b8e feat(需求): 撞款重复检查改查数据库——①采集明细先落库再更新文件(V111 biz_shop_data_crawl_item行级明细,归档时countryResults展开,同店同日幂等替换) ②撞款扫描换源直接查明细表(不再解析OSS xlsx,修复旧文件表头差异致4家店静默丢弃) ③存量Excel数据自动迁移(日报快照row_payload优先+OSS宽松表头回退:ASIN码/小写兼容) ④移除84家店铺全量空态注入(重复检查基数=已采集店,超管口径8家) ⑤新增明细聚合/宽松解析单测6个 2026-09-07 02:43:37 +08:00
huangzd1997 d3f5a371e3 feat(撞款+用户): ①扫描基线与店铺表全量对齐——无结果文件的店以空态(0记录+分组标签)注入扫描，撞款控制台超管可见全部店铺(实测 shop_count 83=全量) ②用户列表支持 role 筛选参数 ③修复 toItem creatorMap.getOrDefault(null) 在不可变 Map 的 NPE 2026-09-07 02:43:37 +08:00
huangzd1997 35bed42b73 fix(筛选契约): 去重汇总/品牌库/查询ASIN 列表与导出接口 @RequestParam 显式 snake_case(page_size/group_id/data_value/shop_name/start_date/end_date)，与前端 asin-filter 序列化对齐——修复全站筛选/分页不生效(前端snake vs 后端裸camel全不匹配) 2026-09-07 02:43:37 +08:00
huangzd1997 26e062d32c task-284(收尾/在途批次): 页头按钮归位卡内toolbar+店铺数据记录改名+弹窗报错清除; Java page_size配对/按角色数据范围过滤/撞款导出XLSX/Excel图改WPS DISPIMG/V110查询索引 2026-09-07 02:43:36 +08:00
huangzd1997 898fae4cb3 align(用户菜单授权): 创建/编辑用户菜单权限补齐前端客户端(app)菜单并按类型分区落库 
用户管理菜单权限此前只含后台 admin(单类型)：前端授权树/回显仅拉 menuType=admin，
后端 replaceDirectPermissions 也固定用 ADMIN 作用域写。现改为同时覆盖 后台(admin)+前端客户端(app)：
- 前端 user-menu-auth 节点携带 type，api 并行拉取 admin/app 两类可授权树与已授权 id 合并去重，树内两类根并存(账号与权限/视频/前端工具/运营工具/后勤工具等)
- 后端 PermissionMenuService 新增 resolveMenuTypes(按 id 解析类型)；AdminUserService create/update 把勾选 id 拆 admin/app 分区整树替换(internal 不纳入)
- 前端 1556 测试全绿 + build 通过；后端单测(AdminUserServiceTest/PermissionMenuServiceTest/Controller/PermissionMenuResolveTypeTest) EXIT 0
- 本地 E2E：创建用户写入 admin=7+app=3 → 按类型回读 admin[7]/app[3]，删除正常
 2026-09-07 02:43:36 +08:00
huangzd1997 1da4511dd9 fix(admin): 后台入口 /admin /login 用 sendRedirect 产生真实 302 
@RestController 下返回 redirect: 字符串只会原样写进 200 响应体，
浏览器不会跳转。页面入口方法改为 HttpServletResponse.sendRedirect 302
到 /admin-vue/，旧 /admin.html、/login.html 一并兜底。
 2026-09-06 11:01:04 +08:00
huangzd1997 4c88964473 task-283(后台迁移收尾/发布): admin-vue 后台工程入库 + Flask 后台整体退役 
- 新后台 admin-frontend-vue 整工程入库(base=/admin-vue/、History 路由、Nginx 静态托管方案与 verify-dist 校验)
- Java AdminConsoleController 改为入口重定向: /admin|/admin.html、/login|/login.html -> /admin-vue/; 删除 classpath:static 旧 admin.html/login.html 单页与 admin.js 副本
- Flask 后台整体退役: 删除 admin_api/auth/main 蓝图、web_source 页面、static 脚本与 admin 相关测试; app.py 收敛为仅注册 version_bp(/api/version、/api/version/latest, 供桌面端更新检查)
- AdminApiGuardFilterTest 豁免样例路径 /admin.html -> /admin-vue/
 2026-09-06 10:41:47 +08:00
huangzd1997 ab787ceff7 task-280(验收反馈): 重复检测对齐reference P0(分组筛选生效/抽屉聚合+汇总徽章/台账计数预载/total_dup计数/矩阵表头吸顶;后端含工作区在途console化代码) 2026-09-06 02:41:44 +08:00
huangzd1997 648935e757 task-278(验收反馈): 生成记录加清理数据功能(DELETE /api/admin/history 二次确认+条数提示;含工作区在途的 imagehistory 分页优化) 2026-09-06 02:25:44 +08:00
huangzd1997 6e2e4bf8e7 task-275(验收反馈): 菜单权限标识/路由后台自动生成(menu_auto_/auto/ 前缀),表单移除两项输入;编辑缺省保持原值 2026-09-06 01:57:17 +08:00
huangzd1997 5e5658b00d fix(backend-java): Flyway V100 撞号修复配套(迁移矩阵补全16键/测试引用改指V109) 2026-09-06 01:44:14 +08:00
huangzd1997 9ac4eda054 task-271(验收反馈): Element Plus 全局接入 zh-cn 语言包(日期控件/分页组件中文) 2026-09-06 01:44:06 +08:00
huangzd1997 e45ab1da9e task-179(客户端公开版本接口兼容): Task179Test 契约测试 RED→GREEN。 2026-09-05 18:06:28 +08:00
huangzd1997 05d19626a1 task-178(客户端公开版本接口兼容): Task178Test 契约测试 RED→GREEN。 2026-09-05 18:06:28 +08:00
huangzd1997 cf750a26d4 task-177(客户端公开版本接口兼容): Task177Test 契约测试 RED→GREEN。 2026-09-05 18:06:28 +08:00
huangzd1997 656dc7ce2f task-176(客户端公开版本接口兼容): Task176Test 契约测试 RED→GREEN。 2026-09-05 18:06:27 +08:00
huangzd1997 37d3dc8a4c task-175(客户端公开版本接口兼容): Task175Test 契约测试 RED→GREEN。 2026-09-05 18:06:27 +08:00
huangzd1997 74691acdf9 task-174(客户端公开版本接口兼容): Task174Test 契约测试 RED→GREEN。 2026-09-05 18:06:27 +08:00
huangzd1997 46f1d27478 task-173(客户端公开版本接口兼容): Task173Test 契约测试 RED→GREEN。 2026-09-05 18:06:26 +08:00
huangzd1997 ea9b263af3 task-172(客户端公开版本接口兼容): Task172Test 契约测试 RED→GREEN。 2026-09-05 18:06:26 +08:00
huangzd1997 95af9667f6 task-171(客户端公开版本接口兼容): Task171Test 契约测试 RED→GREEN。 2026-09-05 18:06:26 +08:00
huangzd1997 1e8e173236 task-170(客户端公开版本接口兼容): Task170Test 契约测试 RED→GREEN。 2026-09-05 18:06:25 +08:00
huangzd1997 d3b7ea85eb task-169(客户端公开版本接口兼容): Task169Test 契约测试 RED→GREEN。 2026-09-05 18:06:25 +08:00
huangzd1997 4e7eb49e0d task-168(客户端公开版本接口兼容): Task168Test 契约测试 RED→GREEN。 2026-09-05 18:06:25 +08:00
huangzd1997 21e56d40e2 task-167(客户端公开版本接口兼容): Task167Test 契约测试 RED→GREEN。 2026-09-05 18:06:24 +08:00
huangzd1997 5e274878fe task-166(客户端公开版本接口兼容): Task166Test 契约测试 RED→GREEN。 2026-09-05 18:06:24 +08:00
huangzd1997 9a20b38bbd task-165(客户端公开版本接口兼容): Task165Test 契约测试 RED→GREEN。 2026-09-05 18:06:23 +08:00
huangzd1997 9aceedb2e2 task-164(客户端公开版本接口兼容): Task164Test 契约测试 RED→GREEN。 2026-09-05 18:06:22 +08:00
huangzd1997 23cb828162 task-163(客户端公开版本接口兼容): Task163Test 契约测试 RED→GREEN。 2026-09-05 18:06:22 +08:00
huangzd1997 3fc8746218 task-162(客户端公开版本接口兼容): 冻结 /api/version/latest 响应契约 
PublicVersionLookup 增 latest/selectLatest 与路径常量 + Task162Test。

TDD: RED→GREEN。
 2026-09-05 18:06:22 +08:00
huangzd1997 b134db134e task-161(客户端公开版本接口兼容): 冻结 /api/version 响应契约 
新增 PublicVersionLookup.currentVersionResponse + Task161Test。

TDD: RED→GREEN。
 2026-09-05 18:04:19 +08:00
huangzd1997 e88bf5322b task-155(Java 菜单树与 Flyway): 新增 V100 迁移(admin 菜单 route_path 更新) 2026-09-05 18:01:14 +08:00
huangzd1997 e461ceec2c task-159(Java 菜单树与 Flyway): Task159Test 8 用例 RED→GREEN。 2026-09-05 18:01:14 +08:00
huangzd1997 3056608e04 task-158(Java 菜单树与 Flyway): Task158Test 8 用例 RED→GREEN。 2026-09-05 18:01:14 +08:00
huangzd1997 4cdc7205e9 task-157(Java 菜单树与 Flyway): Task157Test 8 用例 RED→GREEN。 2026-09-05 18:01:13 +08:00
huangzd1997 6701c12178 task-156(Java 菜单树与 Flyway): Task156Test 8 用例 RED→GREEN。 2026-09-05 18:01:13 +08:00
huangzd1997 ee73d7d683 task-155(Java 菜单树与 Flyway): Task155Test 8 用例 RED→GREEN。 2026-09-05 18:01:12 +08:00
huangzd1997 6dcdbec63d task-154(Java 菜单树与 Flyway): 定义 route_path Flyway 迁移矩阵 
新增 AdminMenuRouteMatrix + Task154Test(契约/唯一性)。

TDD: RED→GREEN。
 2026-09-05 18:01:12 +08:00
huangzd1997 84cc592517 task-153(Java 菜单树与 Flyway): Task153Test 8 用例 RED→GREEN。 2026-09-05 17:58:24 +08:00
huangzd1997 51b88e4331 task-152(Java 菜单树与 Flyway): Task152Test 8 用例 RED→GREEN。 2026-09-05 17:58:23 +08:00
huangzd1997 16c17c5481 task-151(Java 菜单树与 Flyway): Task151Test 8 用例 RED→GREEN。 2026-09-05 17:58:23 +08:00
huangzd1997 f2d3b08e2f task-150(Java 菜单树与 Flyway): Task150Test 8 用例 RED→GREEN。 2026-09-05 17:56:52 +08:00