super/crawler-plugin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,262 Commits 1 Branch 0 Tags
b05bba50fa90cc4ea206f93079d556892555dab5
Commit Graph

346 Commits

Author SHA1 Message Date
huangzd1997 c5982dd900 feat(admin): 最低价ASIN列表操作列新增整条删除按钮——后端DELETE /skip-price-asins/{id}(权限校验+日志),前端确认弹窗+删空页回退,补单测与对齐测试 2026-09-07 16:05:57 +08:00
huangzd1997 6d6cfcb6ff fix(权限): 店铺数据重复检查仅勾菜单无「店铺数据记录」仍403——校验口径与自动补权对齐(任务/重复检查任一菜单+数据权限即可放行,镜像魏振峰反馈: 只勾103未勾94且数据权限已补仍被拒); 顺带修复 controller 直连 mapper 架构违规 resolveVisibleShopNameKeys 下沉 ShopDataCrawlAdminTasksService 2026-09-07 15:08:43 +08:00
huangzd1997 4994142a67 feat(需求): ①创建/编辑用户菜单权限勾选父菜单自动全选子菜单(el-tree去check-strictly走父子联动,提交前压缩为最小直接授权集,父勾选时后代不重复落库) ②修复管理员勾选店铺数据菜单仍提示'无权查看店铺数据任务'——admin分区授权后若有效授权含店铺数据任务/重复检查菜单(含经'店铺管理'分组展开),自动补内部数据权限 admin_shop_data_crawl_task_data(镜像V84惯例只增不删,回收仍走超管数据范围授权UI) 2026-09-07 14:22:53 +08:00
huangzd1997 e6cf4c2461 fix: 停用登录设备绑定(注释 machine 写入/重绑与 check_login 不一致拒绝)便于多设备/联调；Vue 首页背景图改 /bg.jpg 并补 public 资源、首页/登录布局居中修复 2026-09-07 11:19:42 +08:00
huangzd1997 23e749c973 fix(撞款): 存量迁移修复——①POI zip安全限制放宽(setMaxFileCount/minInflateRatio,旧文件条目数超限整店失败) ②明细批次唯一键放宽(V112 uk→普通索引,同店同日同国同ASIN允许多行) ③迁移失败日志补全堆栈 2026-09-07 03:11:48 +08:00
huangzd1997 5f8c469b8e feat(需求): 撞款重复检查改查数据库——①采集明细先落库再更新文件(V111 biz_shop_data_crawl_item行级明细,归档时countryResults展开,同店同日幂等替换) ②撞款扫描换源直接查明细表(不再解析OSS xlsx,修复旧文件表头差异致4家店静默丢弃) ③存量Excel数据自动迁移(日报快照row_payload优先+OSS宽松表头回退:ASIN码/小写兼容) ④移除84家店铺全量空态注入(重复检查基数=已采集店,超管口径8家) ⑤新增明细聚合/宽松解析单测6个 2026-09-07 02:43:37 +08:00
huangzd1997 d3f5a371e3 feat(撞款+用户): ①扫描基线与店铺表全量对齐——无结果文件的店以空态(0记录+分组标签)注入扫描，撞款控制台超管可见全部店铺(实测 shop_count 83=全量) ②用户列表支持 role 筛选参数 ③修复 toItem creatorMap.getOrDefault(null) 在不可变 Map 的 NPE 2026-09-07 02:43:37 +08:00
huangzd1997 35bed42b73 fix(筛选契约): 去重汇总/品牌库/查询ASIN 列表与导出接口 @RequestParam 显式 snake_case(page_size/group_id/data_value/shop_name/start_date/end_date)，与前端 asin-filter 序列化对齐——修复全站筛选/分页不生效(前端snake vs 后端裸camel全不匹配) 2026-09-07 02:43:37 +08:00
huangzd1997 26e062d32c task-284(收尾/在途批次): 页头按钮归位卡内toolbar+店铺数据记录改名+弹窗报错清除; Java page_size配对/按角色数据范围过滤/撞款导出XLSX/Excel图改WPS DISPIMG/V110查询索引 2026-09-07 02:43:36 +08:00
huangzd1997 898fae4cb3 align(用户菜单授权): 创建/编辑用户菜单权限补齐前端客户端(app)菜单并按类型分区落库 
用户管理菜单权限此前只含后台 admin(单类型)：前端授权树/回显仅拉 menuType=admin，
后端 replaceDirectPermissions 也固定用 ADMIN 作用域写。现改为同时覆盖 后台(admin)+前端客户端(app)：
- 前端 user-menu-auth 节点携带 type，api 并行拉取 admin/app 两类可授权树与已授权 id 合并去重，树内两类根并存(账号与权限/视频/前端工具/运营工具/后勤工具等)
- 后端 PermissionMenuService 新增 resolveMenuTypes(按 id 解析类型)；AdminUserService create/update 把勾选 id 拆 admin/app 分区整树替换(internal 不纳入)
- 前端 1556 测试全绿 + build 通过；后端单测(AdminUserServiceTest/PermissionMenuServiceTest/Controller/PermissionMenuResolveTypeTest) EXIT 0
- 本地 E2E：创建用户写入 admin=7+app=3 → 按类型回读 admin[7]/app[3]，删除正常
 2026-09-07 02:43:36 +08:00
huangzd1997 1da4511dd9 fix(admin): 后台入口 /admin /login 用 sendRedirect 产生真实 302 
@RestController 下返回 redirect: 字符串只会原样写进 200 响应体，
浏览器不会跳转。页面入口方法改为 HttpServletResponse.sendRedirect 302
到 /admin-vue/，旧 /admin.html、/login.html 一并兜底。
 2026-09-06 11:01:04 +08:00
huangzd1997 4c88964473 task-283(后台迁移收尾/发布): admin-vue 后台工程入库 + Flask 后台整体退役 
- 新后台 admin-frontend-vue 整工程入库(base=/admin-vue/、History 路由、Nginx 静态托管方案与 verify-dist 校验)
- Java AdminConsoleController 改为入口重定向: /admin|/admin.html、/login|/login.html -> /admin-vue/; 删除 classpath:static 旧 admin.html/login.html 单页与 admin.js 副本
- Flask 后台整体退役: 删除 admin_api/auth/main 蓝图、web_source 页面、static 脚本与 admin 相关测试; app.py 收敛为仅注册 version_bp(/api/version、/api/version/latest, 供桌面端更新检查)
- AdminApiGuardFilterTest 豁免样例路径 /admin.html -> /admin-vue/
 2026-09-06 10:41:47 +08:00
huangzd1997 ab787ceff7 task-280(验收反馈): 重复检测对齐reference P0(分组筛选生效/抽屉聚合+汇总徽章/台账计数预载/total_dup计数/矩阵表头吸顶;后端含工作区在途console化代码) 2026-09-06 02:41:44 +08:00
huangzd1997 648935e757 task-278(验收反馈): 生成记录加清理数据功能(DELETE /api/admin/history 二次确认+条数提示;含工作区在途的 imagehistory 分页优化) 2026-09-06 02:25:44 +08:00
huangzd1997 6e2e4bf8e7 task-275(验收反馈): 菜单权限标识/路由后台自动生成(menu_auto_/auto/ 前缀),表单移除两项输入;编辑缺省保持原值 2026-09-06 01:57:17 +08:00
huangzd1997 5e5658b00d fix(backend-java): Flyway V100 撞号修复配套(迁移矩阵补全16键/测试引用改指V109) 2026-09-06 01:44:14 +08:00
huangzd1997 9ac4eda054 task-271(验收反馈): Element Plus 全局接入 zh-cn 语言包(日期控件/分页组件中文) 2026-09-06 01:44:06 +08:00
huangzd1997 3fc8746218 task-162(客户端公开版本接口兼容): 冻结 /api/version/latest 响应契约 
PublicVersionLookup 增 latest/selectLatest 与路径常量 + Task162Test。

TDD: RED→GREEN。
 2026-09-05 18:06:22 +08:00
huangzd1997 b134db134e task-161(客户端公开版本接口兼容): 冻结 /api/version 响应契约 
新增 PublicVersionLookup.currentVersionResponse + Task161Test。

TDD: RED→GREEN。
 2026-09-05 18:04:19 +08:00
huangzd1997 e88bf5322b task-155(Java 菜单树与 Flyway): 新增 V100 迁移(admin 菜单 route_path 更新) 2026-09-05 18:01:14 +08:00
huangzd1997 6dcdbec63d task-154(Java 菜单树与 Flyway): 定义 route_path Flyway 迁移矩阵 
新增 AdminMenuRouteMatrix + Task154Test(契约/唯一性)。

TDD: RED→GREEN。
 2026-09-05 18:01:12 +08:00
huangzd1997 b791fa94e7 task-144(Java 菜单树与 Flyway): 实现 parent_id 树组装 
组装器新增 groupChildrenById/递归 assemble(孤儿按根)，currentUserMenus 改走统一
组装器 toMapList。

TDD: Task144Test 8 用例 RED→GREEN。
 2026-09-05 17:56:49 +08:00
huangzd1997 ef19a5c00c task-143(Java 菜单树与 Flyway): 实现有效菜单节点索引 
indexById(去 null id/重复后写) 单测(Task143Test 8 用例)。

TDD: RED→GREEN。
 2026-09-05 17:51:13 +08:00
huangzd1997 4dd9ca7a22 task-141(Java 菜单树与 Flyway): 冻结 Java 菜单树响应 DTO 契约 
新增纯 Java AdminMenuTreeBuilder：Node(key/name/route/children) 树组装与
route 规整，column_key 与 route 分离，可离线单测。

TDD: Task141Test 8 用例先 RED 后 GREEN。
 2026-09-05 17:49:44 +08:00
huangzd1997 2f71b4be3c feat(backend-java): 后台菜单接口改为返回菜单树并适配 admin-vue 
菜单接口 /api/admin/current-user/menus 由扁平 route 列表改为含父子
层级的菜单树；权限标识用 column_key，页面地址用 route 单独下发；
/admin 与 / 入口重定向到 admin-vue。
 2026-09-05 14:58:02 +08:00
huangzd1997 1063e5188c feat(backend-java): 客户端版本更新新增公开查询接口 
新增 /api/version 与 /api/version/latest 公开端点，路径与 file_url 字段
兼容 Python 时代客户端固定请求，供桌面端 ShuFuAI.exe 检查更新。
 2026-09-05 14:57:58 +08:00
huangzd1997 289f4488f9 fix(auth/logout): 禁用内置 LogoutFilter，登出改走 auth 模块清会话 cookie 
POST /logout 原先被 Spring Security 内置 LogoutFilter 截走(204)，只清空
SecurityContext，从不执行 LoginController.logout，导致 aiimage_token cookie
残留、退出登录后仍保持登录态。SecurityConfig 显式 logout.disable() 后请求
落到 POST /logout → 200 + Set-Cookie aiimage_token=;(Max-Age=0) 清除。
补充真实登出 E2E(live)：登出返回 200、下发清除 cookie、无 cookie 后 401。
注：此前的 500/CNFE 系运行进程 jar 被覆盖为 thin jar 所致，重建 fat jar
并重启即恢复；本提交只改逻辑。11/11 live 用例通过。
 2026-09-05 14:49:52 +08:00
huangzd1997 40224d8e56 fix(backend-java): 收口并发资源与恢复链路 2026-09-05 14:44:00 +08:00
huangzd1997 1924e273e9 refactor(task-212): 清理 TaskResultFileJobWorker 5 个迁移后遗留的死业务 import（Handler 已接管处理，字段已移除） 2026-09-05 10:15:57 +08:00
huangzd1997 be332a47ab fix(task-212): Handler 迁入业务模块后补 task.service 类型 import（随迁移内容一并落库） 2026-09-05 10:12:01 +08:00
huangzd1997 01e8c608e7 task-212(部分): 04 Handler SPI 实现迁回各业务模块（依赖反转大头）——13 个 *ResultFileJobHandler 从 modules/task/service 迁到各自模块 service 
- TaskFileJobConfig 与相关测试 import 同步到新模块包；MappingSnapshot 源码路径按模块映射
- task 模块对业务 import 由 16+ 文件降到 3（TaskHeartbeatService/TaskResultFileJobWorker/ModuleHistoryCleanupService 尚需心跳/worker/清理 SPI 化）
- 全量回归 2308 测试 0 失败
 2026-09-05 10:11:53 +08:00
huangzd1997 3ee281a433 fix(similarasin): LLM 默认模型改为 glm-5.3-flash（原 gemini-3.5-flash-lite/gemini-3.7-flash 在 ai.t8star 端点不可用，按指示统一） 2026-09-05 09:48:19 +08:00
huangzd1997 c282327a0b task-207(服务层): done=true 终态决策纯语义（SimilarAsinSubmitResultSemantics：done/error→终态回调、chunkIndex/Total 缺省归一）接线回 submit + 8 单测 
按 3+2 约定：文件生成/终态落库依赖真实 LLM 流水线，留待真实运行时经 env-gated 回放（CONTRACT_* 已就绪）
 2026-09-05 09:10:51 +08:00
huangzd1997 d3b499b596 feat(admin): 店铺重复检查导出「站点」列改「国家」中文显示；撞款抽屉按点击处定位 
- 导出 CSV 列头 站点→国家，值映射中文（DE德国/UK英国/FR法国/IT意大利/ES西班牙，未知回退原值）
- 撞款详情抽屉以触发元素为垂直锚点并钳制在视口内，不再贴区块/页面顶部导致看不见需上滑
- 同步 Java 静态托管副本；更新 Java/Python 相关断言
 2026-09-05 01:53:12 +08:00
huangzd1997 1b27a3f1ca task-200: 巡检报表任务落地（InspectionSqlReportTask 跑 6 张只读报表 SQL：默认 disabled、分布式锁、单条失败不阻断、只 query）+ 8 条测试 2026-09-05 00:08:44 +08:00
huangzd1997 d6b223ba25 task-199: 超保留期活跃 job 巡检 SQL（06_over_retention_active_job.sql，RUNNING 超24h 候选，清理走 stuck 扫描）+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 b6cf693e05 task-198: 终态任务活跃 job 巡检 SQL（05_terminal_task_active_job.sql）+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 187c123071 task-197: 结果缺文件候选巡检 SQL（04_result_missing_file.sql，OSS 对象存在由 Java 反查）+ 8 条测试 2026-09-05 00:06:45 +08:00
huangzd1997 402c3e2cb3 task-196: 终态任务缺结果巡检 SQL（03_task_missing_result.sql，SUCCESS/FAILED 无结果）+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 7f7090f433 task-195: 孤儿结果(payload) 巡检 SQL（02_orphan_result.sql，biz_file_result 无父任务）+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 bcd5879a08 task-194: 孤儿 task_file_job 巡检 SQL（01_orphan_job.sql，只读 SELECT 反连无任务/结果；base 提供 8 项静态契约）+ 8 条测试 2026-09-05 00:06:44 +08:00
huangzd1997 b468750d00 task-190: 日志脱敏契约（StructuredLog.maskToken 统一 Token 部分脱敏，ImageVideo maskForLog 委托；URL query/异常消息体不入日志、防注入）+ 8 条测试 2026-09-04 23:53:23 +08:00
huangzd1997 a2c60d319f task-181: task.created/running 指标埋点（TaskObservabilityMetrics recorder：created 计数 + running gauge + moduleType/instanceId 标签，名称冻结）+ 8 条测试 
- 标准指标名 aiimage.task.created/running（spec11 §1）；moduleType/instanceId null 归 unknown；running 不为负
- Micrometer 可选：无注册表降级 debug 日志不抛错；recorder 为唯一接线面，各业务状态流转按 spec 待监控栈就绪后挂载
- 仅新增类与测试，不接调用点，零生产行为变化
 2026-09-04 23:46:49 +08:00
huangzd1997 39fb23bd16 task-180: Worker 日志字段对齐规范（TaskResultFileJobWorker 关键阶段补 stage=/errorType=，保留 [task-file-job] 前缀）+ 8 条测试 
- dispatch/success/failure/orphan/heartbeat/requeue/defer/waittxllm/finalize 日志追加规范 stage 字面量
- 失败/孤儿分支追加 errorType={}（exception 类名）；保留 jobId/taskId/moduleType 与既有语义，仅消息文本追加、无逻辑改动
- 审计测试锁定字段名一致、阶段字面量白名单、无敏感字段
 2026-09-04 23:44:39 +08:00
huangzd1997 620ee15a48 task-178: 日志字段规范落地（StructuredLog 规范字段集+缺失占位+值消毒，字段名冻结）+ 8 条测试 
- 规范字段 traceId/taskId/moduleType/stage/submissionId/chunkIndex/chunkTotal/jobId/result/errorType，顺序与 spec11 §2 一致
- format 只输出规范字段、缺失用 "-" 占位、换行/控制字符消毒、超长截断，防日志注入与字段漂移
- 源码锚点断言 Worker(task-file-job)/心跳(task-heartbeat) 代表性日志已带 taskId/moduleType 核心字段；不删现有日志
 2026-09-04 23:37:50 +08:00
huangzd1997 05da03c5ba task-176: 重试计数与日志字段（IdempotentRetryGuard 观测扩展：WARN 日志字段 + aiimage.http.retry 指标）+ 8 条测试 
- 重试/最终失败打 WARN：client/url(去 query)/method/retry/耗时/延迟/原因类名，不打印含敏感信息的异常消息体
- 重试记 aiimage.http.retry 指标（method/client 标签），Micrometer 注册表可选，无注册表静默跳过
- 保留 task-172 原 API（构造器/execute 兼容），原 8 条测试不受影响；守卫仍不接调用点
 2026-09-04 23:29:13 +08:00
huangzd1997 e248b2b935 task-172: 幂等重试守卫（仅 GET/HEAD 或显式幂等标记在传输错误时自动重试，次数/退避取自配置并封顶）+ 8 条测试 
- IdempotentRetryGuard：isIdempotent/backoffMillis/isTransportError/execute 纯策略组件
- 非幂等(POST 等)不自动重试；退避 2 次幂增长、5s 封顶；总尝试严格受 aiimage.http-client.max-retries 约束防风暴
- 仅新增类与测试，不接调用点，零生产行为变化
 2026-09-04 23:13:41 +08:00
huangzd1997 c1f03d64d1 task-171: 图片下载客户端配置接入（ImageDownloadHttpConfigResolver，download/prefetch 模块级现有配置优先、命名空间兜底）+ 8 条测试 
- 真实基线：SimilarAsinImageEmbedder(OkHttp) connect/read=imageDownloadTimeoutSeconds(5s)、call=2×download(10s)、prefetch 1800s
- resolver 提供 connect/read/call/prefetch/maxRetries 访问面，模块级优先、命名空间兜底，不改调用点
- 仅新增类与测试，零生产行为变化
 2026-09-04 23:10:36 +08:00
huangzd1997 ec23c0d77c task-170: 紫鸟客户端配置接入（ZiniaoHttpConfigResolver 超时/重试读取，read 模块级现有配置优先、命名空间兜底）+ 8 条测试 
- resolver 提供 connect/read/call/maxRetries/baseRetryDelay 访问面，不改动 ZiniaoClientImpl 调用点
- read 优先取 aiimage.ziniao.read-timeout-seconds（生产默认 15s，与 requestFactory(15000) 现状一致），未配置回退 aiimage.http-client.*
- 仅新增类与测试，零生产行为变化
 2026-09-04 23:07:58 +08:00
huangzd1997 05bda8915a feat(admin): 店铺数据重复检查撞款抽屉样式优化与导入测试按钮
Build Backend JAR / build (push) Has been cancelled
Details 
- 撞款详情抽屉：上架时间默认降序（晚到早）、去掉列头（按时间升序）小括号、加宽至 760px、
  去掉全屏遮罩（底层仍可点击）、抽屉贴到「撞款详情」区块位置而非浏览器顶部
- 修复抽屉 fixed 定位失效：.tab-panel.active 入场动画带 transform 会成为包含块，
  打开时把 drawer mask 挂到 body 下恢复视口定位
- 新增导入（新增-测试）/ 导入（删除-测试）按钮与上传弹窗，对应后端端点
  /api/admin/shop-data-crawl/duplicate-check-import（ADD=按店名替换基线记录、DELETE=移除该店记录）
- 新增 ShopDataDuplicateCheckImportService 导入服务（复用 WorkbookParser/Aggregator，与扫描共用 Redis 锁）
- 新增 3 个单测：导入替换重聚合、删除移除、无基线报错
- _preview_mock.py 加入 .gitignore（本地预览工具不入库）
 2026-09-04 12:25:31 +08:00