huangzd1997
6d46506726
fix: 全维度审查修复（安全/正确性/性能/稳定性/客户端/前端）
...
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权（此前可匿名换取任意员工店铺登录令牌）
- 删除 Flask 遗留后门：默认密码建超管 + 每次启动写生产 users 表（服务端与客户端各一份）
- 进度/详情接口归属过滤：新增 TaskProgressOwnershipSupport，11 模块 progress/light 与
/tasks/batch 接入，DTO 补 userId，前端 13 个查询封装补传（未传时后端不过滤，兼容旧端）
- 代理提取链接（含账密）不再明文入日志（新增 common/util/SecretMasking）
- 全局异常兜底不再回传原始异常信息；内部令牌比较改常量时间
- 登录加失败计数与锁定（10 次锁 15 分钟）；品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15（开关默认 false，行为不变，为收紧做准备）
- 生产关闭 springdoc/knife4j（/doc.html 匿名可读全部接口定义）
正确性
- 40901/40902 拆分：锁竞争不再被伪装成 success=true（此前客户端停止重试、分片静默丢失）
- 假成功收敛：集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally（7 模块，失败路径不再留僵尸 RUNNING 任务）
- 状态机条件更新：跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交
性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB（Element Plus 改按需 + el-config-provider）
- 载荷引用计数按指针里的 taskId 收敛（原 JSON 列 IN 全表扫且逐行调用）
- 店铺明细多值批量 INSERT；快照 upsert 预载缓存；结果文件列改单条 UPDATE
- 新增迁移 V120（补 3 个缺失索引）/V121（删 4 个被覆盖的冗余索引）/V122（URL 前缀索引）
稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列（防堆积 OOM）
- Redis 锁释放改 Lua 原子校验（原裸 delete 会误删他人已过期的锁）
- imagevideo 加死节点接管；锁续期失败重试；调度池 4→16；openStream 全部加超时
- 事务内远程对象删除移到提交后；启动恢复锁按实例命名
客户端
- 不再 taskkill /f /im chrome.exe（改为按调试端口精准回收，不杀用户自己的浏览器）
- 密码检测不再无条件杀紫鸟进程；品牌检测加全局互斥（代理池不再互相覆盖）
- base_dir 统一到 exe 目录（原被 os.getcwd() 覆盖，日志/缓存会分裂两个目录）
- 缓存加定时清理；图片下载加超时；mkstemp 句柄托管
测试
- 同步更新受影响的契约测试（构造器签名/条件更新/方法改名/新增接口方法等）
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
2026-09-14 04:15:36 +08:00
huangzd1997
4c88964473
task-283(后台迁移收尾/发布): admin-vue 后台工程入库 + Flask 后台整体退役
...
- 新后台 admin-frontend-vue 整工程入库(base=/admin-vue/、History 路由、Nginx 静态托管方案与 verify-dist 校验)
- Java AdminConsoleController 改为入口重定向: /admin|/admin.html、/login|/login.html -> /admin-vue/; 删除 classpath:static 旧 admin.html/login.html 单页与 admin.js 副本
- Flask 后台整体退役: 删除 admin_api/auth/main 蓝图、web_source 页面、static 脚本与 admin 相关测试; app.py 收敛为仅注册 version_bp(/api/version、/api/version/latest, 供桌面端更新检查)
- AdminApiGuardFilterTest 豁免样例路径 /admin.html -> /admin-vue/
2026-09-06 10:41:47 +08:00
huangzd1997
5ee99f9441
fix(admin): Flask 代理转发 Java 默认携带内部令牌与 operatorId
...
Build Backend JAR / build (push) Has been cancelled
A1 收敛后 Java 管理接口普遍要求 require* 身份，而浏览器打到 15124 的
请求不带 Java JWT/aiimage_token Cookie，list_shop_manages 等裸代理调用
只转发浏览器 Cookie，被 Java 判未登录，生产后台店铺列表报「加载失败:
未登录」。_proxy_backend_java 默认补 X-Internal-Token（凭 Flask 侧会话
校验通过的管理员身份）+ 自动注入当前操作用户 operatorId，修复同批全部
裸代理调用的 401；显式传身份参数或 use_internal_token=False 可绕过，
供转发浏览器原始 JWT 的场景。新增回归测试锁定默认行为。
2026-09-04 16:08:34 +08:00
huangzd1997
8241cd704e
feat(admin): A1 管理后台收敛 Java 单后台完整实现并修复 guard 误拦内部令牌
...
Build Backend JAR / build (push) Has been cancelled
- Java 补齐后台全部迁移差集:shopduplicatecheck 店铺数据重复检查模块(V108 扫描表+查询/扫描服务)、
PinyinAbbrUtil 拼音缩写、ImageHistory 接口调整为内部可用、AdminUser 支持内部令牌操作并放宽列表上限
- Flask 后台 admin_api.py 路由收敛转发 Java、admin.html/admin.js 适配新后台形态
- AdminApiGuardFilter 对可信 X-Internal-Token 放行(controller 自校验兜底),修复客户端仅凭
内部令牌调用 /api/admin/shop-manages/credential 被误拦 401
- 测试:AdminApiGuardFilterTest 补可信/假令牌用例;AdminUserServiceTest 补菜单权限 mock;
shopduplicatecheck 新增查询/聚合/CSV 单测
2026-09-04 11:30:09 +08:00
huangzd1997
1474f69c73
后台管理菜单改为服务端按权限渲染：修复刷新时先显示全量菜单再折叠的闪烁
...
Build Backend JAR / build (push) Has been cancelled
- main.py admin_page 调用 _load_current_backend_menu_items 取当前用户权限菜单，
经 render_html 传入模板；Java 权限接口不可用时降级不渲染（避免展示越权菜单）
- admin.html 删除写死的 16 个静态菜单按钮，改为 Jinja2 按权限渲染分组菜单，
渲染成功时 nav 带 data-server-rendered 标记，失败显示轻量占位
- admin.js loadAdminMenus 识别 data-server-rendered 后直接绑定事件并激活，
不再请求 /current-user/menus 重渲染（保留 API 兜底路径）
2026-09-04 00:31:04 +08:00
huangzd1997
d0db577a9c
后台店铺数据重复检查独立成菜单：删除店铺导入测试、新增撞款详情卡片区
...
- 删除「店铺导入测试」菜单及全部实现：admin.html 面板、admin.js 逻辑、
admin_api.py 路由/常量/权限映射、Java 默认菜单
- 「店铺数据记录」页内子 tab 移除，只保留店铺数据列表
- 「店铺管理」下新增「店铺数据重复检查」菜单（V106 导入测试菜单保留并新增
V107 清理 + 幂等插入新菜单，Java 清单同步）
- 新面板：筛选/指标卡/店铺上架分布/矩阵表格/撞款详情卡片区（同 ASIN 跨店
上架明细，查看明细开抽屉，上架时间倒序）
- 重复扫描结果改为 MySQL 缓存 + 每日定时扫描（start_duplicate_scan_scheduler）
- 新增 test_admin_shop_data_duplicate_check.py 单元测试
2026-09-04 00:16:14 +08:00
huangzd1997
672b9f9b46
后台店铺数据重复ASIN：全选移至表头、Tab总数、独立筛选、按ASIN分组表格展示
...
Build Backend JAR / build (push) Has been cancelled
- 列表全选复选框从工具栏移到表格表头，事件委托处理动态元素
- 重复ASIN Tab 标题加总数（XX 为重复 ASIN 数量）
- 重复ASIN 筛选独立：ASIN/店铺/国家/上架时间（开始+结束），与原店铺数据筛选互不影响
- 后端支持 asin/shop_name/country/date_from/date_to 参数：
行级筛选命中 ASIN 后展示完整记录（含其他店铺，跨店语义更直观）
- 日期文本归一化（支持 2026年8月19日 上午4:34 中文格式）
- 按 ASIN 分组表格展示：ASIN/店铺数/记录条数/品牌/对应店铺/国家/上架时间/操作，
详情展开显示每条记录的店铺/分组/国家/日期/价格/品牌
- 修复 _shop_data_crawl_fetch_result_bytes 兼容 result_id 列别名（生产首个真实调用报 KeyError）
- 新增单测：筛选语义、日期归一化、record_count
2026-09-03 09:32:25 +08:00
huangzd1997
417a2bf831
后台店铺数据记录页新增 Tab 切换与重复 ASIN 分析；task-169/170 HTTP 客户端配置接入；dedupe/brand 相关改造
...
Build Backend JAR / build (push) Has been cancelled
- 管理后台：店铺数据记录改为列表分页展示（去任务号/文件列/累计标题，'最新'改'更新时间'），新增'重复 ASIN' Tab 按跨店聚合展示 ASIN/店铺/分组/国家/日期/价格；修复失败/进行中任务被过滤不显示的问题
- task-169: BrandCheckHttpConfigResolver 从 aiimage.http-client.* 读取品牌检查超时/重试（默认同现状、钳制），附 8 条测试
- task-170: surefire 内存调整为 1536m
- dedupe: DedupeRunService 重构（事务边界/进度）、新增 DedupeRunProgressVo、Controller 与结果 VO 调整，PermissionMenuService 相应适配
- brand/dedupe 前端：BrandDedupeTab/BrandPatrolDeleteTab 改造、新增 CountrySelector 组件与 country-options、类型与接口端对齐、测试更新
- 移除无引用文件：backend/static/logo.jpg、prompts/
2026-09-03 01:57:41 +08:00
huangzd1997
152ea6eec0
下线店铺管理-检测店铺密码功能：后台 UI 按钮/徽标、Python 代理路由、Java 接口与 service 全套移除，V105 迁移删除 biz_shop_credential_check 表及历史记录
Build Backend JAR / build (push) Has been cancelled
2026-09-02 16:55:54 +08:00
huangzd1997
fa5a59e5cd
task-116: 后台管理新增/导入表单弹窗化 + 分组管理独立菜单与UI优化 + 轻量进度端点
...
Build Backend JAR / build (push) Has been cancelled
- 后台管理页（admin）所有面板的新增/导入表单改为弹窗操作，原有字段 ID 全部保留、提交逻辑不变；导入删除入口不再触发二次确认拦截
- 分组管理升级为独立菜单（V102 + schema initializer），移除 5 个面板内的管理分组按钮；分组列表改为蓝白主题、增加权限分组横幅
- Python 侧 group-manage 权限守卫（_ensure_backend_menu_access 补充 group-manage）
- 引入 V101（biz_task_file_job 复合索引）+ 新增 TaskProgressLight/TaskFileJob 轻量端点与进度聚合作
- 前端 progress-light / page-separated-loads / dispatch-guard 共享模块及单元测试
2026-09-01 12:54:13 +08:00
huangzd1997
e2607ab723
task-98: 移除 similar-asin/appearance-patent 模块 Coze，状态机与共享组件改名 LLM
...
Build Backend JAR / build (push) Has been cancelled
- similarasin/appearancepatent 模块全部 Coze 工作流调用改走 direct-LLM（已确认唯一运行路径）
- 共享组件改名：CozeTaskQueueGate→TaskQueueGate、CozeGroupResultPropagator→GroupResultPropagator
- 状态机改名：biz_task_scope_state 的 coze_* 列→llm_*、stateJson coze 键→llm（V100 迁移已应用生产）
- 删除 biz_coze_credential 表、CozeCredential* 类、SimilarAsinCozeClient、AppearancePatentCozeClient→LlmClient
- 前端 brand 页 Coze 文案→LLM；Python 后端删除 cozepy 依赖与死配置
- 修复 TaskResultFileJobWorker 启动失败：TaskFileJobConfig 注册 ResultFileJobHandlerRegistry 与 13 个 handler bean（含 validateCoverage 启动校验）
2026-09-01 02:20:50 +08:00
huangzd1997
c8cd851b2f
feat: 外观专利改直连 LLM（DeepSeek/Gemini）、无效ASIN菜单更名 BRAND_DB、紫鸟店铺索引场景化
...
Build Backend JAR / build (push) Has been cancelled
- AppearancePatent：Coze 工作流切换为 llm-host 直连模型（title/appearance 双模型、行并发、重试），配置键迁移并保留旧环境变量兜底
- InvalidAsinDataMapper 补充按值+品牌唯一键查询
- ZiniaoShopIndexService 新增店铺分类/索引场景
- V98：无效ASIN菜单 rename 补充 BRAND_DB；docs 架构优化规划
- 配套单测更新
2026-08-31 17:04:59 +08:00
huangzd1997
26f4bb3f25
后台菜单重构：菜单类型分组排序（软件在前/后台在后）、新增同类型末尾排序；任务中心分组移除，视频任务记录归入记录与版本、店铺数据记录归入店铺管理；界面名词优化（菜单权限配置/去重数据汇总/无效ASIN数据/视频任务记录/店铺数据记录/生成记录）
Build Backend JAR / build (push) Has been cancelled
2026-08-31 01:48:05 +08:00
huangzd1997
97ae8a7c51
店铺数据抓取累计文件改为店铺级共享，按国家覆盖更新
...
同店同日在不同账号下产生多份互不相干的累计文件（唯一键含 user_id），
后台管理页每店只显示最新一份，其他账号抓的国家看起来丢失。
- V95 迁移：加 shop_key/country_codes_json/compensation_done 列，按店铺
合并存量 daily_file 与成员行，唯一键改为 (shop_key, business_date)
- DailyFileService：findForUpdate/findOlder/acquireLock 去 user 维度，
店铺级锁跨账号串行
- TaskService：聚合按店铺定位；applyCountryCoverage 按国家覆盖（本次
回传的国家替换旧行，未更新的国家保留）；启动补偿组件按成员快照重建
合并文件并回填国家列表
- 管理页：country_codes 改从 daily_file.country_codes_json 取，行数用
累计文件实际值
2026-08-30 16:30:09 +08:00
huangzd1997
338493ecaa
安全加固：CORS白名单、JWT密钥自动生成、SSRF防护、路径遍历与错误信息泄露修复
Build Backend JAR / build (push) Has been cancelled
2026-08-25 18:05:28 +08:00
huangzd1997
8712df2645
后台去重数据新增国家
2026-08-23 22:50:58 +08:00
159d52194c
更新任务存储、权限与货源查询流程
Build Backend JAR / build (push) Has been cancelled
2026-08-22 21:23:01 +08:00
5b1ccad40e
后台更新 服务优化
Build Backend JAR / build (push) Failing after 16m54s
2026-08-11 14:50:21 +08:00
38216a1885
处理后台新需求
Build Backend JAR / build (push) Failing after 16m58s
2026-08-09 20:08:39 +08:00
f7e26ee266
Merge branch 'master' of https://git.aishufu.top/super/crawler-plugin
Build Backend JAR / build (push) Failing after 4s
2026-08-06 01:11:58 +08:00
28e7fce11c
新需求更新 同步更新
2026-08-06 01:11:54 +08:00
123buzhidao56
a821d306ac
上传
Build Backend JAR / build (push) Failing after 1m31s
2026-08-03 09:26:00 +08:00
7c3c9e53a0
菜单修改优化
2026-07-28 13:40:19 +08:00
bca1335dc6
后端优化，增加新需求
2026-07-21 19:53:47 +08:00
ba48bbc6af
更新ASIN库新需求
2026-07-20 20:12:38 +08:00
cbde22ec79
视频任务管理更新
2026-07-19 22:23:26 +08:00
69784b8d32
添加新需求
2026-07-16 13:12:46 +08:00
aab4ce942c
更新带货视频工作流接口和页面
2026-07-09 00:27:49 +08:00
021b0c618b
修复图片下载问题
2026-06-16 22:19:55 +08:00
f44110fae5
新增数字人版本管理
2026-06-14 19:00:55 +08:00
e98a1a1207
feat: update task routing and coze handling
2026-06-03 17:14:50 +08:00
9835831415
更新地址 更新后端
2026-05-29 22:53:44 +08:00
266c0f17c1
完成这个地址替换
2026-05-29 19:35:55 +08:00
2ed1250604
增加公共下载进度、增加接收SKU、密钥分别存放
2026-05-28 16:41:20 +08:00
14db1e0cb1
修改完善这个专利部分
2026-05-15 16:06:12 +08:00
0d78d63437
后台管理接口修复 后端BUG修复
2026-05-12 21:03:42 +08:00
a4e4745921
更新处理相关内容
2026-05-09 00:20:52 +08:00
01bae23df5
修复商品风险多店铺问题
2026-04-30 21:31:11 +08:00
b073bbe97d
Merge branch 'master' of https://gitee.com/TeaCodeNice/crawler-plugin
2026-04-30 11:38:13 +08:00
c6ecfb5b77
优化后台业务
2026-04-30 11:36:58 +08:00
46e55fa623
Stop tracking generated Python bytecode
...
Generated __pycache__ files were already ignored in some paths but remained tracked in the repository, which caused merge noise and binary conflicts. This removes the tracked bytecode from the index and adds an explicit recursive ignore rule so future Python runs do not reintroduce them.
Constraint: Existing repository history already tracked pycache files across app, backend, and source_code
Rejected: Delete local pycache directories from disk | only repository tracking needed to be removed
Confidence: high
Scope-risk: narrow
Directive: Do not force-add __pycache__ or *.pyc files unless there is a documented runtime packaging reason
Tested: git ls-files shows no remaining paths containing __pycache__/
Not-tested: Application runtime; change only affects tracked generated artifacts and ignore rules
2026-04-28 20:57:53 +08:00
58df800685
合并错误信息
2026-04-28 15:25:34 +08:00
0caf62c3d2
后台查询Asin文档更新
2026-04-24 15:14:14 +08:00
326f78705d
完成查询asin开发
2026-04-23 20:48:57 +08:00
34bc980eea
完成后端架构重构等
2026-04-23 15:25:41 +08:00
8c4a6cd12a
处理后台跳转错误
2026-04-22 01:09:47 +08:00
236b73755c
处理后台管理系统、修复BUG、处理权限
2026-04-22 01:09:28 +08:00
d5764f3b50
完成匹配、跟价、权限部分
2026-04-17 12:52:16 +08:00
ecc8b6ce6c
后台管理跳过asin、后台相关数据做数据隔离
2026-04-14 10:04:50 +08:00
bbc833f2c9
提交工作更新
2026-04-13 13:02:41 +08:00
huangzd1997
supernijia
123buzhidao56