Files
crawler-plugin/backend-java/src/main/resources/db/V121__drop_redundant_indexes.sql
T
huangzd1997 7368322791 fix: 全维度审查修复(安全/正确性/性能/稳定性/客户端/前端)
安全
- /api/ziniao/** 五个匿名接口加管理员鉴权(此前可匿名换取任意员工店铺登录令牌)
- 删除 Flask 遗留后门:默认密码建超管 + 每次启动写生产 users 表(服务端与客户端各一份)
- 进度/详情接口归属过滤:新增 TaskProgressOwnershipSupport,11 模块 progress/light 与
  /tasks/batch 接入,DTO 补 userId,前端 13 个查询封装补传(未传时后端不过滤,兼容旧端)
- 代理提取链接(含账密)不再明文入日志(新增 common/util/SecretMasking)
- 全局异常兜底不再回传原始异常信息;内部令牌比较改常量时间
- 登录加失败计数与锁定(10 次锁 15 分钟);品牌源文件下载加 SSRF 防护
- AdminApiGuardFilter 覆盖前缀从 2 扩到 15(开关默认 false,行为不变,为收紧做准备)
- 生产关闭 springdoc/knife4j(/doc.html 匿名可读全部接口定义)

正确性
- 40901/40902 拆分:锁竞争不再被伪装成 success=true(此前客户端停止重试、分片静默丢失)
- 假成功收敛:集采明细批量写失败改为抛出、去重 worker 异常标失败、4 个 worker 改判
  success 字段、publish 空 ASIN 行参与批次 flush、巡店删除全失败带 error 上报
- 客户端心跳 discard 移入 finally(7 模块,失败路径不再留僵尸 RUNNING 任务)
- 状态机条件更新:跟价停止循环、集采 activate/fail、imagevideo 归档回填、店铺匹配提交

性能
- 前端入口包 JS 1.05MB→204KB、CSS 355KB→10.7KB(Element Plus 改按需 + el-config-provider)
- 载荷引用计数按指针里的 taskId 收敛(原 JSON 列 IN 全表扫且逐行调用)
- 店铺明细多值批量 INSERT;快照 upsert 预载缓存;结果文件列改单条 UPDATE
- 新增迁移 V120(补 3 个缺失索引)/V121(删 4 个被覆盖的冗余索引)/V122(URL 前缀索引)

稳定性
- 新增 common/util/ThreadPools 有界线程池替换 5 处无界队列(防堆积 OOM)
- Redis 锁释放改 Lua 原子校验(原裸 delete 会误删他人已过期的锁)
- imagevideo 加死节点接管;锁续期失败重试;调度池 4→16;openStream 全部加超时
- 事务内远程对象删除移到提交后;启动恢复锁按实例命名

客户端
- 不再 taskkill /f /im chrome.exe(改为按调试端口精准回收,不杀用户自己的浏览器)
- 密码检测不再无条件杀紫鸟进程;品牌检测加全局互斥(代理池不再互相覆盖)
- base_dir 统一到 exe 目录(原被 os.getcwd() 覆盖,日志/缓存会分裂两个目录)
- 缓存加定时清理;图片下载加超时;mkstemp 句柄托管

测试
- 同步更新受影响的契约测试(构造器签名/条件更新/方法改名/新增接口方法等)
- 修复 FaultInjectionTest 等 3 处 mock 未 stub 流式 read 导致的读循环 OOM
- mvn test 2795 个测试全绿
2026-09-14 04:15:36 +08:00

84 lines
3.5 KiB
SQL
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
-- V121: 清理被覆盖索引完全覆盖的冗余二级索引(2026-09 全维度代码审查发现)
--
-- 判定原则:被删索引的列集合是另一索引的**严格前缀**(或完全同列),
-- 即所有能用它的查询都能被保留的索引覆盖,删除无功能损失,只减少写入时的索引维护与 buffer pool 占用。
--
-- 1) biz_file_result.idx_file_result_patrol_history_desc (module_type,user_id,created_at DESC,id DESC)
-- 与 V42 的 idx_file_result_patrol_history (module_type,user_id,created_at,id) 同列。
-- MySQL 8 反向扫描 ASC 索引即可满足全 DESC 排序,DESC 变体只在「混合升降序」的 ORDER BY 下才有优势,
-- 本表查询(巡逻删除历史)为全 DESC,故 V46 的这份可删。
-- 2) biz_task_result_item.idx_result_item_task (task_id,module_type)
-- 是 idx_result_item_country_asin (task_id,module_type,country_code,asin) 的前缀。
-- (country_code 在写入侧恒 NULL、从不查询,被覆盖关系成立。)
-- 3) biz_task_chunk.idx_task_scope (task_id,module_type,scope_hash)
-- 是 uk_task_scope_chunk (task_id,module_type,scope_hash,chunk_index) 的前缀。
-- 4) biz_task_chunk.idx_task_module (task_id,module_type)
-- 同为 uk_task_scope_chunk 的前缀。
--
-- 风险:DROP INDEX 为在线操作(INPLACE),但会立即改变执行计划;均为「被覆盖」判定,
-- 保留索引可完整替代。若线上观察到计划退化,按末尾注释回滚即可。
--
-- 回滚:
-- ALTER TABLE biz_file_result ADD INDEX idx_file_result_patrol_history_desc (module_type, user_id, created_at DESC, id DESC);
-- ALTER TABLE biz_task_result_item ADD INDEX idx_result_item_task (task_id, module_type);
-- ALTER TABLE biz_task_chunk ADD INDEX idx_task_scope (task_id, module_type, scope_hash);
-- ALTER TABLE biz_task_chunk ADD INDEX idx_task_module (task_id, module_type);
SET @db_name = DATABASE();
-- 1) biz_file_result.idx_file_result_patrol_history_desc
SET @idx_exists := (
SELECT COUNT(*) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_file_result'
AND INDEX_NAME = 'idx_file_result_patrol_history_desc'
);
SET @sql := IF(@idx_exists > 0,
'ALTER TABLE biz_file_result DROP INDEX idx_file_result_patrol_history_desc',
'SELECT 1'
);
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
-- 2) biz_task_result_item.idx_result_item_task
SET @idx_exists := (
SELECT COUNT(*) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_task_result_item'
AND INDEX_NAME = 'idx_result_item_task'
);
SET @sql := IF(@idx_exists > 0,
'ALTER TABLE biz_task_result_item DROP INDEX idx_result_item_task',
'SELECT 1'
);
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
-- 3) biz_task_chunk.idx_task_scope
SET @idx_exists := (
SELECT COUNT(*) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_task_chunk'
AND INDEX_NAME = 'idx_task_scope'
);
SET @sql := IF(@idx_exists > 0,
'ALTER TABLE biz_task_chunk DROP INDEX idx_task_scope',
'SELECT 1'
);
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
-- 4) biz_task_chunk.idx_task_module
SET @idx_exists := (
SELECT COUNT(*) FROM information_schema.STATISTICS
WHERE TABLE_SCHEMA = @db_name AND TABLE_NAME = 'biz_task_chunk'
AND INDEX_NAME = 'idx_task_module'
);
SET @sql := IF(@idx_exists > 0,
'ALTER TABLE biz_task_chunk DROP INDEX idx_task_module',
'SELECT 1'
);
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;