Files
crawler-plugin/backend-java/src/main/resources/db/V55__collect_data.sql
T

31 lines
1.6 KiB
SQL
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
-- 采集数据模块:复用通用任务表 biz_file_task / biz_file_result(module_type = COLLECT_DATA)。
-- 解析后的明细行入库到 biz_collect_data_item,便于 Python 端按页(50/页)拉取。
-- 筛选条件(金额、排名、FBA、FBM、国家列表)以 JSON 形式存放在 biz_file_task.request_json 中。
CREATE TABLE IF NOT EXISTS biz_collect_data_item (
id BIGINT PRIMARY KEY AUTO_INCREMENT COMMENT '主键',
task_id BIGINT NOT NULL COMMENT '所属任务 ID(biz_file_task.id)',
row_index INT NOT NULL COMMENT '行号,从 1 开始,按解析顺序递增',
source_file_key VARCHAR(255) DEFAULT NULL COMMENT '来源文件 key',
source_filename VARCHAR(255) DEFAULT NULL COMMENT '来源文件名',
keyword VARCHAR(512) DEFAULT NULL COMMENT '关键词列内容',
status_value VARCHAR(128) DEFAULT NULL COMMENT '状态列内容',
extra_json TEXT DEFAULT NULL COMMENT '其它列内容 JSON',
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
UNIQUE KEY uk_task_row (task_id, row_index),
KEY idx_task_id (task_id)
) COMMENT='采集数据解析明细';
-- 前端栏目权限兜底:采集数据属于前端工具下的页面。
INSERT INTO `columns` (`name`, `column_key`, `menu_type`, `route_path`, `sort_order`)
SELECT '采集数据', 'collect_data', 'app', 'collect-data', 105
WHERE NOT EXISTS (
SELECT 1 FROM `columns` WHERE `column_key` = 'collect_data'
);
UPDATE `columns`
SET `name` = '采集数据',
`menu_type` = 'app',
`route_path` = 'collect-data',
`sort_order` = 105
WHERE `column_key` = 'collect_data';