Sqoop使用
概述
沟通hdfs和关系型数据库的桥梁,可以从hdfs导出数据到关系型数据库,也可以从关系型数据库导入数据到hdfs
安装配置
安装使用之前,必须安装好jdk和hadoop,并配置环境变量
访问http://sqoop.apache.org下载安装包
在linux中解压安装包即可使用
使用的时候通常要在sqoop的lib目录下放置要连接的关系型数据库的驱动包
常用命令
从关系型数据库导入到HDFS或Hive
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31-- 从关系型数据库导入数据到hdfs,输出到制定路径,制定数据分隔符 ./sqoop import --connect jdbc:mysql://hadoop01:3306/demo --username root --password root --table tab_name --target-dir '/sqoop/tb' --fields-terminated-by 't' -m 1 ; -- connect 连接数据库 -- username 用户名 -- password 密码 -- table 数据库里的表名 -- target-dir hdfs的路径 -- fields-terminated-by 字段分隔符 -- m 指定用几个map去处理 -- 可以增加where条件(条件必须用''引号引起来) ./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo --username root --password 123 --table trade_detail --where 'id>3' --target-dir '/sqoop/td2' -- 也可以增加query语句 ./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo --username root --password 123 --query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS' --split-by trade_detail.id --target-dir '/sqoop/td3' -- 导入到hive ./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo --username root --password 123 --table trade_detail --hive-import --hive-table hivetab1 -m 1
从HDFS或Hive导出数据到关系型数据库
复制代码
1
2
3
4
5
6
7
8-- HDFS导出到关系型数据库中的数据,需要事先手动在关系型数据库中创建好表 ./sqoop export --connect jdbc:mysql://192.168.8.120:3306/demo --username root --password 123 --export-dir '/td3' --table td_bak -m 1 --fields-terminated-by ',' -- Hive导出到关系型数据库 -- 就是将hive在hdfs文件夹下的文件导出到mysql中
最后
以上就是听话时光最近收集整理的关于sqoop使用Sqoop使用的全部内容,更多相关sqoop使用Sqoop使用内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复