我是靠谱客的博主 听话时光,这篇文章主要介绍sqoop使用Sqoop使用,现在分享给大家,希望可以做个参考。

Sqoop使用

概述

沟通hdfs和关系型数据库的桥梁,可以从hdfs导出数据到关系型数据库,也可以从关系型数据库导入数据到hdfs

安装配置

安装使用之前,必须安装好jdk和hadoop,并配置环境变量

访问http://sqoop.apache.org下载安装包

在linux中解压安装包即可使用

使用的时候通常要在sqoop的lib目录下放置要连接的关系型数据库的驱动包

常用命令

从关系型数据库导入到HDFS或Hive

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
-- 从关系型数据库导入数据到hdfs,输出到制定路径,制定数据分隔符 ./sqoop import --connect jdbc:mysql://hadoop01:3306/demo --username root --password root --table tab_name --target-dir '/sqoop/tb' --fields-terminated-by 't' -m 1 ; -- connect 连接数据库 -- username 用户名 -- password 密码 -- table 数据库里的表名 -- target-dir hdfs的路径 -- fields-terminated-by 字段分隔符 -- m 指定用几个map去处理 -- 可以增加where条件(条件必须用''引号引起来) ./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo --username root --password 123 --table trade_detail --where 'id>3' --target-dir '/sqoop/td2' -- 也可以增加query语句 ./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo --username root --password 123 --query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS' --split-by trade_detail.id --target-dir '/sqoop/td3' -- 导入到hive ./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo --username root --password 123 --table trade_detail --hive-import --hive-table hivetab1 -m 1

从HDFS或Hive导出数据到关系型数据库

复制代码
1
2
3
4
5
6
7
8
-- HDFS导出到关系型数据库中的数据,需要事先手动在关系型数据库中创建好表 ./sqoop export --connect jdbc:mysql://192.168.8.120:3306/demo --username root --password 123 --export-dir '/td3' --table td_bak -m 1 --fields-terminated-by ',' -- Hive导出到关系型数据库 -- 就是将hive在hdfs文件夹下的文件导出到mysql中

最后

以上就是听话时光最近收集整理的关于sqoop使用Sqoop使用的全部内容,更多相关sqoop使用Sqoop使用内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(114)

评论列表共有 0 条评论

立即
投稿
返回
顶部