安装
下载安装包
presto官网:https://prestodb.io/
- presto-server下载连接:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.tar.gz
- presto-cli客户端下载连接:https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.248/presto-cli-0.248-executable.jar
- JDBC DRIVER 下载连接:https://repo1.maven.org/maven2/com/facebook/presto/presto-jdbc/0.248/presto-jdbc-0.248.jar
解压presto-server包
复制代码
1tar -zxvf presto-server-0.248.tar.gz
文件目录结构如下
复制代码
1
2
3
4
5drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bin drwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib -rw-r--r-- 1 rong rong 191539 Mar 5 02:48 NOTICE drwxrwxr-x 33 rong rong 4096 Mar 29 09:54 plugin -rw-r--r-- 1 rong rong 126 Mar 5 02:48 README.txt
创建etc目录
复制代码
1mkdir etc
结构如下:
复制代码
1
2
3
4
5
6drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bin drwxrwxr-x 3 rong rong 4096 Mar 29 15:08 etc drwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib -rw-r--r-- 1 rong rong 191539 Mar 5 02:48 NOTICE drwxrwxr-x 33 rong rong 4096 Mar 29 09:54 plugin -rw-r--r-- 1 rong rong 126 Mar 5 02:48 README.txt
在etc目录创建需要配置文件
1. 创建config.propertie
复制代码
1touch config.properties
内容如下:
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18# 指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管>理每个查询的执行过程) coordinator=true # 是否允许在coordinator服务中进行调度工作, node-scheduler.include-coordinator=true http-server.http.port=8080 query.max-memory=100MB query.max-memory-per-node=100MB query.max-total-memory-per-node=100MB discovery-server.enabled=true discovery.uri=http://dx-dev-test1028:8080 # 如果节点是worker 则是以下配置 # coordinator=false # http-server.http.port=8080 # query.max-memory=50GB # query.max-memory-per-node=1GB # query.max-total-memory-per-node=2GB # discovery.uri=http://example.net:8080 ~
2. 创建jvm.config
复制代码
1touch jvm.config
内容如下:
复制代码
1
2
3
4
5
6
7
8-server -Xmx500M -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -Djava.security.krb5.conf=/etc/krb5.conf
注意:如果集群没有集成kerberos,配置最后一行需要去掉。
3. 创建log.properties
配置日志级别
复制代码
1touch log.properties
内容如下:
复制代码
1com.facebook.presto=INFO
4. 创建node.properties
复制代码
1touch node.properties
内容如下:
复制代码
1
2
3
4
5
6# 集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称 node.environment=production # 每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的 node.id=dx-dev-test1028 #该路径要自己创建 随意的目录 node.data-dir=/var/presto/data
在etc目录下创建catlog目录
复制代码
1mkdir catalog
在catalog目录下配置数据源
1. 配置mysql数据源
复制代码
1touch mysql.properties
内容如下:
复制代码
1
2
3
4connector.name=mysql connection-url=jdbc:mysql://dx-dev-test1028:3306 connection-user=root connection-password=root
2. 配置hive数据源(没权限)
复制代码
1touch hive.properties
内容如下:
复制代码
1
2
3
4
5
6# name后面为固定写法 connector.name=hive-hadoop2 # 需要启动hive metastore服务 hive.metastore.uri=thrift://dx-dev-test1026:9083 # hadoop集群的配置文件目录 hive.config.resources=${HADOOP_HOME}/etc/hadoop/core-site.xml,${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
客户端配置
将客户端放到 ${PRESTO_HOME}/bin 下:
复制代码
1mv presto-cli-0.248-executable.jar ${PRESTO_HOME}/bin
修改名称为 presto ,并赋予执行权限 chmod +x
复制代码
1
2
3mv presto-cli-0.248-executable.jar presto # 赋权执行权限 chmod +x presto
测试
复制代码
1
2
3
4--启动服务 bin/launcher run --启动客户端 ./presto --server hadoop001:8080 --catalog myslq
集成kerberos
生成persto主体的princal
复制代码
1
2kadmin.local -q "addprinc -randkey presto/admin@RONG360.COM" kadmin.local -q "xst -norandkey -k presto.keytab presto/admin@RONG360.COM"
集成Kerberos环境Hive
1. 修改hive.properties
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16connector.name=hive-hadoop2 #需要启动hive metastore服务 hive.metastore.uri=thrift://dx-dev-test1026:9083 #配置Presto访问HiveMetastore服务的Kerberos信息,该段配置可以只存在Presto的Coordinator节点 hive.metastore.authentication.type=KERBEROS hive.metastore.service.principal=hive/_HOST@RONG360.COM hive.metastore.client.principal=presto/admin@RONG360.COM hive.metastore.client.keytab=/root/presto.keytab #配置Presto访问HDFS的Kerberos信息,改段配置可以只存在Presto的Worker节点 hive.hdfs.authentication.type=KERBEROS hive.hdfs.impersonation.enabled=true hive.hdfs.presto.principal=presto/admin@RONG360.COM hive.hdfs.presto.keytab=/root/presto.keytab # hadoop集群的配置文件目录 hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
在hive.properties配置文件中增加访问HiveMetastore和HDFS的Kerberos认证信息,将如上配置同步至Presto集群所有节点的${PRESTO_HOME}/etc/catalog/hive.properties文件中。
注意:在配置hive.metastore.url时,需要使用HiveMetastore服务的HOSTNAME,否则在使用Kerberos访问HiveMetastore时会报找不到Kerberos账号的错误。
2. 修改config.properties
复制代码
1
2
3
4
5
6
7
8-server -Xmx500M -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -Djava.security.krb5.conf=/etc/krb5.conf
注意:最后一行
3. 配置HDFS
修改core-site.xml
复制代码
1
2
3
4
5
6
7<property> <name>hadoop.proxyuser.presto.hosts</name> <value>*</value> </property> <property><name>hadoop.proxyuser.presto.groups</name> <value>*</value> </property>
4. 重启HDFS 和 presto
复制代码
1./bin/launcher restart
测试
复制代码
1presto --server http://dx-dev-test1028:8080 --catalog hive --schema default
测试命令1:
复制代码
1show schemas;
内容如下:
复制代码
1
2
3
4
5
6Schema -------------------- default information_schema test (3 rows)
测试命令2:
复制代码
1select * from mysql.test.student_mysql a left join hive.test.student_txt b on a.name=b.name;
结果如下:
复制代码
1
2
3
4id | name | name | age ----+--------+--------+----- 1 | lisi | lisi | 15 (1 row)
测试成功!
最后
以上就是冷静曲奇最近收集整理的关于presto安装和集成kerberos的hive的全部内容,更多相关presto安装和集成kerberos内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复