我是靠谱客的博主 愤怒月亮,这篇文章主要介绍spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名,现在分享给大家,希望可以做个参考。

一、thriftserver服务端

1. 启动服务

$SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1

1)指定服务端端口

hive.server2.thrift.port

2)指定服务端host

hive.server2.thrift.bind.host

2. 停止服务

$SPARK_HOME/sbin/stop-thriftserver.sh

二、beeline客户端连接sparkSQL

1. JDBC方式连接sparkSQL

$SPARK_HOME/bin/beeline
-u jdbc:hive2://c3pretest1:10000

三、查看日志

tail -f /home/c3app/c3/logs/spark/spark-c3-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-c3pretest1.out

 

四、设置alias别名

vi ~/.bash_profile
alias sparksql='$SPARK_HOME/bin/beeline
-u jdbc:hive2://c3pretest1:10000'
alias sparksvr='$SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1'
alias sparklog='tail -f /home/c3app/c3/logs/spark/spark-c3-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-c3pretest1.out'

通过在环境变量中设置alias别名,可以很方便的启动服务端、连接服务端、查看日志等操作。

备注:

spark安装路径下lib文件夹:确保有“mysql-connector-java-5.1.30-bin.jar”

 

 

最后

以上就是愤怒月亮最近收集整理的关于spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名的全部内容,更多相关spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(146)

评论列表共有 0 条评论

立即
投稿
返回
顶部