使用spark查询hudi表

查询数据

1. 初始化环境

   source /opt/client/bigdata_env

   source /opt/client/Hudi/component_env

2. 启动客户端

   spark-shell --master yarn --driver-memory 20g --driver-cores 4 --executor-memory 12g --executor-cores 4 --num-executors 50 --conf spark.executor.memoryOverhead=4096

3. 导入包

   import org.apache.hudi.QuickstartUtils._import scala.collection.JavaConversions._import org.apache.spark.sql.SaveMode._import org.apache.hudi.DataSourceReadOptions._import org.apache.hudi.DataSourceWriteOptions._import org.apache.hudi.config.HoodieWriteConfig._

4. 查询

   val org_reader = spark.read.format("org.apache.hudi").load("hdfs://hacluster/hudi/default/o_org")org_reader.registerTempTable("hudi_o_org")

   spark.sql("select count(*) from hudi_o_org").show()

   spark.sql("desc hudi_o_org").show(200,false)

最后

以上就是勤恳母鸡最近收集整理的关于使用spark查询hudi表的全部内容，更多相关使用spark查询hudi表内容请搜索靠谱客的其他文章。