读取CSV文件创建dataFrame的写法：
复制代码
1
2
3
4
5val df1 = spark.read .format("csv") .option("header","true") .option("inferSchema","true") .load("src/test/resource/1.csv")
完整写法：
复制代码
1
2
3
4
5
6
7
8
9
10
11
12import org.apache.spark.{SparkConf,SparkContext} import org.apache.spark.sql.SparkSession object readDataFrame { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("readDataFrame") val sc = new SparkContext(conf) val spark = SparkSession.builder().appName("readDF").getOrCreate() val df = spark.read.format("csv").option("header",true).load("src/test/resource/1.csv") df.printSchema() df.show() } }
最后
以上就是笨笨萝莉最近收集整理的关于从csv文件创建dataFrame的全部内容，更多相关从csv文件创建dataFrame内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复