RDD Action 显示
val nums = sc.parallelize(List(1,2,3,6,4,7,5))
nums.collect //会引起客户端内存溢出
//返回前k 个元素
nums.take(2)
//返回排序后的前k 个元素
nums.takeOrdered(2)
//返回第一个元素
nums.first
//返回随机k个元素
nums.takeSample(true,2) //不替换
nums.takeSample(false,2) //替换
nums.foreach(println)
//合并集合元素
nums(_+_)
key/value 返回一个hashmap 记录每一个key有多少个value
val a = sc.parallelize(List(("spark",1),("hadoop",1),("storm",1),("storm",1)))
a.countByKey
//将RDD保存到HDFS中
nums.saveAsTextFile("/aa")
val a = sc.parallelize(List(("spark",1),("hadoop",1),("storm",1),("storm",1)))
a.countByKey
res21: scala.collection.Map[String,Long] = Map(spark -> 1, hadoop -> 1, storm -> 2)
最后
以上就是想人陪红牛最近收集整理的关于RDD Action 显示的全部内容,更多相关RDD内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复