我是靠谱客的博主 想人陪红牛,这篇文章主要介绍RDD Action 显示,现在分享给大家,希望可以做个参考。

RDD Action 显示
val nums  = sc.parallelize(List(1,2,3,6,4,7,5))
nums.collect   //会引起客户端内存溢出


//返回前k 个元素
nums.take(2)


//返回排序后的前k 个元素
nums.takeOrdered(2)


//返回第一个元素
nums.first


//返回随机k个元素
nums.takeSample(true,2) //不替换
nums.takeSample(false,2) //替换


nums.foreach(println)


//合并集合元素
nums(_+_)


key/value 返回一个hashmap 记录每一个key有多少个value
val a = sc.parallelize(List(("spark",1),("hadoop",1),("storm",1),("storm",1)))
a.countByKey


//将RDD保存到HDFS中
nums.saveAsTextFile("/aa")


val a = sc.parallelize(List(("spark",1),("hadoop",1),("storm",1),("storm",1)))
a.countByKey
res21: scala.collection.Map[String,Long] = Map(spark -> 1, hadoop -> 1, storm -> 2)

最后

以上就是想人陪红牛最近收集整理的关于RDD Action 显示的全部内容,更多相关RDD内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(87)

评论列表共有 0 条评论

立即
投稿
返回
顶部