问题引入
明明自己集群资源充足，YARN还是会将Spark的executor集中分派到个别的NodeManager？
解决方案
将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false；
或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数（如3或4）。
方案说明
-
如果assignMultiple（对应
yarn.scheduler.fair.assignmultiple参数）为true，那么在成功分配一个Container后不会停止，继续尝试在当前节点上分配； -
在上一条的条件下，最多会连续分配maxAssign（对应
yarn.scheduler.fair.max.assign参数）个Container后停止。
Hadoop默认的yarn.scheduler.fair.assignmultiple为false，亦即一次调度只分配一个Container。但是CDH将这个参数默认设为了true，并且yarn.scheduler.fair.max.assign默认为-1，表示不限制，所以会导致一次调度在单个节点上分配较多的Container。1
有理有据的参考博客链接. ↩︎
最后
以上就是迷路蜗牛最近收集整理的关于解决YARN Container分配过于集中的问题问题引入解决方案方案说明的全部内容，更多相关解决YARN内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复