Impala自称数据查询效率比Hive快几倍甚至数十倍,它之所以这么快的原因大致有以下几点:
-
-
真正的MPP(大规模并行处理)查询引擎。
-
使用C++开发而不是Java,降低运行负荷。
-
运行时代码生成(LLVM IR),提高效率。
-

-
全新的执行引擎(不是Mapreduce)。
-
在执行SQL语句的时候,Impala不会把中间数据写入到磁盘,而是在内存中完成了所有的处理。
-
使用Impala的时候,查询任务会马上执行而不是生产Mapreduce任务,这会节约大量的初始化时间。
-
Impala查询计划解析器使用更智能的算法在多节点上分布式执行各个查询步骤,同时避免了sorting和shuffle这两个非常耗时的阶段&#
最后
以上就是有魅力服饰最近收集整理的关于impala为什么比hive快的全部内容,更多相关impala为什么比hive快内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复