“ Hive on Spark模式”和“ Spark SQL”有什么区别？ “ Hive on Spark模式”会使用Catalyst Optimizer吗？
[英]What is the difference between 'Hive on Spark mode' and 'Spark SQL'? Will 'Hive on Spark mode' uses Catalyst Optimizer?
问题描述
- Hive on Spark模式与MR模式
- Spark SQL
- 催化剂优化器/ RDD /钨
1 个解决方案
解决方案1
0 2018-05-28 03:36:28
Hive on Spark与通过HiveContext使用Spark SQL运行Hive查询不同。 它不会将查询转换为Spark原语，而是将其转换为MapReduce原语并在Spark上执行，其主要目的是利用Spark执行引擎，而不影响Hive中的现有代码。
在内部，它将Hive的逻辑运算符转换为Spark任务，这些任务主要是RDD转换和操作，并且尚未使用Dataframe（根据官方文档），因此它不使用Tungsten或Catalyst Optimizer。
以下文档提到了官方文档中有关Hive on Spark的所有设计注意事项-
使用 spark Hive 和任何其他带有 NoSQL 或 SQL 数据库的 Spark 有什么区别？
[英]What is the difference between using spark Hive and any other Spark with NoSQL or SQL database?
Spark SQL 本机语法和 Spark 中的 Hive QL 语法有什么区别？
[英]what's the difference between Spark SQL native syntax and Hive QL syntax in Spark?
Spark上的Hive> Yarn模式> spark配置>给spark.master提供什么值
[英]Hive on Spark > Yarn mode > spark configuration > what value to give to spark.master
Hive on Spark和作为Hive执行引擎的Spark：有什么区别
[英]Hive on Spark and Spark as hive execution engine: What's the difference
spark的spark调度模式和应用程序队列之间有什么区别？
[英]what is the difference between spark scheduling mode and application queue in spark?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Spark SQL和Hive之间的区别
使用 spark Hive 和任何其他带有 NoSQL 或 SQL 数据库的 Spark 有什么区别？
Spark SQL 本机语法和 Spark 中的 Hive QL 语法有什么区别？
Spark上的Hive> Yarn模式> spark配置>给spark.master提供什么值
Hive on Spark和作为Hive执行引擎的Spark：有什么区别
spark的spark调度模式和应用程序队列之间有什么区别？
嵌入模式下的Spark - 找不到用户/配置单元/仓库
EMR Spark群集模式配置单元问题
Spark上的Spark SQL vs HIVE
Spark SQL 限制与 Hive SQL 限制之间的区别
相关标签