“ Hive on Spark模式”和“ Spark SQL”有什么區別？ “ Hive on Spark模式”會使用Catalyst Optimizer嗎？
[英]What is the difference between 'Hive on Spark mode' and 'Spark SQL'? Will 'Hive on Spark mode' uses Catalyst Optimizer?
問題描述
- Hive on Spark模式與MR模式
- Spark SQL
- 催化劑優化器/ RDD /鎢
1 個解決方案
解決方案1
0 2018-05-28 03:36:28
Hive on Spark與通過HiveContext使用Spark SQL運行Hive查詢不同。 它不會將查詢轉換為Spark原語，而是將其轉換為MapReduce原語並在Spark上執行，其主要目的是利用Spark執行引擎，而不影響Hive中的現有代碼。
在內部，它將Hive的邏輯運算符轉換為Spark任務，這些任務主要是RDD轉換和操作，並且尚未使用Dataframe（根據官方文檔），因此它不使用Tungsten或Catalyst Optimizer。
以下文檔提到了官方文檔中有關Hive on Spark的所有設計注意事項-
使用 spark Hive 和任何其他帶有 NoSQL 或 SQL 數據庫的 Spark 有什么區別？
[英]What is the difference between using spark Hive and any other Spark with NoSQL or SQL database?
Spark SQL 本機語法和 Spark 中的 Hive QL 語法有什么區別？
[英]what's the difference between Spark SQL native syntax and Hive QL syntax in Spark?
Spark上的Hive> Yarn模式> spark配置>給spark.master提供什么值
[英]Hive on Spark > Yarn mode > spark configuration > what value to give to spark.master
Hive on Spark和作為Hive執行引擎的Spark：有什么區別
[英]Hive on Spark and Spark as hive execution engine: What's the difference
spark的spark調度模式和應用程序隊列之間有什么區別？
[英]what is the difference between spark scheduling mode and application queue in spark?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Spark SQL和Hive之間的區別
使用 spark Hive 和任何其他帶有 NoSQL 或 SQL 數據庫的 Spark 有什么區別？
Spark SQL 本機語法和 Spark 中的 Hive QL 語法有什么區別？
Spark上的Hive> Yarn模式> spark配置>給spark.master提供什么值
Hive on Spark和作為Hive執行引擎的Spark：有什么區別
spark的spark調度模式和應用程序隊列之間有什么區別？
嵌入模式下的Spark - 找不到用戶/配置單元/倉庫
EMR Spark群集模式配置單元問題
Spark上的Spark SQL vs HIVE
Spark SQL 限制與 Hive SQL 限制之間的區別
相關標簽