Apache Spark上的AMPLab Shark
[英]AMPLab Shark on Apache Spark
問題描述
根據文檔，
“ Apache Spark是用於大規模數據處理的快速通用引擎。”
“ Shark是用於Hadoop數據的開源分布式SQL查詢引擎。”
Shark使用Spark作為依賴項。
我的問題是，Spark只是將HiveQL解析為Spark作業，還是如果我們使用Shark對分析查詢進行快速響應，那么它有什么用？
1 個解決方案
解決方案1
3 已采納 2014-02-27 19:44:17
是的，Shark使用與Hive相同的想法，但是將HiveQL轉換為Spark作業而不是MapReduce作業。 請閱讀本文檔的第13-14頁，了解兩者之間的體系結構差異。
Scala Spark / Shark：如何訪問Hortonworks中現有的Hive表？
[英]Scala Spark / Shark: How to access existing Hive tables in Hortonworks?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.