Apache Spark上的AMPLab Shark

Question

根据文档，

“ Apache Spark是用于大规模数据处理的快速通用引擎。”

“ Shark是用于Hadoop数据的开源分布式SQL查询引擎。”

Shark使用Spark作为依赖项。

我的问题是，Spark只是将HiveQL解析为Spark作业，还是如果我们使用Shark对分析查询进行快速响应，那么它有什么用？

Answer 1

是的，Shark使用与Hive相同的想法，但是将HiveQL转换为Spark作业而不是MapReduce作业。 请阅读本文档的第13-14页，了解两者之间的体系结构差异。