Apache Spark 上的 Apache Hive

Question

有没有人研究过这个配置：Apache Spark 上的 Apache Hive？

此配置的最新版本兼容性是什么？

我想在我的生产系统中实现这一点。 请为 Apache Hadoop、Apache Hive、Apache Spark 和 Apache Zeppelin 的兼容性矩阵提供帮助。

Answer 1

您必须使用hive2 (0.11+) 和SPARK 2.2.0以及hive-site.xml 。 并且您必须将 Spark 设置为执行器引擎，以便您可以轻松地在 Spark 之上运行您的查询。

在hive2还有像一些选项Tez ， llap等详细信息，敬请查询文档蜂箱星火：入门。

Answer 2

按照教程

apache配置单元安装

然后将 hive-site.xml 复制到 $APACHE_HOME/conf

Answer 3

Hive 正在转向仅依赖 Tez 执行引擎。 请在 MapReduce 或 Tez 上构建所有新工作负载。