是否可以在Eclipse IDE的Spark上运行hive？

Question

我一直在尝试使用Apache Spark Framework开发Spark程序。
我想在没有任何群集的情况下实例化HiveContext 。
是否可以使用HiveContext并通过Eclipse Scala IDE在本地运行它而不使用任何集群？

Answer 1

有可能吗？ 当然...（重点已添加）

要使用HiveContext ， 您不需要现有的Hive设置 ，并且SQLContext可用的所有数据源仍然可用。

但是，您需要编译一些其他代码。

HiveContext仅单独包装，以避免在默认的Spark版本中包含所有Hive的依赖项。 如果这些依赖性对于您的应用程序来说不是问题，那么建议使用HiveContext

但是，如果您只是在没有任何集群的情况下编写Spark，则没有什么可以让您使用Spark 1.x，而应该使用Spark 2.x，它具有一个SparkSession作为与SQL相关的事物的入口点。

---

Eclipse IDE无关紧要。 您也可以使用IntelliJ ...或不使用IDE，并spark-submit任何包含Spark代码的JAR文件。