Scala Spark / Shark：如何访问Hortonworks中现有的Hive表？

Question

我正在尝试找到有关此方法的一些文档/说明，请提供帮助。 我从Hortonworks安装了Hadoop 2.2.0，并安装了一些需要查询的现有Hive表。 Hive SQL在单节点和群集上的运行速度也极慢，而且异常缓慢。 我希望鲨鱼能更快地工作。

从Spark / Shark文档中，我无法弄清楚如何使Shark与现有的Hive表一起工作。 任何想法如何实现这一目标？ 谢谢！

Answer 1

您需要在特定于鲨鱼的配置单元目录中配置元存储。 我在这里回答了类似的问题，提供了详细信息。

总之，您将需要将hive-default.xml复制到hive-site.xml。 然后，确保已设置metastore属性。

这是hive-site.xml中的基本信息

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://myhost/metastore</value>
  <description>the URL of the MySQL database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>mypassword</value>
</property>

您可以在此处获取更多详细信息： 配置配置单元元存储