Spark-Sql 自定义元存储

Question

在 HIVE 中，我们可以将不同的 RDBM 设置为元存储，并让 HIVE 将所有元数据存储在其中。 除此之外，通过 hiveserver2，我们可以让 HIVE 监听请求并提供服务。

同样，有很多文档说 Spark-SQL 也可以以类似的方式使用。 我们可以将 Oracle（示例）设置为 Spark-Sql 的元存储吗？ 如果是的话，有人可以帮助我如何设置它。

谢谢！

Answer 1

Spark 使用 Hive Metastore 作为外部 Metastore 并且您选择自己的 DB，因此 Oracle 数据库很好。 否则 Spark 使用 Derby DB，这对于您自己的研究单用户伪或小型非生产集群来说是可以的。 您需要为外部元存储进行适当配置。

在 EMR 上的 AWS 中，您可以使用 AWS Glue 作为外部 Spark Metastore。

来自供应商的一些发行版也在这里强加了一些细节。