Spark-Sql 自定義元存儲

Question

在 HIVE 中，我們可以將不同的 RDBM 設置為元存儲，並讓 HIVE 將所有元數據存儲在其中。 除此之外，通過 hiveserver2，我們可以讓 HIVE 監聽請求並提供服務。

同樣，有很多文檔說 Spark-SQL 也可以以類似的方式使用。 我們可以將 Oracle（示例）設置為 Spark-Sql 的元存儲嗎？ 如果是的話，有人可以幫助我如何設置它。

謝謝！

Answer 1

Spark 使用 Hive Metastore 作為外部 Metastore 並且您選擇自己的 DB，因此 Oracle 數據庫很好。 否則 Spark 使用 Derby DB，這對於您自己的研究單用戶偽或小型非生產集群來說是可以的。 您需要為外部元存儲進行適當配置。

在 EMR 上的 AWS 中，您可以使用 AWS Glue 作為外部 Spark Metastore。

來自供應商的一些發行版也在這里強加了一些細節。