Databricks Delta和Hive交易表

Question

我從兩個來源看到，現在您無法與Spark的HIVE交易表進行任何有意義的交互。

蜂巢酸

Hive交易表無法通過Spark讀取

我看到Databricks發布了一個名為Databricks Delta的事務處理功能。 現在可以使用此功能讀取HIVE交易表嗎？

Answer 1

不。 不是Hive Transactional表。 您創建一種稱為Databricks Delta Table（鑲木地板的火花表）的新型表，並利用Hive元存儲讀取/寫入這些表。

它是一種外部表，但更像是數據到架構。 更多火花和鑲木地板。

解決問題的方法可能是讀取配置單元文件，然后將相應的模式強加到Databricks筆記本中，然后將其另存為databricks增量表。 像這樣： df.write.mode('overwrite').format('delta').save(/mnt/out/put/path)您仍然需要編寫一個指向該位置的DDL.FYI DELTA表是事務。

Answer 2

我看不出只強調Spark訪問Hive ACID的意義。

實際上，Spark依賴於宿主語言，Python和Scala是最受歡迎的選擇。

您可以毫無問題地使用Python中的Hive ACID，這是一個經過充分驗證的集成。

您的數據可以駐留在Spark數據幀或RDD上，但是只要您可以將其傳輸到標准Python數據結構中，就可以直接從其中與Hive ACID進行互操作。