使用 Databricks 將從 Azure 服務總線接收到的消息移動到 Azure DataLake

Question

我找到了幾個鏈接，顯示如何在 Apache Spark 上使用 Databricks 發送和接收消息，包括在前段時間發布的以下 SO 問題中Structured Streaming with Azure Service Bus Topics

但是，我正在努力尋找有關如何從收到的消息中創建 dataframe 的信息，以便將消息移動到 Azure Data Lake 或 SQL DB。

有沒有人遇到任何有用的文檔？

請注意：我指的不是 Azure 事件中心

Answer 1

我和我的團隊一直在尋找同樣的能力，但沒有成功。 我們最終使用 Azure function 來執行 python 腳本，該腳本利用 pandas 和 pyarrow 將 parquet 寫入我們數據湖的原始區域。 當我們嘗試使用 Spark 讀取數據時，這最終導致了問題。

另一種看起來很有希望的方法是使用 azure function 將消息寫入原始區域中的 JSON。 然后使用 Auto Loader 處理新的 JSON 文件。

https://learn.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader

微軟也有這個建議：

https://learn.microsoft.com/en-us/answers/questions/116689/spark-structured-streaming-azure-service-bus.html