使用 Databricks 将从 Azure 服务总线接收到的消息移动到 Azure DataLake

Question

我找到了几个链接，显示如何在 Apache Spark 上使用 Databricks 发送和接收消息，包括在前段时间发布的以下 SO 问题中Structured Streaming with Azure Service Bus Topics

但是，我正在努力寻找有关如何从收到的消息中创建 dataframe 的信息，以便将消息移动到 Azure Data Lake 或 SQL DB。

有没有人遇到任何有用的文档？

请注意：我指的不是 Azure 事件中心

Answer 1

我和我的团队一直在寻找同样的能力，但没有成功。 我们最终使用 Azure function 来执行 python 脚本，该脚本利用 pandas 和 pyarrow 将 parquet 写入我们数据湖的原始区域。 当我们尝试使用 Spark 读取数据时，这最终导致了问题。

另一种看起来很有希望的方法是使用 azure function 将消息写入原始区域中的 JSON。 然后使用 Auto Loader 处理新的 JSON 文件。

https://learn.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader

微软也有这个建议：

https://learn.microsoft.com/en-us/answers/questions/116689/spark-structured-streaming-azure-service-bus.html