在 Databricks 上處理 webhooks 的策略

Question

語境：

我正在努力處理來自不同應用程序的數據，以轉化為一些見解和可視化。

我們有大約 250 個第三方聊天應用程序。

對於在這些聊天應用程序中發送/接收的每條消息，我們都有事件。

我想使用 webhooks 在我的數據塊中獲取所有聊天信息，然后使用筆記本處理和清理數據，然后讓人們可以在某個數據庫中查詢以在 power bi 上繪圖。

我的問題：

Q1) 使用 databricks 生態系統處理 webhooks 的良好可擴展實踐是什么？ 是否有任何 http 端點可用於處理該問題？

Q2）我對第一階段：獲取數據，第二階段：用筆記本進行轉換，第三階段：插入某個數據庫的想法是一種有效的方法嗎？ 有什么建議？

Answer 1

對於在這些聊天應用程序中發送/接收的每條消息，我們都有事件。

由於應用程序中已經存在事件，因此最好的解決方案始終是使用流媒體。 例如，spark/databricks 中的結構化流可以從多個源讀取。 最簡單的是聊天應用程序使用類似 Kafka 的東西，但也可以從其他產品讀取流。

Kafka 與 Spark 配合得非常好，所以我強烈建議您將所有事件都放到 Kafka 中，而不是 Databricks 將其作為流使用： https ://docs.databricks.com/spark/latest/structured-streaming/kafka.html