在 Databricks 上处理 webhooks 的策略

Question

语境：

我正在努力处理来自不同应用程序的数据，以转化为一些见解和可视化。

我们有大约 250 个第三方聊天应用程序。

对于在这些聊天应用程序中发送/接收的每条消息，我们都有事件。

我想使用 webhooks 在我的数据块中获取所有聊天信息，然后使用笔记本处理和清理数据，然后让人们可以在某个数据库中查询以在 power bi 上绘图。

我的问题：

Q1) 使用 databricks 生态系统处理 webhooks 的良好可扩展实践是什么？ 是否有任何 http 端点可用于处理该问题？

Q2）我对第一阶段：获取数据，第二阶段：用笔记本进行转换，第三阶段：插入某个数据库的想法是一种有效的方法吗？ 有什么建议？

Answer 1

对于在这些聊天应用程序中发送/接收的每条消息，我们都有事件。

由于应用程序中已经存在事件，因此最好的解决方案始终是使用流媒体。 例如，spark/databricks 中的结构化流可以从多个源读取。 最简单的是聊天应用程序使用类似 Kafka 的东西，但也可以从其他产品读取流。

Kafka 与 Spark 配合得非常好，所以我强烈建议您将所有事件都放到 Kafka 中，而不是 Databricks 将其作为流使用： https ://docs.databricks.com/spark/latest/structured-streaming/kafka.html