Databricks 集群中的实时集群日志传递

Question

我有一些在 Databricks 作业集群上运行的 Python 代码。 我的 Python 代码将生成一大堆日志，我希望能够实时（或接近实时）监控这些日志，比如通过仪表板之类的东西。

到目前为止我所做的是，我已经配置了我的集群日志传送位置，并且我的日志每 5 分钟传送到指定的目的地。

这在这里解释，
https://docs.microsoft.com/en-us/azure/databricks/clusters/configure

这是同一篇文章的摘录，

创建集群时，您可以指定一个位置来传递 Spark 驱动程序节点、工作程序节点和事件的日志。 日志每五分钟发送一次到您选择的目的地。 当集群终止时，Azure Databricks 保证交付在集群终止之前生成的所有日志。

有什么方法可以让这些日志近乎实时地传送到某个地方，而不是每 5 分钟一次？ 它也不必通过相同的方法，我对其他可能性持开放态度。

Answer 1

如下图所示，默认为 5 分钟。 不幸的是，它无法更改。 官方文档中没有给出任何信息。

但是，您可以在此处提出功能请求