Databricks 集群中的實時集群日志傳遞

Question

我有一些在 Databricks 作業集群上運行的 Python 代碼。 我的 Python 代碼將生成一大堆日志，我希望能夠實時（或接近實時）監控這些日志，比如通過儀表板之類的東西。

到目前為止我所做的是，我已經配置了我的集群日志傳送位置，並且我的日志每 5 分鍾傳送到指定的目的地。

這在這里解釋，
https://docs.microsoft.com/en-us/azure/databricks/clusters/configure

這是同一篇文章的摘錄，

創建集群時，您可以指定一個位置來傳遞 Spark 驅動程序節點、工作程序節點和事件的日志。 日志每五分鍾發送一次到您選擇的目的地。 當集群終止時，Azure Databricks 保證交付在集群終止之前生成的所有日志。

有什么方法可以讓這些日志近乎實時地傳送到某個地方，而不是每 5 分鍾一次？ 它也不必通過相同的方法，我對其他可能性持開放態度。

Answer 1

如下圖所示，默認為 5 分鍾。 不幸的是，它無法更改。 官方文檔中沒有給出任何信息。

但是，您可以在此處提出功能請求