spark-operator 登錄 k8s

Question

我正在為 Kubernetes 使用 spark-operator。

https://github.com/GoogleCloudPlatform/spark-on-k8s-operator

我能夠成功運行作業，但是由於 pod 是動態的，因此在監視和排除作業時遇到了很多麻煩。

我想知道啟用歷史服務器（到 s3a://<bucket>）以及 spark-operator 的最佳方法。

另外，如何將每個作業的驅動程序/執行程序的標准輸出和標准錯誤日志存儲在 s3a://<bucket> 中。

Answer 1

我認為使用filebeat收集 pod 的日志並將日志保存在 elasticsearch 是一個很好的做法。