如何在不同於 Spring 雲數據本地服務器的服務器上運行任務

Question

我想托管一個 Spring 雲數據流本地服務器來監控和執行我的各種 Spring 引導批處理項目。

我想要實現的問題或基礎架構是，我希望服務器 A 上的 Spring 雲數據流服務器主機能夠在服務器 B 上執行 Spring 引導批處理/任務。

這是我想要實現的可能配置嗎？ 如果不是，我應該如何實現這一目標？ 由於我很少有 Spring 啟動在不同服務器上運行的批處理應用程序。

Answer 1

這不是 SCDF 的工作方式。 所以我不認為這是可能的。 如果您想監控您的批處理作業，那么您需要在 SCDF 服務器中注冊您的作業。

Answer 2

這取決於您如何啟動和配置批處理應用程序。 您可以有一個自定義任務應用程序（稱為批處理啟動器）在外部集群上啟動您的批處理作業。 但是，在監控應用程序方面，SCDF 可以幫助監控用於啟動實際批處理而不是在外部集群上運行的實際作業的任務應用程序（批處理啟動器）（除非您有檢索機制批處理應用程序的指標到批處理啟動器中）。

使用 SCDF 任務（使用 Spark 客戶端）在 Spark 集群上啟動 Spark 計算作業就是這樣一個示例。 在這種情況下，您將注冊 SCDF 任務並通過 SCDF（而不是 Spark 計算作業）僅監控 Spark 客戶端任務應用程序。