從Eclipse調試Apache Spark集群應用程序

Question

我正在嘗試調試在群集/分布式環境中在Eclipse上運行的Spark應用程序，但無法成功。 應用程序是基於Java的，我正在通過Eclipse運行它。 僅通過Java提供用於Master / Worker的配置。

雖然我可以在驅動程序端調試代碼，但是隨着代碼流在Spark中移動（即調用.map(..) ），調試器不會停止。 因為該代碼正在Workers JVM中運行。

反正我能做到這一點嗎？

我嘗試通過Eclipse在Tomcat中進行以下配置： -Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=7761,suspend=n

並在Debug-> remote java應用程序中設置相應的端口。

但是在完成這些設置后，我得到了錯誤： Failed to connect to remote VM. Connection Refused

如果有人對此有任何解決方案，請提供幫助。

Answer 1

在遠程主服務器上配置Spark調試時，我遇到了同樣的問題。 但是之后，我將火花安裝在我的Ubuntu計算機上，然后工作正常。 如果您真的想調試，我的建議是

1-在測試機上配置spark，然后即可輕松調試應用程序。
2-使用IntelliJ IDEA，如果必須使用遠程Spark，則將其用於調試。

編輯：如果您要使用IntelliJ IDEA，則可以按照此處的說明輕松配置遠程調試。 調試Apache Spark作業