分析Spark的Scala代碼

Question

我是Scala和大型數據集編程的新手。 我需要在本地環境中使用探查器，以便檢查Scala代碼中哪些操作/功能太慢，我在本地節點和群集環境中都嘗試了Spark UI，但這還不夠。 問題是我的代碼是Scala的“腳本”，或者更好的是，它只是直接在spark-shell中執行的一系列代碼行。

所有常見的探查器都需要結構良好的Scala代碼，以便生成jar文件並運行jar文件以附加探查器代理。 我不知道在哪里搜尋。 有任何想法嗎？ 有沒有可能？

Answer 1

您可以將Java分析器（例如JDK附帶的免費jvisualvm附加到任何正在運行的JVM。 我沒有嘗試過，但是我相信您應該能夠分析Spark所執行的代碼。

當然，您必須連接到執行代碼的正確JVM。 如果它是遠程執行的，將無法連接到運行您的Spark Shell的本地JVM。

您還必須確保在適當的時候進行簡介。