如何在AWS的紗簇模式下查看火花執行狀態

Question

我正在AWS的紗簇模式下運行spark應用程序。

如您所見，我無法從Web獲得任何運行狀態。

從控制台，我僅獲得16/05/26 10:12:01 INFO yarn.Client: Application report for application_1464256533172_0002 (state: RUNNING) ，僅表明它還16/05/26 10:12:01 INFO yarn.Client: Application report for application_1464256533172_0002 (state: RUNNING) 。

+++

這是相同條件下yarn-client模式下的快照。

好像還可以 至少已顯示進度條。 但是即使執行完成后，它也再也不會改變，仍然顯示0/368個任務。

到現在為止，我只能告訴我們在紗客戶端模式下只能顯示運行狀態，但永遠不會更新...因此，如何在紗群集模式下顯示可更新狀態...。

Answer 1

我看不到您的執行程序中正在運行任何作業。 檢查您的代碼以查看您是否在火花作業中對RDD執行了任何操作。