Spark：一個任務永遠不會返回

Question

我正在運行一個Spark流程，其中所有任務已成功完成，除了現在單獨運行數小時的任務。 使用htop我可以看到cpu正在旋轉，但我覺得它沒有做任何事情的印象。

如何完成此過程或至少發現任務正在執行的操作？

Answer 1

簡而言之：這在Spark中經常發生。 看看Spark任務持續時間差異 ，可能出現的情況包括：數據偏差，hdfs問題，以及......它似乎恰好發生了。

更新對OP的響應

在以下方面reliable ：這項工作能在某些時候提供正確的答案 - 一個火花是非常可靠的。

reliable在處理間隔的SLA意義上 - 這是一個值得關注的問題。 在獨立，紗線甚至是mesos調度程序上運行的許多集群中都觀察到了處理的偏差。 對不起，我沒有更好的消息。