如何测量Spark GraphX应用程序的执行时间？

Question

使用Graphx查找程序的总执行时间的最可靠方法是什么？最好是使用历史记录服务器，还是在程序中使用System.currentTimeMillis()或其他变量？

Answer 1

测量Spark GraphX应用程序的执行时间与测量任何其他Spark应用程序的性能没有什么不同。

我强烈建议在Spark应用程序启动并运行时使用Web UI，之后再启动Spark History Server。

您还可以使用SparkListener来构建类似于Web UI的内容（毕竟所有Web UI只是一堆SparkListener）。

System.currentTimeMillis()也可以工作，但是如果Spark中几乎所有（如果不是全部）都可用，为什么还要重新发明轮子呢？