Apache Spark和Flink的能耗如何測量

Question

Apache Spark和Flink的能耗如何測量 有沒有什么工具或者技術可以測量Spark和Flink的能耗

Answer 1

歡迎來到堆棧溢出！
Apache spark 和 Flink 分別是用於分布式計算和 stream 處理的框架。沒有什么比框架更耗算力的了。

如果我理解你的意圖是正確的，那么你是在詢問使用上述框架開發的應用程序的計算功耗。

因此，回答這個問題，通常此類應用程序部署在任何服務器/雲提供商上。 這些雲提供商提供內置指標來跟蹤 CPU / memory 消耗。

如果您在本地運行這些應用程序，則可以使用 jprofiler 、 jconsole 、 jprofiler等visualVM 。 這些工具為您提供 CPU 消耗、memory 消耗等的可視化表示。

附言：
軟件框架是一種抽象，其中提供通用功能的軟件可以通過附加的用戶編寫的代碼進行選擇性更改，從而提供特定於應用程序的軟件。

分布式計算，stream 處理或者說任何計算都可以在沒有上述框架的情況下實現。 但這將是混亂的。 框架使開發人員的生活變得輕松。 由於過度抽象，容易權衡取舍，這是一個不同的整體討論。