剖析在Google Dataflow上運行的Java應用程序

Question

您是否知道如何分析在數據流工作程序上運行的Java應用程序？ 您知道有什么工具可以讓我發現應用程序的內存泄漏嗎？

Answer 1

對於時間分析，您可以嘗試按照本期雜志72所述進行操作，但是在拆除工作人員的配置文件之前，工作人員可能需要拆除或自動縮放，這可能會有些困難。 不幸的是，它不提供內存配置文件，因此對內存泄漏無濟於事。

您也可以使用DirectPipelineRunner運行，它將在計算機上本地執行管道。 這將使您能夠分析管道中的代碼，而無需與Dataflow工作人員打交道。 根據流水線的規模，您可能需要將輸入大小調整為可以在一台計算機上處​​理的大小。

嘗試區分在工作程序上運行的代碼（例如，單個DoFn的代碼以及管道和數據的結構）可能也會有所幫助。 例如，內存不足問題可能是由於GroupByKey具有與單個鍵關聯的太多值並將其讀入列表而引起的。