對Hadoop作業進行低級基准測試

Question

我必須記錄幾個基准變量。 不幸的是，某些變量要求我在hadoop代碼中執行測量（map（），reduce（），InputFormat等）。 我想知道這樣做的“正確”方法是什么。 我可以使用全局變量來存儲我的基准變量，並在Tool.run（）完成之前將其轉儲，但是我認為這樣做有更好的方法。 有誰知道該怎么做，或者有什么主意？

更新資料

由於某些限制，基准代碼必須嵌入到hadoop中。 我有一個“測試程序”應用程序，它運行許多hadoop作業並收集基准測試結果。 這個想法是在一個“測試器”運行中運行作業並從作業執行中收集基准數據。

Answer 1

沒有什么可以阻止您獨立於MapReduce對這些方法進行基准測試。 M / R並不是魔術，只是一個JVM在服務器上為您運行一些代碼。

我們一直在針對單個Map和Reduce函數運行JUnit測試。 對它們進行概要分析沒有實質性區別。