單元測試自定義輸入和輸出格式

Question

我一直在嘗試找出是否可以為自定義輸入和輸出格式實現開發單元測試。 我已經在MRunit中找到了這個示例： https ://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial。 看起來MRUnit僅適合測試mapper和reducer。 我還看到了這篇文章： 如何對自定義RecordReader和InputFormat類進行單元測試？ 。 但是看起來這個特定示例取決於HDFS路徑嗎？

理想情況下，我需要能夠在IDE環境（Eclipse）中作為junit測試用例測試自定義輸入和輸出格式的實現。 沒有可用的單/多節點群集設置。 在這種情況下如何進行單元測試？

Answer 1

您幾乎可以執行線程中指定的相同操作： 如何對自定義RecordReader和InputFormat類進行單元測試？

以下設置實際上使HDFS代碼以本地偽模式運行：

conf.set("fs.default.name", "file:///");