如何將現有的MapReduce應用程序轉換為Crunch？

Question

我實現了幾個（大約一打）MapReduce任務，每個任務都是由一個簡單的bash腳本執行的工作流的一部分。 由於多種原因，我想將工作流程移至Apache Crunch。

但是，我不清楚如何將我的MapReduce任務作為Crunch函數運行而不重新實現它們。 有沒有一種直接的方法可以將Map和Reduce的實現用作Crunch函數？ 我也想維護Tool的實現，以便MapReduce任務既可以獨立運行，也可以作為Crunch工作流程的一部分運行； 有什么辦法嗎？

感謝您的見解。

Answer 1

對於任何可能偶然發現此問題的人，Crunch庫中都包含一個文檔最少的API。 但是，這非常簡單。

看到這里： https : //crunch.apache.org/apidocs/0.10.0/org/apache/crunch/lib/Mapreduce.html