哪個工作映射減少可以做但 apache crunch 不能？

Question

我正在研究 apache 緊縮。 據我所知，crunch 是一個基於 map-reduce 框架的抽象框架。 我打算使用 crunch 而不是 map-reduce 框架。

我的問題是 map-reduce 可以做什么而 crunch 不能？

Answer 1

我不認為有什么像 mapreduce 可以做而 apache crunch 不能做的。 Apache crunch 是一個在 Mapreduce 上運行的框架，就像 Hive,Pig 一樣。 事實上，它通過編寫 DoFn 使 map reduce 編程變得簡單，並且 crunch 使用其執行計划器和引擎負責在 map 或 reduce 階段實現業務邏輯。 與純形式的 map reduce 代碼相比，像連接這樣的概念可以很容易地在 crunch 中實現。