hadoop的輸入和輸出可以不是文件嗎？

Question

我試圖用Java編寫hadoop mapreduce程序。 為此，輸入是一個數組，輸出也是一個數組。 但是直到現在，我只看到人們使用輸入和輸出作為文件。 所以我只是想知道mapreduce是否可以具有任何其他輸入和輸出格式。

謝謝

Answer 1

Hadoop支持多種輸入和輸出格式。 檢查InputFormat和OutputFormat的子類。 如果需要任何自定義格式，請擴展InputFormat和OutputFormat。 勾選此文章從Cloudera公司的DB輸入/輸出格式。

Answer 2

Hadoop是一個文件系統，map-reduce的目的是處理通常不適合內存的大量數據，因此輸入和輸出通常以某種方式存儲在磁盤上（也稱為文件）。 Hadoop mapreduce類支持讀取hadoop支持的不同類型的文件（文本文件，順序文件），您也可以編寫自己的源代碼，例如HBase隨附了map-reduce包裝器 ，可讀取其文件格式。 我沒有嘗試過，但是正如Praveen指出的那樣，您可以從其他來源閱讀

輸出甚至更容易-由於您正在編寫Java代碼，因此您可以在化簡階段執行任何操作，因此，例如，如果要在化簡階段將消息放入隊列中，則只需執行此操作即可。