讀取矩陣 hadoop map reduce

Question

嗨，我有一個矩陣，想將其傳遞給hadoop多節點集群設置中的映射器 class，但矩陣不在文件中。 有什么方法可以傳遞矩陣而不將其寫入文件嗎？

Answer 1

在JobConf中，您使用方法setInputFormat指定輸入。 InputFormat有許多實現其接口的類。

除了FileInputFormat及其子類之外，您還有其他實現InputFormat的類，例如DBInputFormat 、 Parser.Node等。看看您是否可以使用這些類。

如果沒有適合您的需求，請嘗試構建您自己的自定義 InputFormat class 以實現相同的目的。