如何從Hadoop HDFS中的文件讀取序列化對象

Question

我已將LibSVM類型的對象序列化為名為j48.model的文件。 該文件已被傳輸到HDFS文件系統中。

現在，在hadoop mapreduce代碼中，我如何反序列化此對象並將其讀回到類LibSVM的實例中？ 我已經將與LIBSVM相關的.jar文件作為外部jar文件包含在ma reduce項目中。

哪些JAVA方法可以幫助我將文件j48.model的內容讀入LibSVM對象？

Answer 1

當您打開HDFS URL時，它將返回一個InputStream。

FileSystem fs = FileSystem.get(new Configuration());
InputStream in = fs.open(new Path("your uri"));

您可以將此輸入流包裝在ObjectInputStream中：

ObjectInputStream objReader = new ObjectInputStream(in);

並從中讀取對象：

LibSVM lib = (LibSVM)objReader.readObject();