自定义二进制文件-从hadoop读取

Question

我有一个固定长度的二进制文件。 记录如下：

[Field1:int, Field2:double, Field3: int, ....]

如何使此文件成为我的地图缩小作业的输入？ 我需要编写自定义的InputFormat吗？ 有人可以发表榜样吗？

谢谢

Answer 1

我发现存在一个名为FixedLengthInputFormat的类！ 效果很好！ 我可以将记录的长度传递给它。 映射器收到一个BytesWritable（字节数组的种类）作为输入值，而我只是将其反序列化为一个对象。

https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/FixedLengthInputFormat.html