Hadoop序列化嵌套对象

Question

我有一堂课：

 class Class1 implements Writable{
       int intField;
       double doubleField;
       Class2 refToClass2;

       public void readField(DataInput in){...}
       public void write(DataOutput out){...}


 class Class2 implements Serializable, Writable{
     ....
 }

当使用Class1作为输出值时，Hadoop在减速器端抛出此错误：

 java.lang.NullPointerException
at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
at org.apache.hadoop.io.SequenceFile$Writer.init(SequenceFile.java:961)
at org.apache.hadoop.io.SequenceFile$Writer.<init>(SequenceFile.java:892)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:393)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:354)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:476)
at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat.getRecordWriter(SequenceFileOutputFormat.java:61)
at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.<init>(ReduceTask.java:569)

我的直觉告诉我，该问题与Class1有关，或更可能与实现Serializable和Writable的Class2有关。

有任何想法吗 ？

更新：

我已经解决了这个问题：问题是Class1，现在，我已更改为仅实现可写（而不是可序列化）。 从某种意义上来说，我也对其进行了更改，因为它不再包含对Class2的引用。 我仍然遇到相同的错误。 如果我将Class1替换为另一个Writable实现作为输出值，则可以使用！ 为什么??

Answer 1

问题是我犯了一个愚蠢的错误：我没有更新罐子。 因此，基本上Class1并没有在旧的（使用中）jar中实现Writable接口。

通常观察到：OP中指定的错误具有根本原因，原因是HADOOP找不到针对您要序列化的特定类型的序列化器（直接或间接（例如，通过使用该类型作为输出）核心价值）。 出于以下两个原因之一，Hadoop无法找到Serilizer：

1. 您的类型不可序列化（即未实现可写或可序列化）
2. 对于您的类型实现的序列化类型，Hadoop没有可用的序列化器（例如：您的类型实现可写但由于某种原因hadoop或其他原因无法使用org.apache.hadoop.io.serializer.WritableSerialization类）