Hadoop中的mapred.child.javaopts参数-读取序列化的HashMap

Question

我有一个1.5 GB的文件，其中包含序列化的HashMap。

我在Mapper类中有一个setup（）方法，将其读入HashMap变量。

看起来它能够转到read方法，但是立即为任务抛出了Java堆空间错误。

我阅读了许多讨论，我们可能需要设置mapred.child.opts参数，而我正在主程序代码中进行设置。

我正在使用：conf.set（“ mapred.child.java.opts。”，“ -Xmx1024M”）;

我什至试图增加数量。 为什么在尝试将序列化的文件读入HashMap变量时仍仍然抛出相同的错误？

这是我的setup（）方法中的代码：

try {
        test="hello";
        Path pt=new Path("hdfs://localhost:9000/user/watsonuser/topic_dump.tsv");
        FileSystem fs = FileSystem.get(new Configuration());
   }catch(Exception e) {System.out.println("Exception while reading the nameMap 
                          file."); e.printStackTrace();}          
        InputStream is = fs.open(pt);
        ObjectInputStream s = new ObjectInputStream(is);  
        nameMap = (HashMap<String, String>) s.readObject(); 
        s.close();
    }catch(Exception e) {
        System.out.println("Exception while reading the nameMap file."); 
        e.printStackTrace();
    }

Answer 1

当您使用哈希图的序列化版本，并且文件的最终输出大小为1.5GB时，我猜测JVM所需的内存量至少为1.5GB。

您应该可以使用一个小的程序来测试该文件，以加载文件（如您已经拥有的文件），但是继续增加-Xmx值，直到不再看到内存错误-这将作为您的基线（您可能仍然会在hadoop映射器中运行时需要添加更多内容，因为它对溢出分类等有缓冲区大小要求。

您是否还知道在此哈希图中表示了多少个箱和项目？ HashMap的实现只是一个带有链接条目项的bin数组，这些条目项哈希到该bin号。 箱的数量也必须是2的幂，因此，当您在地图中放置越来越多的项目时，当地图达到其阈值/负载系数（0.75）时，实际支持阵列的内存需求将增加一倍。 考虑到这一点，我想您所看到的问题是，如此大的哈希图（序列化为1.5GB）在反序列化到内存时将需要同样大的内存占用空间（如果不是更大的话）