Hadoop Java映射器-copyFromLocal堆大小错误

Question

作为Java映射器的一部分，我有一个命令在本地节点上执行一些代码，并将本地输出文件复制到hadoop fs。 不幸的是，我得到以下输出：

VM初始化期间发生错误

无法为对象堆保留足够的空间

我尝试将mapred.map.child.java.opts调整为-Xmx512M，但是不幸的是没有运气。

当我SSH进入节点时，我可以运行-copyFromLocal命令而没有任何问题。 输出文件也非常小，大约100kb。

任何帮助将不胜感激！

Answer 1

映射器或化简器中的无限循环会导致内存不足错误。

当我有一个使用iterator.hasNext（）作为条件，用于化简器值的条件循环并且没有在循环内调用iterator.next（）时，我遇到了一个OoM。