主节点和从节点都必须进行哪些Hadoop配置？

Question

我们是否需要修改hadoop集群的主节点和从节点上的mapred-site.xml以获取诸如最大映射数之类的参数，并减少要并行执行的任务，或者仅更改主节点上的配置即可。

在mapred-site.xml中对主节点上的mapred.map.child.java.opts和mapred.reduce.child.java.opts等参数所做的更改是否也会在客户端节点上进行更改？ 或者我们都做。

我们是否必须在主节点和客户端节点上都指定dfs.block.size才能使块大小不同于默认值？

如果没有，则必须在主节点和客户端节点上同时指定用于优化hadoop集群的参数？

Answer 1

您需要在所有计算机上更改所有配置文件conf / *-site.xml 。 原因是，Hadoop没有用于配置信息的单一全局位置。 相反，集群中的每个Hadoop节点都有其自己的配置文件集，我们有责任确保它们在系统中保持同步。