MRv1和MRv2参数

Question

（Hadoop的-2.6）参数的整个列表中给出的链接

但是您可以执行MRv1或MRv2样式的作业。 我认为有些参数仅适用于MRv1，例如mapreduce.tasktracker.map.tasks.maximum ，这是真的吗？ 如果是，那么还有什么更聪明的方法来找出所有这些参数？ 我们可以通过-Dproperty = value或-D property = value传递所有参数吗，或者有没有我不能这样传递的参数？

Answer 1

在MR2中，映射任务的数量将由资源管理器根据分配给每个容器的内存动态计算。

从Hortonworks

使用YARN和MapReduce 2，不再需要为Map和Reduce任务预先配置的静态插槽。 整个集群可用于Maps and Reduces的动态资源分配（根据工作需要）

此页面有更多信息。 检查此 http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

您可以从命令行使用-D property = value传递任何参数。 对此没有限制。 但是，如果开发人员在代码中设置了这些属性，则命令行属性将被作业覆盖。