HBase上的Mapreduce

Question

我正在执行一个map reduce作业，该作业正在处理来自hbase表（MAP_INPUT_RECORDS = 30）的30行。该表具有11000个区域，但是根据我们的区域拆分策略，任何时候一条记录都将位于单个区域中（即单个记录将不在2个或更多区域中。 在这里，我在日志中获得了更多数量的映射器65（TOTAL_LAUNCHED_MAPS = 65）。 根据hbase文档，将为每个区域分配一个映射器。 但就我而言，映射器的数量超过了该区域。 建议一些解决方案。 提前致谢。

Answer 1

您有11000个区域（表区域），因此最多可以有11000个映射器。

您是否将表区域与Hbase的区域服务器混淆了？ 一个Hbase可以有10个区域服务器，并且在hbase上托管的表可以有1000个区域。 每个区域服务器托管100个区域。

TableInputFormat根据表的区域而不是Hbase Region Server生成映射器。

为了更好的理解，请遵循http://bytepadding.com/big-data/hbase/hbase-parameter-tuning/