繁体   English   中英

HBase表作为MapReduce输入吗?

[英]HBase table as MapReduce input?

我想知道将HBase表用作mapreduce作业输入的利弊吗? 它如何影响性能?

优点 :1.可以进行点查找,而无需读取整个数据。

  1. 如果将hbase集成为输入源,则可以完全避免使用reduce阶段,因为可以获取给定密钥的完整数据。

缺点 :1.如果未正确调整hbaseBlock大小,则扫描很小的一组数据可能会导致扫描完整的基础数据(在最坏的情况下,读取1%的数据可能会导致读取100%的数据)

  1. 如果进行全扫描,则直接从hdfs读取是最“首选”的选择。
  2. 如果“由于跨区域服务器的区域移动而无法保持数据本地性”,则Hbase可能会导致dfs滥用

总的来说,这取决于如何根据他的读写模式对hbase进行调整

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM