簡體   English   中英

HBase表作為MapReduce輸入嗎?

[英]HBase table as MapReduce input?

我想知道將HBase表用作mapreduce作業輸入的利弊嗎? 它如何影響性能?

優點 :1.可以進行點查找,而無需讀取整個數據。

  1. 如果將hbase集成為輸入源,則可以完全避免使用reduce階段,因為可以獲取給定密鑰的完整數據。

缺點 :1.如果未正確調整hbaseBlock大小,則掃描很小的一組數據可能會導致掃描完整的基礎數據(在最壞的情況下,讀取1%的數據可能會導致讀取100%的數據)

  1. 如果進行全掃描,則直接從hdfs讀取是最“首選”的選擇。
  2. 如果“由於跨區域服務器的區域移動而無法保持數據本地性”,則Hbase可能會導致dfs濫用

總的來說,這取決於如何根據他的讀寫模式對hbase進行調整

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM