為什么建議對mapReduce作業使用scan.setCacheBlocks（false）？

Question

我知道為什么scan.setCaching對mapreduce作業有利，但是我不明白為什么setCacheBlocks（false）不好。 它會給服務器增加負擔嗎？

Answer 1

總之- 是的 ，它的負擔，如果你設置blockcaching為true MapReduce作業的RegionServer的。
當您主要在輸入掃描中使用mapreduce作業時，最近掃描的輸入很可能在下一個映射階段被丟棄。 Blockcache是​​LRU ..它在第一個請求期間將數據放入Blockcache，然后在第二個請求中發現其沒有用處並交換它，然后過程繼續進行。 因此，RegionServer不斷地將數據交換到BlockCache中和從中交換出去，而沒有任何收益。 它只是大量不必要的IO使用情況。
但是，在正常讀取的情況下，建議保持其真實性以從數據局部獲取。