我可以使用 memoization 來緩存來自 spark 作業的 hbase 讀寫數據嗎？

Question

在具有 Spark 作業的 Scala 項目中，我使用 Spark-Hbase 連接器 (SHC) 連接從 Hbase 數據讀取。 請求的數量非常大，我正在嘗試使用緩存的數據一段時間。 我想知道我是否可以這樣做。 也許記憶可以幫助？！

Answer 1

HBase 本身提供了兩種不同的緩存。

將數據緩存到 Spark 的一種方法是使用Pair RDD 。

您還可以使用廣播變量

關於 memoization，請記住它是單個節點的本地化。 因此，您可以在一個節點上存儲數據並在所有其他節點上緩存未命中。