我可以使用 memoization 来缓存来自 spark 作业的 hbase 读写数据吗？

Question

在具有 Spark 作业的 Scala 项目中，我使用 Spark-Hbase 连接器 (SHC) 连接从 Hbase 数据读取。 请求的数量非常大，我正在尝试使用缓存的数据一段时间。 我想知道我是否可以这样做。 也许记忆可以帮助？！

Answer 1

HBase 本身提供了两种不同的缓存。

将数据缓存到 Spark 的一种方法是使用Pair RDD 。

您还可以使用广播变量

关于 memoization，请记住它是单个节点的本地化。 因此，您可以在一个节点上存储数据并在所有其他节点上缓存未命中。