Spark序列化错误

Question

我正在尝试学习spark + scala。 我想阅读HBase，但没有mapreduce。 我创建了一个简单的HBase表-“ test”，并在其中放置了3个放置项。 我想通过spark（没有使用mapreduce的HBaseTest）阅读它。 我试图在shell上运行以下命令

val numbers = Array(
  new Get(Bytes.toBytes("row1")), 
  new Get(Bytes.toBytes("row2")), 
  new Get(Bytes.toBytes("row3")))
val conf = new HBaseConfiguration()
val table = new HTable(conf, "test")
sc.parallelize(numbers, numbers.length).map(table.get).count()

我不断收到错误-org.apache.spark.SparkException：作业中止：任务无法序列化：java.io.NotSerializableException：org.apache.hadoop.hbase.HBaseConfiguration

有人可以帮我吗，我如何创建一个使用可序列化配置的Htable

谢谢

Answer 1

您的问题是该table不可序列化（而是它的成员conf ），并且您试图通过在map使用它来对其进行序列化。 它们使您尝试读取HBase的方式不太正确，似乎您尝试了一些特定的Get，然后尝试并行进行。 即使您确实做到了这一点，它也不会随您执行随机读取而扩展。 您要做的是使用Spark执行表扫描，下面是一个代码段，它可以帮助您完成此操作：

val conf = HBaseConfiguration.create()
conf.set(TableInputFormat.INPUT_TABLE, tableName)

sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],
  classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
  classOf[org.apache.hadoop.hbase.client.Result])

这将为您提供一个包含构成行的NaviagableMap的RDD。 下面是如何将NaviagbleMap更改为字符串的常规Scala映射的方法：

...
.map(kv => (kv._1.get(), navMapToMap(kv._2.getMap)))
.map(kv => (Bytes.toString(kv._1), rowToStrMap(kv._2)))

def navMapToMap(navMap: HBaseRow): CFTimeseriesRow =
  navMap.asScala.toMap.map(cf =>
    (cf._1, cf._2.asScala.toMap.map(col =>
      (col._1, col._2.asScala.toMap.map(elem => (elem._1.toLong, elem._2))))))

def rowToStrMap(navMap: CFTimeseriesRow): CFTimeseriesRowStr =
  navMap.map(cf =>
    (Bytes.toString(cf._1), cf._2.map(col =>
      (Bytes.toString(col._1), col._2.map(elem => (elem._1, Bytes.toString(elem._2)))))))

最后一点，如果您真的想尝试并行执行随机读取，我相信您可以将HBase表初始化放入map 。

Answer 2

当你做的时候会发生什么

@transient val conf =新的HBaseConfiguration

更新显然，HBase提交的任务的其他部分也无法序列化。 这些都需要解决。

• 考虑实体在导线的两侧是否具有相同的含义/语义。 任何连接都肯定不会。 该HBaseConfiguration 不应该被序列化。 但是在基元之上构建的基元和简单对象（不包含上下文相关数据）可以很好地包含在序列化中

• 对于上下文敏感的实体（包括HBaseConfiguration和任何面向连接的数据结构），应将其标记为@transient，然后在readObject（）方法中使用与客户端环境相关的值实例化它们。