对于 spark-phoenix，我不想从 HBase 中提取全部数据。 有没有办法根据我的情况从表中提取数据？

Question

从 Hbase 拉取整个数据太慢了。 我只需要处理数据一小时。

所以我想知道我是否可以在配置中指定SQL并像Spark对JDBC连接的支持一样提取一小时的数据？ 还是支持下推，我只需要写SparkSQL？

我正在使用 phoenix-4.14.1-HBase-1.3。

Answer 1

好的。 我找到了答案。 凤凰确实支持下推。 我的错是我一开始使用substr ，应该替换为startsWith或like 。

证据如下所示。

 /*
    This is the buildScan() implementing Spark's PrunedFilteredScan.
    Spark SQL queries with columns or predicates specified will be pushed down
    to us here, and we can pass that on to Phoenix. According to the docs, this
    is an optimization, and the filtering/pruning will be re-evaluated again,
    but this prevents having to load the whole table into Spark first.
  */
  override def buildScan(requiredColumns: Array[String], filters: Array[Filter]): RDD[Row] = {
    new PhoenixRDD(
      sqlContext.sparkContext,
      tableName,
      requiredColumns,
      Some(buildFilter(filters)),
      Some(zkUrl),
      new Configuration(),
      dateAsTimestamp
    ).toDataFrame(sqlContext).rdd
  }