是否可以在scala中将Apache ignite rdd转换为spark rdd

Question

我是新来的apache ignite以及spark ...可以有人举个例子在scala中将ignite rdd转换为spark rdd吗？

已更新----用例：我将收到一个hbase表的数据框。我将执行一些逻辑以从中构建报告，将其保存到ignite rdd ...，并将为每个表更新相同的ignite rdd。 ..一旦所有表都执行完，最终点燃rdd将被转换为spark或java rdd，最后一条规则将在该rdd上执行...要运行该规则，我需要将rdd转换为数据框。 并且该数据框将作为最终报告保存在配置单元中...

Answer 1

转换是什么意思？ IgniteRDD 是Spark RDD ，从技术上讲，它是RDD特性的子类型。

Spark内部具有许多类型的RDD：MappedRDD，HadoopRDD，LogicalRDD。 IgniteRDD只是RDD的一种可能类型，经过一些转换后，它也会被其他RDD类型（即MappedRDD）包装。

您也可以编写自己的RDD :)

文档中的示例：

val cache = igniteContext.fromCache("partitioned")
val result = cache.filter(_._2.contains("Ignite")).collect()

过滤缓存RDD之后，类型将有所不同-IgniteRDD将包装为FilteredRDD。 但是，它仍然是RDD特性的实现。

评论后更新：

1. 首先，您是否导入了隐式？ import spark.implicits._
2. 在SparkSession中，您具有各种createDataFrame方法，这些方法会将RDD转换为DataFrame / Dataset

如果仍然无法解决问题，请向我们提供您在创建DataFrame和代码示例时遇到的错误