繁体 English 中英

Spark 将数据集转换为 RDD

[英]Spark converting a Dataset to RDD

原文 2016-08-05 19:26:39 9 2 java/ scala/ apache-spark

我有一个 Dataset[String] 并且需要转换为 RDD[String]。 怎么样？

注意：我最近从 spark 1.6 迁移到 spark 2.0。 我的一些客户期待 RDD，但现在 Spark 给了我数据集。

2 个解决方案

如 scala API 文档中所述，您可以在您的数据集上调用.rdd ：

val myRdd : RDD[String] = ds.rdd

Dataset 是强类型的 Dataframe，因此 Dataset 和 Dataframe 都可以使用 .rdd 转换为 RDD。

在 Java Spark 中将 RDD 转换为数据集

[英]convert RDD to Dataset in Java Spark

从String Spark Java创建数据集（无RDD）

[英]Create a Dataset from String Spark Java (Without RDD)

Apache Spark 中的 Dataframe、Dataset 和 RDD 有什么区别？

[英]What are the differences between Dataframe, Dataset, and RDD in Apache Spark?

火花模式rdd到RDD

[英]spark schema rdd to RDD

Spark SQL-更新DataFrame行/列值而不转换为RDD

[英]Spark SQL - Update DataFrame Rows/Column values without converting as RDD

使用java将pairRDD转换为spark中的数据集

[英]Converting pairRDD to dataset in spark using java

Java Spark RDD在另一个RDD中？

[英]Java Spark RDD in an other RDD?

Spark 2.2.0 API：我应该更喜欢使用Groupby结合Aggregate的Dataset或使用ReduceBykey结合RDD的数据集

[英]Spark 2.2.0 API: Which one should i prefer Dataset with Groupby combined with aggregate or RDD with ReduceBykey

未找到Spark RDD类

[英]Spark RDD Class not Found

Spark：将RDD映射到RDD并返回nullpointer异常

[英]Spark: Mapping RDD to RDD returning nullpointer Exception

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 在 Java Spark 中将 RDD 转换为数据集从String Spark Java创建数据集（无RDD） Apache Spark 中的 Dataframe、Dataset 和 RDD 有什么区别？火花模式rdd到RDD Spark SQL-更新DataFrame行/列值而不转换为RDD 使用java将pairRDD转换为spark中的数据集 Java Spark RDD在另一个RDD中？ Spark 2.2.0 API：我应该更喜欢使用Groupby结合Aggregate的Dataset或使用ReduceBykey结合RDD的数据集未找到Spark RDD类 Spark：将RDD映射到RDD并返回nullpointer异常

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM