[英]How to convert DataFrame to RDD in Scala?
有人可以分享一下如何将dataframe
转换为RDD
吗?
只是:
val rows: RDD[Row] = df.rdd
如果要将行映射到不同的RDD元素,请使用df.map(row => ...)
将数据帧转换为RDD。 例如
df.map(row => (row(1), row(2)))
给出一个配对的RDD,其中df的第一列是键,df的第二列是值。
我只是在找我的答案,发现这篇文章。
Jean的答案绝对正确,加上“df.rdd”将返回RDD [行]。 一旦得到RDD,我需要应用split()。 为此我们需要将RDD [Row}转换为RDD [String]
val opt=spark.sql("select tags from cvs").map(x=>x.toString()).rdd
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.