将RDD [CassandraRow]转换为RDD [String]
[英]convert RDD[CassandraRow] to RDD[String]
问题描述
是否可以将RDD [CassandraRow]转换为RDD [String]？ 如果是这样，使用转换后的RDD是否有任何不利之处？
1 个解决方案
解决方案1
0 已采纳 2016-09-28 18:20:16
您可以使用sqlContext从Cassandra表中读取数据，它返回一个DataFrame，并且当您使用sparkContext读取文本文件时，它返回RDD，然后可以将其转换为DataFrame。
如果您的文本文件是CSV，则Spark 2.0支持csv数据源，默认情况下会返回DataFrame。 请参阅此。.https ://spark.apache.org/releases/spark-release-2-0-0.html#new-features和https://github.com/databricks/spark-csv/issues/
更新：
https://databricks.com/blog/2015/04/13/deep-dive-into-spark-sqls-catalyst-optimizer.html
用RDD [String]加入CassandraTableScanRDD [CassandraRow]
[英]join CassandraTableScanRDD[CassandraRow] with RDD[String]
如何在不使用collec（）的情况下将scd中的RDD [CassandraRow]转换为List [CassandraRow]
[英]How to convert RDD[CassandraRow] to List[CassandraRow] in scala without using collec()
CassandraRow 的 RDD 不能使用 take-command - 为什么？
[英]RDD of CassandraRow not working with take-command - why?
Spark：如何将rdd.RDD [String]转换为rdd.RDD [（Array [Byte]，Array [Byte]）]
[英]Spark: how to convert rdd.RDD[String] to rdd.RDD[(Array[Byte], Array[Byte])]
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
怎么把RDD [CassandraRow]转换成DataFrame？
用RDD [String]加入CassandraTableScanRDD [CassandraRow]
如何在不使用collec（）的情况下将scd中的RDD [CassandraRow]转换为List [CassandraRow]
如何将RDD [Row]转换为RDD [String]
将StringBuilder转换为RDD [String]
如何在Spark中将RDD <String>转换为RDD <Vector>？
如何将案例类RDD转换为RDD[String]？
CassandraRow 的 RDD 不能使用 take-command - 为什么？
Spark：如何将rdd.RDD [String]转换为rdd.RDD [（Array [Byte]，Array [Byte]）]
列表字符串的RDD转换为行
相关标签