將RDD [CassandraRow]轉換為RDD [String]
[英]convert RDD[CassandraRow] to RDD[String]
問題描述
是否可以將RDD [CassandraRow]轉換為RDD [String]？ 如果是這樣，使用轉換后的RDD是否有任何不利之處？
1 個解決方案
解決方案1
0 已采納 2016-09-28 18:20:16
您可以使用sqlContext從Cassandra表中讀取數據，它返回一個DataFrame，並且當您使用sparkContext讀取文本文件時，它返回RDD，然后可以將其轉換為DataFrame。
如果您的文本文件是CSV，則Spark 2.0支持csv數據源，默認情況下會返回DataFrame。 請參閱此。.https ://spark.apache.org/releases/spark-release-2-0-0.html#new-features和https://github.com/databricks/spark-csv/issues/
更新：
https://databricks.com/blog/2015/04/13/deep-dive-into-spark-sqls-catalyst-optimizer.html
用RDD [String]加入CassandraTableScanRDD [CassandraRow]
[英]join CassandraTableScanRDD[CassandraRow] with RDD[String]
如何在不使用collec（）的情況下將scd中的RDD [CassandraRow]轉換為List [CassandraRow]
[英]How to convert RDD[CassandraRow] to List[CassandraRow] in scala without using collec()
CassandraRow 的 RDD 不能使用 take-command - 為什么？
[英]RDD of CassandraRow not working with take-command - why?
Spark：如何將rdd.RDD [String]轉換為rdd.RDD [（Array [Byte]，Array [Byte]）]
[英]Spark: how to convert rdd.RDD[String] to rdd.RDD[(Array[Byte], Array[Byte])]
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
怎么把RDD [CassandraRow]轉換成DataFrame？
用RDD [String]加入CassandraTableScanRDD [CassandraRow]
如何在不使用collec（）的情況下將scd中的RDD [CassandraRow]轉換為List [CassandraRow]
如何將RDD [Row]轉換為RDD [String]
將StringBuilder轉換為RDD [String]
如何在Spark中將RDD <String>轉換為RDD <Vector>？
如何將案例類RDD轉換為RDD[String]？
CassandraRow 的 RDD 不能使用 take-command - 為什么？
Spark：如何將rdd.RDD [String]轉換為rdd.RDD [（Array [Byte]，Array [Byte]）]
列表字符串的RDD轉換為行
相關標簽