简体繁体 English

将RDD [CassandraRow]转换为RDD [String]

[英]convert RDD[CassandraRow] to RDD[String]

原文 2016-09-28 17:58:05 2 1 scala/ apache-spark

is it possible to convert RDD[CassandraRow] to RDD[String] ? 是否可以将RDD [CassandraRow]转换为RDD [String]？ if so , is there any disadvantage of working against the converted RDD ? 如果是这样，使用转换后的RDD是否有任何不利之处？

1 个解决方案

You can use sqlContext to read data from Cassandra table, it returns an DataFrame, and when you read text file using sparkContext it returns RDD and then you can convert that to DataFrame. 您可以使用sqlContext从Cassandra表中读取数据，它返回一个DataFrame，并且当您使用sparkContext读取文本文件时，它返回RDD，然后可以将其转换为DataFrame。

If your text files are CSV, Spark 2.0 Supports csv data source, it returns an DataFrame by deafult. 如果您的文本文件是CSV，则Spark 2.0支持csv数据源，默认情况下会返回DataFrame。 Please see this.. https://spark.apache.org/releases/spark-release-2-0-0.html#new-features and https://github.com/databricks/spark-csv/issues/ 请参阅此。.https ://spark.apache.org/releases/spark-release-2-0-0.html#new-features和https://github.com/databricks/spark-csv/issues/

Update: 更新：

https://databricks.com/blog/2015/04/13/deep-dive-into-spark-sqls-catalyst-optimizer.html https://databricks.com/blog/2015/04/13/deep-dive-into-spark-sqls-catalyst-optimizer.html

怎么把RDD [CassandraRow]转换成DataFrame？ - How to convert RDD[CassandraRow] to DataFrame?

用RDD [String]加入CassandraTableScanRDD [CassandraRow] - join CassandraTableScanRDD[CassandraRow] with RDD[String]

如何在不使用collec（）的情况下将scd中的RDD [CassandraRow]转换为List [CassandraRow] - How to convert RDD[CassandraRow] to List[CassandraRow] in scala without using collec()

如何将RDD [Row]转换为RDD [String] - How to convert RDD[Row] to RDD[String]

将StringBuilder转换为RDD [String] - Convert StringBuilder to RDD[String]

如何在Spark中将RDD <String>转换为RDD <Vector>？ - How to convert a RDD<String> to a RDD<Vector> in Spark?

如何将案例类RDD转换为RDD[String]？ - How to convert case class RDD to RDD[String]?

CassandraRow 的 RDD 不能使用 take-command - 为什么？ - RDD of CassandraRow not working with take-command - why?

Spark：如何将rdd.RDD [String]转换为rdd.RDD [（Array [Byte]，Array [Byte]）] - Spark: how to convert rdd.RDD[String] to rdd.RDD[(Array[Byte], Array[Byte])]

列表字符串的RDD转换为行 - RDD of List String convert to Row

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 怎么把RDD [CassandraRow]转换成DataFrame？ - How to convert RDD[CassandraRow] to DataFrame? 用RDD [String]加入CassandraTableScanRDD [CassandraRow] - join CassandraTableScanRDD[CassandraRow] with RDD[String] 如何在不使用collec（）的情况下将scd中的RDD [CassandraRow]转换为List [CassandraRow] - How to convert RDD[CassandraRow] to List[CassandraRow] in scala without using collec() 如何将RDD [Row]转换为RDD [String] - How to convert RDD[Row] to RDD[String] 将StringBuilder转换为RDD [String] - Convert StringBuilder to RDD[String] 如何在Spark中将RDD <String>转换为RDD <Vector>？ - How to convert a RDD<String> to a RDD<Vector> in Spark? 如何将案例类RDD转换为RDD[String]？ - How to convert case class RDD to RDD[String]? CassandraRow 的 RDD 不能使用 take-command - 为什么？ - RDD of CassandraRow not working with take-command - why? Spark：如何将rdd.RDD [String]转换为rdd.RDD [（Array [Byte]，Array [Byte]）] - Spark: how to convert rdd.RDD[String] to rdd.RDD[(Array[Byte], Array[Byte])] 列表字符串的RDD转换为行 - RDD of List String convert to Row

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM