有没有办法将sql语句生成的spark数据帧转换为rdd？

Question

如果我使用以下spark sql语句：

df = spark.sql('SELECT col_name FROM table_name')

它将返回spark数据框对象。 如何将其转换为rdd？ 有没有一种方法可以直接使用sql读取表，但生成rdd而不是数据框？

提前致谢

Answer 1

df = spark.sql('SELECT col_name FROM table_name')

df.rdd ＃您可以保存它，执行转换等。

df.rdd返回的内容以pyspark.RDD行。

然后，您可以映射到该行的RDD ，将每个行转换为一个numpy向量。 我不能更具体地说明转换，因为我不知道您的向量在给定的信息下代表什么。

注意1 ： df是定义我们的数据框的变量。

注2 ：此功能自Spark 1.3起可用