![](/img/trans.png)
[英]Removing rows in a nested struct in a spark dataframe using PySpark (details in text)
[英]How to save a spark dataframe as a text file without Rows in pyspark?
我有一个包含 ['name', 'age'] 列的数据df.rdd.saveAsTextFile("..")
“df”,我使用df.rdd.saveAsTextFile("..")
保存了数据df.rdd.saveAsTextFile("..")
以将其保存为 rdd。 我加载了保存的文件,然后 collect() 给了我以下结果。
a = sc.textFile("\mee\sample")
a.collect()
Output:
[u"Row(name=u'Alice', age=1)",
u"Row(name=u'Alice', age=2)",
u"Row(name=u'Joe', age=3)"]
这不是行的 rdd。
a.map(lambda g:g.age).collect()
AttributeError: 'unicode' object has no attribute 'age'
有没有办法将数据框保存为没有列名和行关键字的普通 rdd? 我想保存数据框,以便在加载文件和收集时应该给我如下:
a.collect()
[(Alice,1),(Alice,2),(Joe,3)]
它是一个普通的RDD[Row]
。 问题是当您saveAsTextFile
并加载textFile
,您得到的是一堆字符串。 如果你想保存对象,你应该使用某种形式的序列化。 例如pickleFile
:
from pyspark.sql import Row
df = sqlContext.createDataFrame(
[('Alice', 1), ('Alice', 2), ('Joe', 3)],
("name", "age")
)
df.rdd.map(tuple).saveAsPickleFile("foo")
sc.pickleFile("foo").collect()
## [('Joe', 3), ('Alice', 1), ('Alice', 2)]
我认为你可以这样做:
a.map(lambda x:(x[0],x[1])).collect()
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.