如何从pyspark数据帧中将列值输出为字符串？

Question

我正在使用数据集，并想创建一个名为'text'的特定列的所有值的textblob。 我尝试了以下方法：

xp = positive.select("text").collect().map(_(0)).toList
#positive is the dataframes name, 'text' is the column name
xp = " ".join(positive['text])

到目前为止，这些方法都没有对我有用，并且返回错误

'list' object has no attribute 'map'
Traceback (most recent call last):
AttributeError: 'list' object has no attribute 'map'

Answer 1

您似乎正在使用Scala语法。 collect返回的list包含Row对象； 您可以使用生成器表达式简单地访问每个Row的text属性，而不是使用map （在任何情况下都不是list的方法）：

' '.join(row.text for row in positive.select('text').collect())