如何從pyspark數據幀中將列值輸出為字符串？

Question

我正在使用數據集，並想創建一個名為'text'的特定列的所有值的textblob。 我嘗試了以下方法：

xp = positive.select("text").collect().map(_(0)).toList
#positive is the dataframes name, 'text' is the column name
xp = " ".join(positive['text])

到目前為止，這些方法都沒有對我有用，並且返回錯誤

'list' object has no attribute 'map'
Traceback (most recent call last):
AttributeError: 'list' object has no attribute 'map'

Answer 1

您似乎正在使用Scala語法。 collect返回的list包含Row對象； 您可以使用生成器表達式簡單地訪問每個Row的text屬性，而不是使用map （在任何情況下都不是list的方法）：

' '.join(row.text for row in positive.select('text').collect())