在 RDD PySpark 中導入 csv 文件

Question

我們有一個名為 survey.csv 的 csv 文件，我們需要將它加載到一個 rdd 中。

我們試過這個：

rdd_test = survey_results.csv.map(lambda x: (x, 1)) 

它不起作用。 任何人都可以幫忙嗎？

Answer 1

SparkContext.textFile創建一個 RDD

導入系統

from pyspark import SparkContext
 
# create Spark context
sc = SparkContext()
 
# read input text file to RDD
lines = sc.textFile("./survey.csv")

來源

有用的帖子