Spark - tsv 文件讀取為空

Question

我有一個使用“\\t”作為分隔符的 .csv 文件，我試圖將其解讀為：

DF =  sqlc.read.format('csv').option('header', 'true').option('delimiter', '\t').load('file.csv')

某些標題列名稱和數據值確實包含空格，但從不包含制表符。 該文件的頭被正確讀入DF的頭中，但沒有數據被讀入DataFrame。 我究竟做錯了什么？

Answer 1

您是否嘗試過使用SparkSession API？

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
# spark_context = spark.sparkContext
csv = spark.read.csv(csv_path, sep="\t")
csv.show()

文檔在這里： https : //spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=csv#pyspark.sql.DataFrameReader.csv