Pyspark：如何读取.csv文件？

Question

我正在尝试读取具有奇怪格式的.csv 文件。

这就是我正在做的

df =  spark.read.format('csv').option("header", "true").option("delimiter", ',').load("muyFile.csv"))
df.show(5)

我不明白为什么第三个id的lonlat条目被转置。 该文件似乎有两个不同的分隔符。 您的帮助将不胜感激！

Answer 1

您的标签字段可能包含逗号作为被视为分隔符的值。 将您的数据括在引号或任何其他引号字符中（记住 set.option('quote','')）并再次读取数据。 它应该工作