我對鑲木地板文件和 python 完全陌生，誰能告訴我如何讀取 pyspark 中帶有標題的鑲木地板文件

Question

我對鑲木地板文件和 python 完全陌生，誰能告訴我如何讀取 pyspark 中帶有標題的鑲木地板文件，以及如何指定其他選項，例如我們在 csv 文件中的其他選項：

df = spark.read.load("examples/src/main/resources/people.csv",
                     format="csv", sep=":", inferSchema="true", header="true")

Answer 1

Parquet文件中將包含column names in them我們在讀取 parquet 文件時不需要指定header等選項。

要讀取鑲木地板文件：

#read parquet file
df=spark.read.parquet("<parquet_file_path>")

#or spark defaultly reads data in parquet format
df=spark.read.load("<parquet_file_path>")

#see data from the dataframe
df.show()