將第 1 行提升為列標題 - Spark DataFrame

Question

我低於 Spark 數據框。

我想將第 1 行提升為列標題，新的 spark DataFrame 應該是

我知道這可以在熊貓中輕松完成，因為：

new_header =  pandaDF.iloc[0]
pandaDF = pandaDF[1:]
pandaDF.columns = new_header

但是不想轉換為 Pandas DF，因為必須將其保存到數據庫中，其中必須將 Pandas DF 轉換回 Spark DF，然后注冊為表，然后寫入 db。

Answer 1

嘗試使用.toDF並filter我們的列值。

Example:

#sample dataframe
df.show()
#+----------+------------+----------+
#|    prop_0|      prop_1|    prop_2|
#+----------+------------+----------+
#|station_id|station_name|sample_num|
#|       101|  Station101| Sample101|
#|       102|  Station102| Sample102|
#+----------+------------+----------+

from pyspark.sql.functions import *

cols=sc.parallelize(cols).map(lambda x:x).collect()

df.toDF(*cols).filter(~col("station_id").isin(*cols)).show()
#+----------+------------+----------+
#|station_id|station_name|sample_num|
#+----------+------------+----------+
#|       101|  Station101| Sample101|
#|       102|  Station102| Sample102|
#+----------+------------+----------+