如何將 DataFrame 作為輸入傳遞給 Spark UDF？

Question

我在 python 中編寫了代碼，例如：environment:Zeppelin

def variabletype(dataframe):
   df = dataframe
   num_col_list=['int','float']
   numerical_columns ##etc
   return cols_list_df

variabletype(df)

我需要在 pyspark dataframe 上申請相同的 function 怎么辦？

Answer 1

使用您當前使用的相同方法，例如

df = spark.createDataFrame(['a', 'a', 'a', 'a', 'a', 'b', 'b', 'b', 'a', 'a', 'b'], 'string').toDF("Data")

def print_cols(df):
    print(df.columns)
    
print_cols(df)

Output：

['Data']