如何将 DataFrame 作为输入传递给 Spark UDF？

Question

我在 python 中编写了代码，例如：environment:Zeppelin

def variabletype(dataframe):
   df = dataframe
   num_col_list=['int','float']
   numerical_columns ##etc
   return cols_list_df

variabletype(df)

我需要在 pyspark dataframe 上申请相同的 function 怎么办？

Answer 1

使用您当前使用的相同方法，例如

df = spark.createDataFrame(['a', 'a', 'a', 'a', 'a', 'b', 'b', 'b', 'a', 'a', 'b'], 'string').toDF("Data")

def print_cols(df):
    print(df.columns)
    
print_cols(df)

Output：

['Data']