更改DataFrame中的列DataType並將其傳遞到UDF-PySpark

Question

我目前正在對涉及改變幾個類型的問題Columns在一個DataFrame ，但我不知道我怎樣才能將它傳遞到一個udf ，因為我所創建的函數需要一個dictionary作為參數，因此，我不知道如何將函數傳遞到udf 。

我目前擁有的所有數據類型均為String類型，但是正如我提到的，我需要將它們更改為其他類型，例如Integer & Date 。

我的函數看起來像這樣：

def columns_types_transformer(df, reformating_dict):
    for column, new_type in reformating_dict.items():
        df = df.withColumn(column, df[column].cast(new_type))
    return df

我想通過的字典看起來像這樣：

dictionary = {'date1': DateType(), 'date2': DateType(), 'date3': DateType(), 'date4': DateType(), 'date5': DateType(), 'date6': DateType(), 'integer1': IntegerType()}

我的問題是如何將具有正確類型的字典傳遞給udf？ 我想到的另一種方法是使用SQLTransformer，但也不確定如何做到這一點。

任何幫助，將不勝感激。

Answer 1

我設法使用SQLTransformer解決了這個問題。

這就是我所做的

sqlTrans_formatter = SQLTransformer(statement="SELECT CAST(date1 AS date), CAST(date2 AS date), CAST(date3 AS date), CAST(date4 AS date), CAST(date5 AS date), CAST(date6 AS date), CAST(integer1 AS int) FROM __THIS__")

df = sqlTrans_formatter.transform(ddf)

希望對其他人也有幫助。