在 PySpark MLLib 上将多列转换为分类变量

Question

我有一个像这样的 dataframe：

data = [
    (1,'a',"BS", 20, "M"),
    (2,'b',"MS", 20, "F"),
    (3,'c',"PHD", 21, "F"),
    (4,'d',"BS", 22, "M"),
]
schema = StructType().add("id","integer").add("name","string").add("degree","string").add("age", "integer").add("gender", "string")
df = spark.createDataFrame(data, schema=schema)

我正在尝试将性别和度数列转换为分类变量并将其传递给 PySpark 中的线性回归建模。

我正在为每个列单独使用如下所示的 StringIndexer，但我想知道有没有办法一次为列列表实现此功能？

from pyspark.ml.feature import VectorAssembler, StringIndexer, OneHotEncoder
varIdxer = StringIndexer(inputCol='degree',outputCol='varIdx').fit(df)
df = varIdxer.transform(df)