使用pyspark.ml神经网络分类器进行预处理后如何获取特征数量？

Question

我正在尝试使用pyspark.ml建立一个神经网络。 问题是我正在使用onehotencoder和其他预处理方法来转换分类变量。 我准备中的阶段是：

1. 索引分类特征
2. 使用Onehotencoder
3. 使用向量汇编器
4. 然后我申请PCA
5. 将“ pcaFeatures”提供给神经网络分类器

但是问题是我不知道在第4步之后将其分配给第5步中的分类器“图层”的要素数量。我的问题是，如何获得最终的要素数量？ 这是我的代码，我没有包括导入和数据加载部分。

stages = []
for c in Categories:
    stringIndexer = StringIndexer(inputCol= c , outputCol=c + "_indexed")
    encoder = OneHotEncoder(inputCol= c + "_indexed", outputCol=c + "_categoryVec")
    stages += [stringIndexer, encoder]

labelIndexer = StringIndexer(inputCol="Target", outputCol="indexedLabel")

final_features = list(map(lambda c: c+"_categoryVec", Categories))+Continuous


assembler = VectorAssembler(
    inputCols= final_features,
    outputCol="features")

pca = PCA(k=20, inputCol="features", outputCol="pcaFeatures")
(train_val, test_val) = train.randomSplit([0.95, 0.05])

num_classes= train.select("Target").distinct().count()

NN= MultilayerPerceptronClassifier(labelCol="indexedLabel", featuresCol='pcaFeatures', maxIter=100,
                                    layers=[????, 5, 5, num_classes], blockSize=10, seed=1234)


stages += [labelIndexer]
stages += [assembler]
stages += [pca]
stages += [NN]

pipeline = Pipeline(stages=stages)
model = pipeline.fit(train_val)

Answer 1

从docs开始 ，输入参数k是主成分的数量。

因此，在您的情况下：

pca = PCA(k=20, inputCol="features", outputCol="pcaFeatures")

功能数量为20。

更新资料

做到这一点的另一种方法是查看一个组合向量的长度。

例如，如果您想要在步骤3之后的长度：

from pyspark.sql.functions import udf, col
nfeatures = assembler.withColumn('len', udf(len, IntegerType())(col('features'))\
    .select('len').take(1)

我觉得应该有更好的方法来做到这一点，即不必调用take() 。