使用knn在r中进行变量选择

Question

我有一个数据框架（df），其中包含72个观测值和592个变量以及一个因子类变量（总共593个变量，即dim（df）= 72593）。 我正在寻找一种使用接收器工作特性（ROC）选择7个变量（包括类变量）以选择最佳k值的方法。 我想使用这七个变量来使用图形模型进行分析，但是我不想随机选择变量。 我希望我的选择在统计上是合理的。

我希望看到的结果是：

根据ROC的最大值选择变量V23，V120，V230，V333，V496，V585，V593。

即，我想对高精度的“最佳”预测变量进行分类和选择，以便可以将这些变量用于图形建模。

我尝试使用插入符号包，但是我不知道如何操纵它来选择可以用于其他分析的高精度变量（列）。

多谢你们。 确定有人了解我。

谢谢。

kutex。

Answer 1

我会做这样的事情：

library(pROC)

#' Select the N top variables with ROC analysis
#' @param response the class variable name
#' @param predictors the variables names from which to select
#' @param data must contain the predictors as columns
#' @param n the number of 
select.top.N.ROC <- function(response, predictors, data, n) {
    n <- min(n, length(predictors))
    aucs <- sapply(predictors, function(predictor) {
        auc(data[[response]], data[[predictor]])
    })
    return(predictors[order(aucs, decreasing=TRUE)][1:n])
}

top.variables <- select.top.N.ROC("class", paste("V", 1:593, sep=""), myDataFrame, 7)
cat(paste("Variables", paste(top.variables, collapse=", "), "were selected based on the highest value of ROC. "))

与任何单变量特征选择方法一样，您可以选择7个完全相关的变量，这些变量不会为您提供任何其他信息，因此选择V23就足够了。 对于多元数据集，您应该考虑改用多元特征选择方法。