Rcaret包中的火車功能

Question

假設我有一個數據集，我想使用邏輯回歸進行4倍交叉驗證。 因此，將有4種不同的模型。 在R中，我執行了以下操作：

ctrl <- trainControl(method = "repeatedcv", number = 4, savePredictions = TRUE)
mod_fit <- train(outcome ~., data=data1, method = "glm", family="binomial", trControl = ctrl)

我認為mod_fit應該包含4組獨立的系數？ 當我輸入modfit$finalModel$我只會得到相同的一組系數。

Answer 1

我已經根據您的代碼段創建了一個可復制的示例。 關於您的代碼的第一件事要注意的是它指定了repeatedcv作為方法，但是它沒有給出任何repeats ，所以number=4參數只是告訴它要重采樣4次（這不是您問題的答案，但很重要）。

mod_fit$finalModel僅給您提供一組系數，因為它是通過對4折中每一個的未重復k折CV結果進行誇大而得出的最終模型。

您可以在resample對象中看到折疊級別的性能：

library(caret)
library(mlbench)

data(iris)

iris$binary  <- ifelse(iris$Species=="setosa",1,0)
iris$Species <- NULL

ctrl    <- trainControl(method = "repeatedcv", 
                        number = 4, 
                        savePredictions = TRUE,
                        verboseIter = T,
                        returnResamp = "all")

mod_fit <- train(binary ~., 
                 data=iris, 
                 method = "glm", 
                 family="binomial", 
                 trControl = ctrl)


# Fold-level Performance
mod_fit$resample

  RMSE Rsquared parameter Resample 1 2.630866e-03 0.9999658 none Fold1.Rep1 2 3.863821e-08 1.0000000 none Fold2.Rep1 3 8.162472e-12 1.0000000 none Fold3.Rep1 4 2.559189e-13 1.0000000 none Fold4.Rep1 

到您以前的觀點，該包裝將不會保存和顯示有關每折系數的信息。 但是，除了上面的性能信息外，確實還保存了index （樣本行的列表）， indexOut （保存行的方式）以及每折的隨機種子，因此，如果您傾向於，可以輕松地重構中間值。楷模。

mod_fit$control$seeds

 [[1]] [1] 169815 [[2]] [1] 445763 [[3]] [1] 871613 [[4]] [1] 706905 [[5]] [1] 89408 

mod_fit$control$index

 $Fold1 [1] 1 2 3 4 5 6 7 8 9 10 11 12 15 18 19 21 22 24 28 30 31 32 33 34 35 40 41 42 43 44 45 46 47 

48 49 50 51 52 53 54 59 60 61 63 [45] 64 65 66 68 69 70 71 72 73 75 76 77 79 80 81 82 84 85 86 87 89 90 91 92 93 94 95 96 98 99 100 103 104 106 107 108 110 111 113 114 116 118 119 120 [89] 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 140 140 141 142 143 145 147 149 150

 $Fold2 [1] 1 6 7 8 12 13 14 15 16 17 18 19 20 21 22 23 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 42 

44 46 48 50 51 53 54 55 56 57 58 [45] 59 61 62 64 66 67 69 70 71 72 73 74 75 76 78 79 80 81 82 83 84 85 87 88 89 90 91 92 95 96 97 98 99 101 102 104 105 106 108 109 111 112 113 115 [89] 116 117 119 120 121 122 123 127 130 131 132 134 135 137 138 139 139 140 141 142 143 144 145 146 147 148

 $Fold3 [1] 2 3 4 5 6 7 8 9 10 11 13 14 16 17 20 23 24 25 26 27 28 29 30 33 35 36 37 38 39 40 41 43 45 

46 47 49 50 51 52 54 55 56 57 58 [45] 60 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 82 83 84 85 86 88 89 93 94 97 98 99 100 101 102 103 105 106 107 108 109 110 111 112 114 115 [89] 117 118 119 121 124 125 126 128 129 131 132 133 134 135 136 137 138 139 139 144 145 146 147 148 149 150

 $Fold4 [1] 1 2 3 4 5 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 29 31 32 34 36 37 38 39 41 

42 43 44 45 47 48 49 52 53 55 56 [45] 57 58 59 60 61 62 63 65 67 68 74 77 78 79 80 81 83 86 87 88 90 91 92 93 94 95 96 97 100 101 102 103 104 105 107 109 110 112 113 114 115 116 117 118 [89] 120 122 123 124 125 126 127 128 129 130 133 136 137 138 139 140 141 142 143 143 144 146 148 149 150

mod_fit$control$indexOut

 $Resample1 [1] 13 14 16 17 20 23 25 26 27 29 36 37 38 39 55 56 57 58 62 67 74 78 83 88 97 101 102 105 109 112 115 117 137 138 139 144 146 148 $Resample2 [1] 2 3 4 5 9 10 11 24 41 43 45 47 49 52 60 63 65 68 77 86 93 94 100 103 107 110 114 118 124 125 126 128 129 133 136 149 150 $Resample3 [1] 1 12 15 18 19 21 22 31 32 34 42 44 48 53 59 61 79 80 81 87 90 91 92 95 96 104 113 116 120 122 123 127 130 140 141 142 143 $Resample4 [1] 6 7 8 28 30 33 35 40 46 50 51 54 64 66 69 70 71 72 73 75 76 82 84 85 89 98 99 106 108 111 119 121 131 132 134 135 145 147 

Answer 2

@Damien您的mod_fit將不包含4組獨立的系數。 您需要進行4折cross validation 。 這並不意味着您將有4種不同的模型。 根據此處的文檔， train功能的工作方式如下：

在重采樣循環結束時-對於您的情況，進行4次迭代4次，對於給定的一組模型參數，您將具有一組平均預測准確性度量（例如rmse，R平方）。

由於您未在train函數中使用tuneGrid或tuneLength參數，因此默認情況下， train函數將調整每個可調參數的三個值。

這意味着您最多將擁有三個模型（而不是您期望的四個模型），因此將擁有三組平均模型性能指標。

最佳模型是在回歸的情況下具有最低均方根值的模型。 該模型系數可在mod_fit$finalModel 。