使用 MLP 算法進行 k 折交叉驗證

Question

我有一個數據集，分為訓練和測試部分。 我的任務是訓練它並使用 k 折交叉驗證評估我的 model。 我對任務聲明有點困惑。 據我所知，k-dold 交叉驗證的重點是通過使用所有數據進行訓練和測試，在有限的數據樣本上評估 model。 請告訴我我的算法是否正確：

1. 連接我的數據集的測試和訓練部分。
2. 將整個數據集拆分為 k 個部分。
3. 使用 MLP 在我的數據集的所有部分上訓練我的 model，除了一個，然后在左側進行測試。 保留評估分數。
4. 計算平均評價分數。

Answer 1

是的，你做得對。 使用 K 折交叉驗證的全部意義在於我們的數據有限，它確保來自原始數據集的每個觀察結果都有機會出現在訓練和測試集中。

你提到的步驟：

1. 將整個數據隨機分成 k 折（k 的值不能太小或太高，理想情況下我們根據數據大小選擇 5 到 10）。

2. 然后使用 K-1 折擬合 model 並使用剩余的第 K 折驗證 model。 保存分數和錯誤。

3. 重復這個過程，直到每個 K-fold 都作為測試集。 然后取你記錄的分數的平均值。 這將是 model 的性能指標。

對第 1 點進行編輯：K 的較高值導致 model 的偏差較小，但較大的方差可能導致過度擬合，因為 K 的較低值類似於訓練-測試拆分方法。 因此，我們將 k 值選擇在 5 到 10 之間。您可以嘗試使用這些值來獲得更好的性能指標。