如何使用libSVM（RBF內核）選擇C和gamma AFTER網格搜索以獲得最佳可能的推廣？

Question

我知道有很多問題要求為SVM選擇“最佳”C和gamma值（RBF內核）。 標准答案是網格搜索，但是，我的問題在網格搜索結果之后開始。 讓我解釋：

我有一個10個主題的數據集，我在其上執行假一個主題xfold驗證意味着我對每個左外主題執行網格搜索。 為了不對此訓練數據進行優化，我不希望通過在所有10個模型上建立平均精度來選擇最佳C和伽瑪參數，並搜索最大值。 考慮到xfold中的一個模型，我只能對該模型的訓練數據執行另一個xfold（不涉及遺漏的驗證主題）。 但你可以想象計算工作量，我沒有足夠的時間用於此。

由於對10個模型中的每個模型的網格搜索 產生了大范圍的良好C和伽馬參數（精度差異僅為2-4％，見圖1），我想到了一種不同的方式。

我在網格中定義了一個區域，該區域僅包含與該網格的最大精度相差2％的精度。 差值高於2％的所有其他精度值均設置為零（參見圖2）。 我為每個模型執行此操作，並在每個模型的區域之間構建交叉。 這導致C和γ值的小得多的區域將產生在最大值的2％內的精度。 每種型號的准確性。 但是，范圍仍然很大。 所以我考慮選擇具有最低C的C-gamma對，因為這意味着我距離過度擬合最遠，並且更接近於良好的泛化。 我能這樣說嗎？

---

我通常如何在這個C-gamma對區域中選擇C和gamma，這些都證明了我的分類器在所有10個模型中的可靠調整？ 我應該專注於最小化C參數嗎？ 或者我應該專注於最小化C和伽馬參數？

---

我在這里找到了一個相關的答案（ 當使用RBF內核SVM時，c或gamma的值是否有問題？ ）說高C和高gamma的組合意味着過度擬合。 我知道伽瑪的值會改變數據點周圍的高斯曲線的寬度，但我仍然無法理解它在數據集中的實際意義。

這篇文章讓我想到了另一個想法。 我可以使用與數據點數量相關的SV數作為標准來在所有C-gamma對之間進行選擇嗎？ 較低（SV數/數據點數）是否意味着更好的推廣？ 我願意放松准確性，因為它不應該影響我感興趣的結果，如果我得到更好的概括（至少從理論的角度來看）。

Answer 1

由於線性內核是rbf內核的特例。 有一種使用線性SVM首先調整C的方法。 然后雙線性調整CG對以節省時間。

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.141.880&rep=rep1&type=pdf