RBF核的情況下支持向量與精度之間的關系

Question

我正在使用RBF內核matlab函數。 當我繼續增加sigma值時，在幾個數據集上，支持向量的數量增加並且准確性增加。 在一個數據集的情況下，當我增加sigma值時，支持向量會減少，准確性也會提高。 對於RBF內核，我無法分析支持向量與准確性之間的關系。

Answer 1

支持向量的數量與准確性沒有直接關系； 它取決於數據的形狀（和您的C / nu參數）。

較高的sigma表示內核是“平坦的”高斯，因此決策邊界是“平滑的”。 較低的sigma使其成為“更尖銳的”峰值，因此決策邊界更加靈活，並且如果它們是正確的答案，則能夠重現奇怪的形狀。 如果sigma很高，則您的數據點將產生很大的影響； 如果非常低，它們的影響將很小。

因此，通常，增加sigma值將導致更多的支持向量：對於或多或少相同的決策邊界，更多的點將落在邊距內，因為點變得“模糊”。 但是，增加的sigma也意味着松弛變量“移動”點超過邊距會更加昂貴，因此分類器最終可能會得到更小的邊距和更少的SV。 當然，它也可能為您提供完全不同數量的SV的截然不同的決策邊界。

就最大程度地提高准確性而言，您應該在許多不同的C和sigma值上進行網格搜索，然后選擇一個可以在例如訓練集的3倍交叉驗證中獲得最佳性能的值。 一種合理的方法是從例如C的2.^(-9:3:18)和中median_eval * 2.^(-4:2:10) ； 這些數字是任意的，但它們是我過去成功使用的數字。