在 R 中使用 quadprog 的 SVM

Question

這組練習讓學生使用 QP 求解器在 R 中求解 SVM。建議的求解器是quadprog包。 二次問題給出如下：

從關於線性 SVM 的說明來看，$K=XX'$，$K$ 通常是一個奇異矩陣，最多 rank $p$，其中 $X$ 是 $n\\times p$。 但是求解器quadprog需要一個正定矩陣，而不僅僅是 PSD，代替 $K$，正如許多地方提到的（並經過驗證）。 老師有什么想法嗎？

Answer 1

我認為解決方法是在矩陣的對角元素中添加一個小數（例如 1e-7），該元素應該是正定的。 我不確定其背后的數學原理，但以下來源以及我的經驗表明該解決方案有效。

來源： https : //stats.stackexchange.com/questions/179900/optimizing-a-support-vector-machine-with-quadratic-programming

來源： https : //teazrq.github.io/stat542/hw/HW6.pdf