MATLAB中Logistic回歸系數的正則化

Question

我正在嘗試使用正則化（L1或L2）實現Logistic回歸。 mnrfit（）函數未實現正則化。 是否有任何內置函數可以進行正則化，或者我必須滾動自己的正則化代碼？ 如果是這樣，有沒有我可以看的教程？ 我一直在看的論文在數學上相當密集。

Answer 1

Liblinear是我們使用的標准。

http://www.csie.ntu.edu.tw/~cjlin/liblinear/

Answer 2

L1和L2正則化都很容易實現。

L1正則化通過在每個訓練步驟后減去固定的權重絕對值來進行。 因此，如果L1正則化系數為0.01，則您的權重（1.0，-2.0，3.0）將變為（0.99，-1.99，2.99）。

L2正則化通過減去一定百分比的權重來工作。 系數為0.01意味着將權重向量乘以1。-0.01 = 0.99。 權重（1.0，-2.0，3.0）將變為（0.99，-1.98，2.97）。 這也稱為重量衰減 。

如您所見，L1正則化將較小的權重拉向0。另一側的L2正則化幾乎對較小的權重沒有影響，但會大大減少較大的權重。