感知器學習算法：算法的收斂證明，為什么|| w * || 等於1還是這個條件是必要的？

Question

我正在研究感知學習，並通過以下鏈接學習算法的收斂證明（ https://www.cse.iitb.ac.in/~shivaram/teaching/cs344+386-s2017/resources/classnote-1。 pdf ）：如圖所示的假設1（線性可分離性）。 我不知道為什么|| w * || = 1或為什么這個條件是必要的，您能幫我理解嗎？謝謝！

Answer 1

規范假設僅是為了簡化分析，很容易表明該假設不是必需的，因為刪除它實際上意味着它。

假設存在w（|| w || = Z> 0），且gamma> 0使得

yi(<w, xi>) > gamma

然后對於相同的伽瑪：

yi(<Zw/||w||, xi>) > gamma

從而

|Z| yi(<w/||w||, xi>) > gamma

因此對於w * = w / || w || （因此|| w * || = 1），並且gamma * = gamma / | Z | > 0

yi(<w*, xi>) > gamma*

得出這樣的證明：如果存在任何w（具有任意范數Z）和伽馬，那么也將存在具有范數1的w *（並且只需將原始伽馬除以Z），並且gamma * = gamma / Z。

這樣做的唯一原因是簡化證明中的常數，但是假設本身是多余的。