Vowpal Wabbit公式中的自適應更新

Question

我正在查看以下2個關於使用--adaptive標志時大眾所做更新的演示。 看來這些是不同的。

1. http://www.slideshare.net/jakehofman/technical-tricks-of-vowpal-wabbit
2. https://github.com/JohnLangford/vowpal_wabbit/wiki/v6.1_tutorial.pdf

有了這兩個描述（分別）：

＃1

＃2

我的問題：

1. 哪些是正確的（或者它們是否相同）？

2. 對於數字1，似乎在分母中使用來自t + 1示例的梯度。 這是怎么做到的？ 這是否意味着新的重量（標記為w_i）是重量，例如t + 1？

Answer 1

正如您所注意到的，第一個演示文稿包含AdaGrad公式中的錯誤/拼寫錯誤。 公式應為 w_ {i，t + 1}：= w_ {i，t} - （\\ eta * g_ {i，t} / \\ sqrt {sum}），其中sum = \\ sum_ {t'= 1} ^ t g_ {i，t'} ^ 2。

在VowpalWabbit中，默認情況下--adaptive （對應於AdaGrad構思）處於啟用狀態。 但是 - --normalized和--invariant默認情況下也是開啟的，這意味着除了普通的AdaGrad之外，還會應用更多的技巧/改進。 所有這些技巧的相互作用都是復雜的，並沒有單一的幻燈片描述所有方面，因此唯一的參考是源代碼（ gd.cc ）。

哪些是正確的（或者它們是否相同）？

我認為它們不相同，但它們是復雜代碼的不同“層”。 我認為的軌33（你舉為＃2） 第二個演示對應的滑動件31（你不舉） 第一個演示文稿 ，但我不知道。