當我們在 vw-hyperopt 中指定“--algorithms=sgd”時，它是否以自適應、標准化和不變的更新運行？

Question

混淆是因為當我們在 vw 命令行中指定 --sgd 時，它運行經典的 sgd，沒有自適應、規范化和不變的更新。 那么，當我們在 vw-hyperopt 中將算法指定為 sgd 時，它是作為經典運行還是帶有特殊更新？ 是否必須在 vw-hyperopt 中指定算法？ 哪個是默認算法？ 謝謝你。

Answer 1

查看源代碼確認這里--algorithm sgd的含義只是--algorithm sgd默認值。

這與vw --sgd不同。 它不會通過將--sgd傳遞給vw來禁用默認值。 IOW：是的，自適應、標准化和不變的更新仍然有效。

另外：您可以通過查看當前目錄中由vw-hyperopt創建的日志文件來進一步驗證這一點，並驗證其中沒有--sgd選項。 此日志包括它為訓練和測試而執行的完整vw命令行，例如：

2020-09-08 00:58:45,053 INFO  [root/vw-hyperopt:239]: executing the following command (training): vw -d mydata.train -f ./current.model --holdout_off -c ... --loss_function quantile