我們能否指定在 Vowpal Wabbit 中使用哪種算法（例如，決策樹、SVM、集成、NN）？ 或者，Automl select 是算法本身嗎？

Question

我正在嘗試閱讀 Vowpal Wabbit 的文檔，但它沒有指定如何 select 特定的學習算法（非損失），如 SVM、NN、決策樹等。一個 select 如何成為特定的學習算法？

還是算法本身取決於問題類型（回歸/分類，如 automl 類型或低代碼 ML 庫？

有一些博客顯示使用帶有-nn命令的神經網絡，但這不是文檔的一部分——這是因為它不關注特定的算法，如上所述？ 如果是這樣，Vowpal Wabbit 本質上是什么？

Answer 1

Vowpal Wabbit 基於在線學習（類似 SGD 的更新，但如果你真的需要批量優化，還有--bfgs ）和（機器學習）減少。 請參閱一些教程或論文以了解減少的想法。 許多 VW 論文也是關於 Contextual Bandit 的，它被實現為對成本敏感的一對一 (OAA) 分類的簡化（進一步簡化為回歸）。 請參閱簡化的簡單介紹或如何將二元分類簡化為回歸的簡單示例。

據我所知，VowpalWabbit 不支持決策樹或集成，但請參閱--boosting和--bootstrap 。 它不支持 SVM，但請參閱--loss_function hinge （鉸鏈損失是 SVM 的兩個關鍵概念之一）和--ksvm 。 它不支持 NN，但--nn （和相關選項）提供了非常有限的支持來模擬單個隱藏層（使用 tanh 激活函數的前饋），可以將其添加到歸約堆棧中。