如何在 vawpal wabbit 中使用多核選項

Question

我在一台機器（8 核 Macbook pro）上運行 vawpal wabbit（ksvm 選項）。 我怎樣才能讓它使用所有的 8 個內核？

從 github 頁面上的鏈接視頻 (videolectures.net) 我看到有一個--thread-bits選項來控制線程數，但vw --help沒有列出這個選項，所以我想它不再存在了最新版本。

使用 vobpal wobbit 的多核功能的正確方法是什么。 我不想在多個節點上運行它，但我有興趣在單台機器上使用多核功能。

Answer 1

vavepal-wabbit 是“多核”嗎？

只是部分。 它默認使用 2 個內核（使用 C++ std::thread）：

• IO/解析線程：用於散列功能的 murmur-hash3，用於解析數字的 fast-atof，以及 parse-example
• 學習線程（SGD 預測、估計誤差和更新循環）

這些都不會像真正的並行化那樣使示例出現亂序。 數據示例全部按順序處理，但在（短）並行管道中。

禁用多線程（切換到單核）：

使用選項：-- --onethread

因此，您的問題的總體答案是，目前的選項不允許您並行超過 2 個內核。

集群模式又名 all-reduce

正如您提到的，集群模式支持數據分區和處理集群中單獨節點上的每個部分。

--thread-bits ？

搜索（最新）源代碼，我找不到任何對--thread-bits引用。