插入：選擇並行后端的正確核心數

Question

我正在嘗試使用caret在Ubuntu機器上使用glmnet實現來交叉驗證彈性網絡模型，該機器具有8個CPU內核和32 GB RAM。 當我順序訓練時，我在一個核心上最大化CPU使用率，但平均使用50％的內存。

• 當我使用doMC(cores = xxx) ，我是否需要擔心只注冊xxx = floor（100 / y）內核，其中y是使用單個內核（以％為單位）時模型的內存使用量，以便沒有內存不足？

• caret是否具有允許其計算出最大值的任何啟發式方法。 要使用的核心數量？

• 是否有任何啟發式方法可用於動態調整內核數量，以便在不同大小的數據和模型復雜性中最佳地使用我的計算資源？

---

編輯：

FWIW，嘗試使用8個核心使我的機器沒有響應。 顯然， caret不會檢查產生xxx進程是否可能存在問題。 然后，我如何動態選擇核心數？

Answer 1

顯然，插入符號不會檢查產生xxx進程是否可能存在問題。

真正; 它無法預測您計算機的未來性能。

您應該了解在順序運行時用於建模的內存量。 您可以開始訓練並使用top或其他方法來估計使用的ram數量然后終止該過程。 如果按順序依次使用X GB的RAM，則在M核上運行將需要X（M + 1） GB的RAM。