簡體   English   中英

單節點集群中的 h2o 是進行並行處理還是僅在多節點集群中進行並行處理?

[英]Does h2o in a single node cluster do parallel processing or is it only in multi node cluster that parallel processing kicks in?

我們在 AWS 中將 h2o 作為單節點集群運行:

R is connected to the H2O cluster: 
    H2O cluster uptime:         5 seconds 217 milliseconds 
    H2O cluster timezone:       Etc/UTC 
    H2O data parsing timezone:  UTC 
    H2O cluster version:        3.17.0.4153 
    H2O cluster version age:    10 months and 4 days !!! 
    H2O cluster name:           h2o-8ba55ebb-7d49-41bd-b4e2-d7be45b5f53e 
    H2O cluster total nodes:    1 
    H2O cluster total memory:   22.20 GB 
    H2O cluster total cores:    8 
    H2O cluster allowed cores:  8 
    H2O cluster healthy:        TRUE 
    H2O Connection ip:          localhost 
    H2O Connection port:        54321 
    H2O Connection proxy:       NA 
    H2O Internal Security:      FALSE 
    H2O API Extensions:         XGBoost, Algos, AutoML, Core V3, Core V4 
    R Version:                  R version 3.4.3 (2017-11-30) 

並使用 nthreads -1 從 java 啟動 h2o:

java -ea -Xmx25g -jar /path/to/h2o.jar -name unique-cloud-name 
     -ip localhost -ice_root /tmp/h2o-tmp -nthreads -1

我們想知道 h2o 是否在單節點集群中進行並行處理/使用所有可用和允許的內核。 當我們在命令行中執行 top -H 時,我們確實看到了 8 個活動的 java 進程,並想知道它們是否來自 h2o 並幫助生成我們的模型。

在此處輸入圖片說明

是的,H2O 將使用單個節點上的所有內核來訓練一個模型。

nthreads 允許您顯式設置控制每個進程的並行量的線程池大小。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM