初始工作沒有接受任何資源； 虛擬機中的火花錯誤

Question

我的本地機器中有三個 Ubuntu 虛擬機（克隆），我想用它們來制作一個簡單的集群。 一個虛擬機用作主設備，另外兩個用作從設備。 我可以成功地 ssh 來自其他每個虛擬機的每個虛擬機，並且我在主機的 conf/slaves 文件中擁有兩個從機的 ip，在每個虛擬機的 spark-env.sh 中擁有主機的 ip。當我運行start-slave.sh spark://master-ip:7077來自奴隸start-slave.sh spark://master-ip:7077 ，它們出現在 spark UI 中。 但是當我嘗試並行運行時，我總是會收到有關資源的消息。 對於測試代碼，我使用 scala shell spark-shell --master://master-ip:7077和sc.parallelize(1 until 10000).count 。

Answer 1

你的意思是警告： WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster ui to ensure that workers are registered and have sufficient memory WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster ui to ensure that workers are registered and have sufficient memory

每當應用程序向集群請求的資源超出集群當前所能提供的資源時，都會彈出此消息。

Spark 只尋找兩件事：Cores 和 Ram。 Cores 表示您的集群為執行提供的開放執行器插槽的數量。 Ram 是指運行您的應用程序的任何工作人員所需的免費 Ram 數量。

請注意，對於這兩種資源，最大值不是您系統的最大值，而是您的 Spark 配置設置的最大值。

如果您需要同時運行多個 Spark 應用程序，則需要調整每個應用程序使用的內核數量。

如果您在同一節點上使用應用程序，則需要為每個應用程序分配核心以使它們並行工作： ResourceScheduling

如果您使用虛擬機（如您的情況）：當您第一次創建虛擬機或與您的系統資源容量相關的任何內容時，只為每個虛擬機分配一個核心，因為現在4 cores for each * 2 VMs = 8 core ，您不這樣做'沒有。

這是我發現可以幫助您的教程： 在 Ubuntu 上安裝 Spark：獨立集群模式

進一步閱讀： common-spark-troubleshooting