Spark流使用更少的執行程序

Question

我正在使用Spark Streaming處理一些事件。 它以1個主服務器和3個工作器的獨立模式進行部署。 我將每個執行器的核心數設置為4，將執行器的總數設置為24。這意味着將產生總共6個執行器。 我已將擴展設置為true。 因此，每台工作計算機都有2個執行程序。 我的批處理間隔是1秒。 另外，我將批次重新分配為21。其余3個用於接收方。 在運行事件時間軸時，我觀察到的是僅使用了3個執行器。 其他3個未使用。 據我所知，在火花獨立模式下沒有參數來指定執行程序的數量。 我如何發火花使用所有可用的執行程序？

Answer 1

可能您的流媒體沒有那么多分區來填充每1秒微型批處理中的所有執行程序。 嘗試使用repartition(24)作為第一個流轉換，以使用完整的Spark集群功能。