Spark Streaming我們可以在執行程序上創建線程嗎

Question

我對Spark Streaming有疑問。 在我的Spark Streaming應用程序中，我有一個代碼作為任務運行在worker / executor上（在處理RDD時在foreachPartition（）內部）。 我想創建一個線程作為此代碼的一部分，從啟動執行器到執行器生效為止，它將在執行器/工作器上連續運行，聽一些外部事件並據此采取一些措施。

這可能在火花流中完成嗎？

Answer 1

您可以嘗試將其放入自定義接收中。 您可以在實現自定義接收器中找到一些詳細信息。 否則，它不太適合Spark流。

可以在驅動器上啟動線程，但我知道這不是您想要的。