Spark Streaming我们可以在执行程序上创建线程吗

Question

我对Spark Streaming有疑问。 在我的Spark Streaming应用程序中，我有一个代码作为任务运行在worker / executor上（在处理RDD时在foreachPartition（）内部）。 我想创建一个线程作为此代码的一部分，从启动执行器到执行器生效为止，它将在执行器/工作器上连续运行，听一些外部事件并据此采取一些措施。

这可能在火花流中完成吗？

Answer 1

您可以尝试将其放入自定义接收中。 您可以在实现自定义接收器中找到一些详细信息。 否则，它不太适合Spark流。

可以在驱动器上启动线程，但我知道这不是您想要的。