在正在运行的Spark Streaming作业中修改窗口长度或动态创建多个Windows

Question

Spark Streaming中的窗口操作

我对在运行中的流中创建多个窗口（窗口操作）的支持有疑问。

考虑到一个使用中的火花流正在运行的用例，并且最初已经创建了一定长度的窗口，现在我们可以在正在运行的流传输作业中更改这些窗口的长度，还是可以在运行中创建更多不同长度的窗口流。

据我了解，该窗口将在驱动程序代码中初始化，然后对该窗口的操作将在工作程序上完成。

但这似乎是一个有效的用例，其中我们必须修改运行流中的窗口长度，或者可能需要在不重新启动运行流的情况下添加一些不同长度的窗口。

我一直在尝试此操作，但是怀疑在运行流中更新窗口长度。

任何帮助或建议都受到欢迎：)

Answer 1

据我了解火花流，您不能在运行时创建/修改窗口或流。 为此，您必须重新启动整个应用程序。 否则，您必须完全关闭Windows并使用一些有状态的转换，然后可以在运行时对其进行混淆。