Spark：如何迭代 TransformedDStream、DataFrame、RDD、DStream？

Question

我从 TCP 端口获取数据流，其中包括日期时间戳 info1 info2。 数据在一行中，我想拆分它。

我试图遍历 DStream。 我收到以下错误：

类型错误：'DStream' object 不可迭代

然后我尝试拆分并创建 dataframe。 我收到以下错误：

类型错误：'TransformedDStream' object 不可迭代

我还尝试将数据的 stream 直接存储在 dataframe 中，但出现错误：

'DataFrame' object 不是'可迭代'

我想要的最终结果是获取一列日期，一列时间戳，一列 info1，一列 info2，并对数据执行 SQL 查询。

我非常感谢您的帮助。

Answer 1

我从 TCP 端口获取数据流，其中包括日期时间戳 info1 info2。 数据在一行中，我想拆分它。

我试图遍历 DStream。 我收到以下错误：

类型错误：'DStream' object 不可迭代

然后我尝试拆分并创建 dataframe。 我收到以下错误：

类型错误：'TransformedDStream' object 不可迭代

我还尝试将数据的 stream 直接存储在 dataframe 中，但出现错误：

'DataFrame' object 不是'可迭代'

我想要的最终结果是获取一列日期，一列时间戳，一列 info1，一列 info2，并对数据执行 SQL 查询。

我非常感谢您的帮助。