Spark DStream.transform（）。foreachRDD（）与DStream.foreachRDD（）
[英]Spark DStream.transform().foreachRDD() vs DStream.foreachRDD()
问题描述
因此，我想知道首先在直接流上应用转换然后调用foreachRDD而不是仅进行后者是否会有显着差异。
1 个解决方案
解决方案1
0 2017-06-14 13:24:49
所不同的是在调用你做的改造 transform() 从文档开始 ， transform需要一个函数： transform（func） 。 结果将根据func的实现而有所不同。
用Spark的术语简化DAG：
DStream.transform（）。foreachRDD（）是Transformation-> Action
DStream.foreachRDD（）只是一个动作
火花流DStream映射与foreachRDD相比，转换效率更高
[英]spark streaming DStream map vs foreachRDD, which is more efficient for transformation
通过Spark Streaming在DStream.transform（）中使用SQL？
[英]use SQL in DStream.transform() over Spark Streaming?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
DStream.foreachRDD函数的含义是什么？
火花流DStream映射与foreachRDD相比，转换效率更高
通过Spark Streaming在DStream.transform（）中使用SQL？
rdd操作将在DStream foreachRDD函数中暂停
Spark Map vs foreachRdd
Spark FileStreaming无法与foreachRDD一起使用
Spark Streaming DStream元素与RDD
Spark：从单个DStream中获取多个DStream
在Spark Streaming中缓存DStream
如何在Spark中缓存dstream
相关标签