Spark DStream.transform（）。foreachRDD（）與DStream.foreachRDD（）
[英]Spark DStream.transform().foreachRDD() vs DStream.foreachRDD()
問題描述
因此，我想知道首先在直接流上應用轉換然后調用foreachRDD而不是僅進行后者是否會有顯着差異。
1 個解決方案
解決方案1
0 2017-06-14 13:24:49
所不同的是在調用你做的改造 transform() 從文檔開始 ， transform需要一個函數： transform（func） 。 結果將根據func的實現而有所不同。
用Spark的術語簡化DAG：
DStream.transform（）。foreachRDD（）是Transformation-> Action
DStream.foreachRDD（）只是一個動作
火花流DStream映射與foreachRDD相比，轉換效率更高
[英]spark streaming DStream map vs foreachRDD, which is more efficient for transformation
通過Spark Streaming在DStream.transform（）中使用SQL？
[英]use SQL in DStream.transform() over Spark Streaming?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
DStream.foreachRDD函數的含義是什么？
火花流DStream映射與foreachRDD相比，轉換效率更高
通過Spark Streaming在DStream.transform（）中使用SQL？
rdd操作將在DStream foreachRDD函數中暫停
Spark Map vs foreachRdd
Spark FileStreaming無法與foreachRDD一起使用
Spark Streaming DStream元素與RDD
Spark：從單個DStream中獲取多個DStream
在Spark Streaming中緩存DStream
如何在Spark中緩存dstream
相關標簽