繁体 English 中英

在火花流中，foreach和foreachRDD之间有什么区别

[英]In spark streaming, what is the difference between foreach and foreachRDD

原文 2016-09-21 11:31:39 3 1 scala/ apache-spark/ rdd/ dstream/ bigdata

例如，怎么会

x.foreach(rdd => rdd.cache())

不同于

x.foreachRDD(rdd => rdd.cache())

请注意， x在这里是DStream 。

1 个解决方案

工作没有区别，foreach（）使用 foreachRDD。 foreach（）已被弃用，在Spark 2.0中，此函数已被删除

具有foreachRDD Spark流的数据库连接

[英]DB connection with foreachRDD Spark Streaming

Spark Streaming 使用 Scala 中的 foreachRDD() 将数据保存到 MySQL

[英]Spark Streaming Saving data to MySQL with foreachRDD() in Scala

Spark Streaming：如何在foreachRDD函数中更改外部变量的值？

[英]Spark Streaming: How to change the value of external variables in foreachRDD function?

如何在Spark Streaming中从Kafka的记录中获取RDD？

[英]How to foreachRDD over records from Kafka in Spark Streaming?

使用foreach进行Spark结构化流

[英]Spark Structured Streaming with foreach

scala中未来的onComplete和foreach有什么区别？

[英]What is the difference between onComplete and foreach for a future in Scala?

Spark 流存储方法仅适用于 Duration 窗口，但不适用于自定义接收器中的 foreachRDD 工作流

[英]Spark streaming store method only work in Duration window but not in foreachRDD workflow in customized receiver

为什么即使没有新数据可用，Spark Streaming也会执行foreachRDD？

[英]Why does Spark Streaming execute foreachRDD even when no new data is available?

Spark Streaming foreach multiple writer

[英]spark streaming foreach multiple writer

spark中的转换和rdd函数有什么区别？

[英]What is difference between transformations and rdd functions in spark?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 具有foreachRDD Spark流的数据库连接 Spark Streaming 使用 Scala 中的 foreachRDD() 将数据保存到 MySQL Spark Streaming：如何在foreachRDD函数中更改外部变量的值？如何在Spark Streaming中从Kafka的记录中获取RDD？使用foreach进行Spark结构化流 scala中未来的onComplete和foreach有什么区别？ Spark 流存储方法仅适用于 Duration 窗口，但不适用于自定义接收器中的 foreachRDD 工作流为什么即使没有新数据可用，Spark Streaming也会执行foreachRDD？ Spark Streaming foreach multiple writer spark中的转换和rdd函数有什么区别？

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM