在循环中使用火花广播
[英]Using spark broadcast in loop
问题描述
我正在尝试在一个循环中加入多个列上的 2 个数据帧。 dataframe 之一很小，所以我使用广播。
在spark的循环中使用广播时，广播是在循环的每次迭代中发送到每个节点还是只发送一次？
0 个解决方案
为什么Spark 1.6.1中的Spark SQL不在CTAS中使用广播连接？
[英]Why is Spark SQL in Spark 1.6.1 not using broadcast join in CTAS?
Spark广播错误：超过spark.akka.frameSize考虑使用广播
[英]Spark broadcast error: exceeds spark.akka.frameSize Consider using broadcast
Spark 中的广播哈希联接和广播嵌套循环联接有什么区别？
[英]What is the Difference between Broadcast hash join and Broadcast Nested loop join in Spark?
使用 Scala 在 Spark 中使用广播变量的正确语法是什么？
[英]What is the proper syntax of using broadcast variables in Spark using Scala?
如何使用广播变量集成Spark Streaming和Kafka？
[英]How can I integrate spark streaming and kafka using broadcast variable？
在 Apache Spark 和 Elephas 中使用 Keras 模型作为广播变量
[英]Using Keras Model as a Broadcast variable with Apache Spark & Elephas
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
在Spark中的循环中使用广播变量更新值
正确使用Spark中的广播
在Apache Spark中使用广播变量
为什么Spark 1.6.1中的Spark SQL不在CTAS中使用广播连接？
Spark广播错误：超过spark.akka.frameSize考虑使用广播
Spark 中的广播哈希联接和广播嵌套循环联接有什么区别？
使用 Scala 在 Spark 中使用广播变量的正确语法是什么？
仅使用 Spark-SQL API 时广播变量的使用
如何使用广播变量集成Spark Streaming和Kafka？
在 Apache Spark 和 Elephas 中使用 Keras 模型作为广播变量
相关标签