簡體 English 中英

在繼續之前，Spark驅動程序是否等待所有分區從rdd.foreachPartition完成工作？

[英]Does the Spark driver wait for all partitions to finish work from rdd.foreachPartition before continuing?

原文 2019-01-16 23:52:32 6 1 scala/ apache-spark/ apache-spark-sql/ rdd

例如，如果我在Spark驅動程序中運行以下代碼：

rdd.foreachPartition(iterator => myFunc(iterator))

val x = 1

在繼續設置變量x之前，驅動程序是否會等待每個分區完成myFunc()運行？ 還是在至少一個分區仍在運行myFunc()驅動程序設置x ？

1 個解決方案

是的，它確實。 除了AsyncRDDActions之外，所有RDD方法都將阻塞，並等待相關任務完成。

Spark Scala 從 rdd.foreachPartition 取回數據

[英]Spark Scala Get Data Back from rdd.foreachPartition

Spark RDD默認分區數

[英]Spark RDD default number of partitions

從spark DStream提取的RDD沒有在分區之間分配

[英]RDD taken from spark DStream is not getting distributed between partitions

Spark + Kafka集成 - 將Kafka分區映射到RDD分區

[英]Spark + Kafka integration - mapping of Kafka partitions to RDD partitions

Scala Spark RDD當前分區數

[英]Scala Spark RDD current number of partitions

火花流如果（！rdd.partitions.isEmpty）不起作用

[英]Spark streaming if(!rdd.partitions.isEmpty) not working

如何在寫入前從 Spark Dataframe 中刪除小分區

[英]How to drop small partitions from Spark Dataframe before writing

Spark SQL Dataframes - 如果 Map 是用 RDD.collectAsMap()

[英]Spark SQL Dataframes - replace function from DataFrameNaFunctions does not work if the Map is created with RDD.collectAsMap()

Spark RDD未從Elasticsearch獲取所有源字段

[英]Spark RDD not fetching all source fields from Elasticsearch

如何在Apache Spark中跨列創建RDD分區？

[英]How to create RDD partitions across columns in Apache Spark?

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 Spark Scala 從 rdd.foreachPartition 取回數據 Spark RDD默認分區數從spark DStream提取的RDD沒有在分區之間分配 Spark + Kafka集成 - 將Kafka分區映射到RDD分區 Scala Spark RDD當前分區數火花流如果（！rdd.partitions.isEmpty）不起作用如何在寫入前從 Spark Dataframe 中刪除小分區 Spark SQL Dataframes - 如果 Map 是用 RDD.collectAsMap() Spark RDD未從Elasticsearch獲取所有源字段如何在Apache Spark中跨列創建RDD分區？

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM