簡體 English 中英

Scala Spark RDD當前分區數

[英]Scala Spark RDD current number of partitions

原文 2015-07-04 19:11:30 8 2 scala/ apache-spark

如何確定Scala中任意RDD的分區數？

我知道PySpark RDD在其API中定義了getNumPartitions，但是我找不到Scala方面的等價物。

2 個解決方案

至少在Spark 1.6.1中這是有效的

rdd.getNumPartitions()

它應該是rdd.partitions.length 。

Spark RDD默認分區數

[英]Spark RDD default number of partitions

Scala-對RDD分區進行排序

[英]Scala - sort RDD partitions

如何在不產生 .rdd 成本的情況下檢查 Spark DataFrame 的分區數

[英]How to check the number of partitions of a Spark DataFrame without incurring the cost of .rdd

如何使用火花/標量獲取RDD中當前位置前面的平均值

[英]How to get the avg values in front of the current position in a RDD with spark/scala

Spark Scala RDD遍歷

[英]Spark scala RDD traversing

reduceByKey RDD 火花 scala

[英]reduceByKey RDD spark scala

Spark-Scala RDD

[英]Spark-Scala RDD

Scala / Spark-聚合RDD

[英]Scala/Spark - Aggregating RDD

scala spark中的RDD過濾器

[英]RDD filter in scala spark

在 spark 和 scala 中 Rdd 到 json

[英]Rdd to json in spark and scala

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 Spark RDD默認分區數 Scala-對RDD分區進行排序如何在不產生 .rdd 成本的情況下檢查 Spark DataFrame 的分區數如何使用火花/標量獲取RDD中當前位置前面的平均值 Spark Scala RDD遍歷 reduceByKey RDD 火花 scala Spark-Scala RDD Scala / Spark-聚合RDD scala spark中的RDD過濾器在 spark 和 scala 中 Rdd 到 json

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM