簡體 English 中英

SPARK：僅在每個分區中刪除重復項

[英]SPARK: dropDuplicates in every partitions only

原文 2017-02-14 07:07:27 1 1 apache-spark/ dataframe/ pyspark

我想在每個分區中dropDuplicates ，而不是完整的DataFrame。

PySpark 有可能嗎？ 謝謝。

1 個解決方案

import pyspark.sql.functions as f
withNoDuplicates = df.withColumn("partitionID", f.spark_partition_id()).dropDuplicates()

基本上你使用 spark_partition_id 添加一列分區 id 然后做不同的，它會分別考慮不同的分區

Spark dropDuplicates源代碼

[英]Spark dropDuplicates source code

Apache Spark SQL上下文dropDuplicates

[英]Apache Spark SQL context dropDuplicates

自制DataFrame聚合/ dropDuplicates Spark

[英]Homemade DataFrame aggregation/dropDuplicates Spark

Spark 如何僅在分區內加入

[英]Spark How to Join Only Within Partitions

僅覆蓋分區 spark 數據集中的某些分區

[英]Overwrite only some partitions in a partitioned spark Dataset

使用Scala在Spark中使用dropDuplicates（）和except（）方法的問題

[英]Issue with dropDuplicates() and except() method in Spark using Scala

Spark SQL DataFrame - distinct() 與 dropDuplicates()

[英]Spark SQL DataFrame - distinct() vs dropDuplicates()

基於JSON數組字段的重復

[英]spark dropDuplicates based on json array field

Hive分區到Spark分區

[英]Hive partitions to Spark partitions

Spark SQL 中 Spark Dataframe 的 dropDuplicates 等效於什么？

[英]What is the equivalent of Spark Dataframe's dropDuplicates in Spark SQL?

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 Spark dropDuplicates源代碼 Apache Spark SQL上下文dropDuplicates 自制DataFrame聚合/ dropDuplicates Spark Spark 如何僅在分區內加入僅覆蓋分區 spark 數據集中的某些分區使用Scala在Spark中使用dropDuplicates（）和except（）方法的問題 Spark SQL DataFrame - distinct() 與 dropDuplicates() 基於JSON數組字段的重復 Hive分區到Spark分區 Spark SQL 中 Spark Dataframe 的 dropDuplicates 等效於什么？

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM