SPARK：仅在每个分区中删除重复项
[英]SPARK: dropDuplicates in every partitions only
问题描述
我想在每个分区中dropDuplicates ，而不是完整的DataFrame。
PySpark 有可能吗？ 谢谢。
1 个解决方案
解决方案1
1 已采纳 2017-02-14 07:41:00
import pyspark.sql.functions as f
withNoDuplicates = df.withColumn("partitionID", f.spark_partition_id()).dropDuplicates()
基本上你使用 spark_partition_id 添加一列分区 id 然后做不同的，它会分别考虑不同的分区
使用Scala在Spark中使用dropDuplicates（）和except（）方法的问题
[英]Issue with dropDuplicates() and except() method in Spark using Scala
Spark SQL DataFrame - distinct() 与 dropDuplicates()
[英]Spark SQL DataFrame - distinct() vs dropDuplicates()
Spark SQL 中 Spark Dataframe 的 dropDuplicates 等效于什么？
[英]What is the equivalent of Spark Dataframe's dropDuplicates in Spark SQL?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Spark dropDuplicates源代码
Apache Spark SQL上下文dropDuplicates
自制DataFrame聚合/ dropDuplicates Spark
Spark 如何仅在分区内加入
仅覆盖分区 spark 数据集中的某些分区
使用Scala在Spark中使用dropDuplicates（）和except（）方法的问题
Spark SQL DataFrame - distinct() 与 dropDuplicates()
基于JSON数组字段的重复
Hive分区到Spark分区
Spark SQL 中 Spark Dataframe 的 dropDuplicates 等效于什么？
相关标签