[英]spark dataset filter column with conditions like pandas
我是Spark / Scala的新手。 我不知道如何使用spark数据集来过滤像pandas.loc这样的列。
熊猫代码:
data_fact = pd.read_excel(path, sheetname=sheetname_factor)
//drop some columns which have too many null value
data_fact_v1=data_fact.loc[:,((data_fact>0).sum()>len(data_fact) *0.7)]
非常感激你的帮助!
我将为此使用RDD,因为API更加灵活。 在下面的代码中,如果字段的值为null,则将每一行映射到tuple2列表,其中列名与0关联,否则为1。 然后,我将所有内容展平,并使用reduceByKey
计算每列中非空值的数量。 最后,我在原始数据框中删除了不符合您要求的列。
var data = ...
val cols = data.columns
val total = data.count
val nullMap = data.rdd
.flatMap{row => cols.filter(col => row.getAs(col) == null).map(col => (col, 1) ) }
.reduceByKey(_+_)
.collectAsMap
for(col <- cols)
if(nullMap.getOrElse(col, 0).toDouble / total < 0.7)
data = data.drop(col)
编辑其他方法:为避免数据扁平化,可以使用聚合功能
def combine(map1 : Map[String, Int], map2 : Map[String, Int]) =
map1.keySet
.union(map2.keySet)
.map(k => (k, map1.getOrElse(k, 0)+map2.getOrElse(k, 0)))
.toMap
val nullMap = data.rdd.aggregate(Map[String, Int]())(
(map, row)=> combine(map, cols.filter(col => row.getAs(col) == null).map(col => (col, 1)).toMap),
combine)
然后一样
for(col <- cols)
if(nullMap.getOrElse(col, 0).toDouble / total >= 0.3)
data = data.drop(col)
要么
val valid_columns = cols
.filter(col => nullMap.getOrElse(col, 0).toDouble / total >= 0.3)
data = data.drop(valid_columns : _*)
您可以遍历数据框的列,并删除具有多个空值的列。
val cols = data.columns
val limit = data.count * 0.7
for(mycol <- cols){
if (data.filter(col(mycol).isNotNull).count < limit){
data = data.drop(mycol)
}
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.