[英]How to perform column level validation by joining one Big data frame to many small data frame in spark
[英]How to perform binary “or” operations on column of Data Frame in Spark
让我解释一下这个场景:
我正在创建一个掩码值。 即
val Date = 20170501
val day = Date.toString.substring(6, 8)
val mask = pow(2, day.toInt -1)
接下来,我正在创建dataframe
withColumn
使用withColumn
即创建额外的列
val t1 = df.withColumn("C1", when($"a1" > 0 , $"C1" | mask.toInt).otherwise($"C1"))
但是当我在表演|
使用Dataframe
列操作它给出了错误,因为“ value | is not a member of org.apache.spark.sql.ColumnName
”。
早期的帮助将不胜感激。
提前致谢。
你可以使用由Column
实现的bitwiseOR :
val t1 = df.withColumn("C1", when($"a1" > 0 , $"C1".bitwiseOR(mask.toInt)).otherwise($"C1"))
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.