如何在Spark中對數據框的列執行二進制“或”操作

Question

讓我解釋一下這個場景：

我正在創建一個掩碼值。 即

val Date = 20170501
val day = Date.toString.substring(6, 8)
val mask = pow(2, day.toInt -1)

接下來，我正在創建dataframe withColumn使用withColumn即創建額外的列

val t1 = df.withColumn("C1", when($"a1" > 0 , $"C1" | mask.toInt).otherwise($"C1"))

但是當我在表演| 使用Dataframe列操作它給出了錯誤，因為“ value | is not a member of org.apache.spark.sql.ColumnName ”。

早期的幫助將不勝感激。

提前致謝。

Answer 1

你可以使用由Column實現的bitwiseOR ：

val t1 = df.withColumn("C1", when($"a1" > 0 , $"C1".bitwiseOR(mask.toInt)).otherwise($"C1"))