在火花 dataframe python 中將二進制字符串的列轉換為 int

Question

所以我有一個 dataframe 有一列像這樣：

+----------+
|some_colum|
+----------+
|        10|
|        00|
|        00|
|        10|
|        10|
|        00|
|        10|
|        00|
|        00|
|        10|
+----------+

其中 some_colum 列是二進制字符串。

我想將此列轉換為十進制。

我試過做

data = data.withColumn("some_colum", int(col("some_colum"), 2))

但這似乎不起作用。 當我得到錯誤時：

int() can't convert non-string with explicit base

我認為 cast() 可能能夠完成這項工作，但我無法弄清楚。 有任何想法嗎？

Answer 1

我認為int不能直接應用於列。 您可以在 udf 中使用：

from org.apache.spark.sql import functions
binary_to_int = functions.udf(lambda x: int(x, 2), IntegerType())
data = data.withColumn("some_colum", binary_to_int("some_colum").alias('some_column_int'))