[英]Combine PySpark DataFrame ArrayType fields into single ArrayType field
我有一個帶有 2 個 ArrayType 字段的 PySpark DataFrame:
>>>df
DataFrame[id: string, tokens: array<string>, bigrams: array<string>]
>>>df.take(1)
[Row(id='ID1', tokens=['one', 'two', 'two'], bigrams=['one two', 'two two'])]
我想將它們組合成一個 ArrayType 字段:
>>>df2
DataFrame[id: string, tokens_bigrams: array<string>]
>>>df2.take(1)
[Row(id='ID1', tokens_bigrams=['one', 'two', 'two', 'one two', 'two two'])]
處理字符串的語法在這里似乎不起作用:
df2 = df.withColumn('tokens_bigrams', df.tokens + df.bigrams)
謝謝!
火花 >= 2.4
您可以使用concat
函數( SPARK-23736 ):
from pyspark.sql.functions import col, concat
df.select(concat(col("tokens"), col("tokens_bigrams"))).show(truncate=False)
# +---------------------------------+
# |concat(tokens, tokens_bigrams) |
# +---------------------------------+
# |[one, two, two, one two, two two]|
# |null |
# +---------------------------------+
要在其中一個值為NULL
時保留數據,您可以與array
coalesce
:
from pyspark.sql.functions import array, coalesce
df.select(concat(
coalesce(col("tokens"), array()),
coalesce(col("tokens_bigrams"), array())
)).show(truncate = False)
# +--------------------------------------------------------------------+
# |concat(coalesce(tokens, array()), coalesce(tokens_bigrams, array()))|
# +--------------------------------------------------------------------+
# |[one, two, two, one two, two two] |
# |[three] |
# +--------------------------------------------------------------------+
火花 < 2.4
不幸的是,在一般情況下連接array
列你需要一個 UDF,例如像這樣:
from itertools import chain
from pyspark.sql.functions import col, udf
from pyspark.sql.types import *
def concat(type):
def concat_(*args):
return list(chain.from_iterable((arg if arg else [] for arg in args)))
return udf(concat_, ArrayType(type))
可以用作:
df = spark.createDataFrame(
[(["one", "two", "two"], ["one two", "two two"]), (["three"], None)],
("tokens", "tokens_bigrams")
)
concat_string_arrays = concat(StringType())
df.select(concat_string_arrays("tokens", "tokens_bigrams")).show(truncate=False)
# +---------------------------------+
# |concat_(tokens, tokens_bigrams) |
# +---------------------------------+
# |[one, two, two, one two, two two]|
# |[three] |
# +---------------------------------+
在 Spark 2.4.0(Databricks 平台上的 2.3)中,您可以使用 concat 函數在 DataFrame API 中本地執行此操作。 在您的示例中,您可以這樣做:
from pyspark.sql.functions import col, concat
df.withColumn('tokens_bigrams', concat(col('tokens'), col('bigrams')))
這是相關的jira。
我使用的是 Spark < 2.4 並且上述解決方案對我不起作用,出現錯誤“函數 concat 的輸入應該具有 StringType 或 BinaryType”。 這對我有用:
from pyspark.sql import functions as F
df.select("*",F.array(F.concat_ws(',', col('tokens'), col('bigrams))).\
alias('concat_cols'))
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.