pyspark 搜索 dataframe 并随机 select 值添加到新的 Z6A8064B5DF479455507DZ55C

Question

假设我有两个数据框： df ， grp_df是 df.groupby(["region"]).set_list()

df

 user        item        region
 james        I1         Canada
  amy         I5         Germany
 chris        I33        U.S.

grp_df

  region          Item_lst
  Canada         [I1, I2,... In]
  Germany        [ I3, I5, ... In]
  U.S.           [I33, I22, I11]
  ...             ...

对于每个用户，我想 select 在同一地区之前未购买的新商品并将其添加到新的 pyspark dataframe。

新的_df

user      item        region
james       I2        Canada
amy         I3        Germany
chris       I22        U.S.
                 

在 pyspark 中执行此操作的最有效方法是什么？

我的方法：

df = df.join(grp_df, ["region"], "left")

def get_neg_sample(item, item_lst):
    return np.random.choice(item_lst.remove(item))

get_neg_sample_udf = udf(get_neg_sample, IntegerType())

df.withColumn("neg_item", get_neg_sample_udf("item", "item_lst))

Answer 1

您正在寻找的 function 是array_contains ，您可以将其与 join 一起使用以获得您想要的结果

val newDf = df.join(gdf,df.col("country")===gdf.col("country") && !array_contains(gdf.col("item_list"),df.col("item")))

Answer 2

对于 spark 2.4+，您可以使用shuffle和array_remove 。

new_df = df.join(grp_df, 'region').select('region', 'user', F.expr('shuffle(array_remove(Item_lst, item))[0]').alias('item'))
new_df.show(truncate=False)