[英]PySpark - Add a new column with a Rank by User
我有這個PySpark DataFrame
df = pd.DataFrame(np.array([
["aa@gmail.com",2,3], ["aa@gmail.com",5,5],
["bb@gmail.com",8,2], ["cc@gmail.com",9,3]
]), columns=['user','movie','rating'])
sparkdf = sqlContext.createDataFrame(df, samplingRatio=0.1)
user movie rating
aa@gmail.com 2 3
aa@gmail.com 5 5
bb@gmail.com 8 2
cc@gmail.com 9 3
我需要添加一個按用戶排名的新列
我想要這個輸出
user movie rating Rank
aa@gmail.com 2 3 1
aa@gmail.com 5 5 1
bb@gmail.com 8 2 2
cc@gmail.com 9 3 3
我怎樣才能做到這一點?
這里真的沒有優雅的解決方案。 如果你有,你可以嘗試這樣的事情:
lookup = (sparkdf.select("user")
.distinct()
.orderBy("user")
.rdd
.zipWithIndex()
.map(lambda x: x[0] + (x[1], ))
.toDF(["user", "rank"]))
sparkdf.join(lookup, ["user"]).withColumn("rank", col("rank") + 1)
窗口函數替代更簡潔:
from pyspark.sql.functions import dense_rank
sparkdf.withColumn("rank", dense_rank().over(w))
但效率極低, 在實踐中應該避免 。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.