简体   繁体   English

如何使用 scala 在 spark dataframe 中将行转换为列

[英]how to convert rows into columns in spark dataframe using scala

how to convert a dataframe as below?如何转换 dataframe 如下?

a dataframe I have: dataframe 我有:

GROUP团体 ITEM物品 AMOUNT数量
group1组 1 item1项目1 100 100
group1组 1 item2项目2 200 200
group1组 1 item3第 3 项 300 300
group2组2 item1项目1 400 400
group2组2 item2项目2 500 500

expected result预期结果

GROUP团体 ITEM1项目1 ITEM2项目2 ITEM3项目3
group1组 1 100 100 200 200 300 300
group2组2 400 400 500 500

You can use pivot您可以使用 pivot

val pivotDF = df.groupBy("GROUP").pivot("ITEM").first("AMOUNT")
pivotDF.show()

You can read more about pivot here https://databricks.com/blog/2016/02/09/reshaping-data-with-pivot-in-apache-spark.html您可以在此处阅读有关 pivot 的更多信息https://databricks.com/blog/2016/02/09/reshaping-data-with-pivot-in-apache-spark.ZFC35FDC70D5FC69D2698883A

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM