[英]Limiting number of collect_list items in spark scala
我有代码说明
db.groupBy("ids")
.agg(collect_list("names") as "alias")
.select("ids", "alias")
但是,有些行的别名只有 1 个条目大,而其他可能是 200 个条目。
如何将 > 30 个条目的条目限制为最多 30 个条目?
您可以使用slice函数对数组进行子集化。
db.groupBy("ids")
.agg(slice(collect_list("names"), 1, 30) as "alias")
.select("ids", "alias")
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.