![](/img/trans.png)
[英]how to groupby-apply-aggregate back to a dataframe in Python Pandas?
[英]How to apply groupBy and aggregate functions to a specific window in a PySpark DataFrame?
我想将groupBy
和随后的agg
function 应用于 PySpark DataFrame,但仅限于特定的 Z2FBF245B8C35CBD276。 这最好用一个例子来说明。 假设我有一个名为df
的数据集:
df.show()
+-----+----------+----------+-------+
| ID| Timestamp| Condition| Value|
+-----+----------+----------+-------+
| z1| 1| 0| 50|
|-------------------------------------------|
| | z1| 2| 0| 51| |
| | z1| 3| 0| 52| |
| | z1| 4| 0| 51| |
| | z1| 5| 1| 51| |
| | z1| 6| 0| 49| |
| | z1| 7| 0| 44| |
| | z1| 8| 0| 46| |
|-------------------------------------------|
| z1| 9| 0| 48|
| z1| 10| 0| 42|
+-----+----------+----------+-------+
特别是,我想做的是将一种 +- 3 行的 window 应用于列Condition == 1
的行(即在这种情况下为第 5 行)。 在那个 window 中,如上面的 DataFrame 所示,我想找到列Value
的最小值和列Timestamp
的对应值,从而得到:
+----------+----------+
| Min_value| Timestamp|
+----------+----------+
| 44| 7|
+----------+----------+
有谁知道如何解决这个问题?
提前谢谢了
马里安萨斯
您可以使用跨越前 3 行和后 3 行的 window,获取最小值并过滤条件:
from pyspark.sql import functions as F, Window
df2 = df.withColumn(
'min',
F.min(
F.struct('Value', 'Timestamp')
).over(Window.partitionBy('ID').orderBy('Timestamp').rowsBetween(-3,3))
).filter('Condition = 1').select('min.*')
df2.show()
+-----+---------+
|Value|Timestamp|
+-----+---------+
| 44| 7|
+-----+---------+
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.