PySpark 多次分組 window

Question

大家晚上好。 我知道我們可以通過df.groupBy('col1,'col2','col3')多列進行分組我認為這種分組意味着它首先按 col1 分組，對於 col1 的每個成員，它按 col2 分組，依此類推. 如果這是錯誤的，請糾正我，我昨天基本上是從 PySpark 開始的，因為這是一個大學項目。

我需要按 4 個成員對數據進行分組：2 個字符串列和 2 個時間 window。

df.groupBy('col1,'col2','1HourTimeWindow','15MinTimeWindow')

我知道可以使用 window 像這樣df.groupBy(window("timeCol", "1 hour"))進行 groupBy，但在同一個 groupBy 中不能有超過 1 個 window。

您可以向我推薦的任何解決方案都會很棒。 提前致謝

Answer 1

通過聚合groupBy(col1, col2, 15Min)解決，然后在后續任務中按 1 小時分組。