繁体 English 中英

给定时间间隔内的聚合函数

[英]Aggregate function over a given time interval spark

原文 2017-02-28 16:01:41 1 1 scala/ apache-spark/ apache-spark-sql

请，我需要您的帮助，我需要基于5分钟的时间间隔汇总数据集，并根据平均函数进行汇总，在这里您可以找到输入和预期的输出。，我们将非常感谢您的帮助，第一列是时间戳专栏，正在使用scala语言

1 个解决方案

通常，您可以每次提取5分钟时段（例如，将时间戳记作为数字，除以5分钟，然后得出结果）。

然后，您只需执行以下操作：

df.groupBy("bucket").avg($"value")

火花聚合函数超出范围，跳过或跨步

[英]Spark aggregate function over range with skip or stride

Spark 3 类型化的用户定义聚合 Function over Window

[英]Spark 3 Typed User Defined Aggregate Function over Window

关于 Spark Aggregate 的说明 Function

[英]Clarification on Spark Aggregate Function

Apache Spark中的聚合函数

[英]aggregate function in apache spark

Spark：按给定年份列表汇总值

[英]Spark : aggregate values by a list of given years

Spark Streaming - 批处理间隔与处理时间

[英]Spark Streaming - Batch Interval vs Processing time

标量火花获取每个时间间隔的平均值

[英]scala spark get the mean of each time interval

Apache Spark，如何获取时间间隔

[英]Apache Spark, How to get time interval

向数据帧中的列添加时间间隔

[英]adding time interval to a column in dataframe spark

Scala 聚合 function 与 Spark RDD 聚合 function

[英]Scala aggregate function vs. Spark RDD aggregate function

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 火花聚合函数超出范围，跳过或跨步 Spark 3 类型化的用户定义聚合 Function over Window 关于 Spark Aggregate 的说明 Function Apache Spark中的聚合函数 Spark：按给定年份列表汇总值 Spark Streaming - 批处理间隔与处理时间标量火花获取每个时间间隔的平均值 Apache Spark，如何获取时间间隔向数据帧中的列添加时间间隔 Scala 聚合 function 与 Spark RDD 聚合 function

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM