繁体   English   中英

通过日期时间窗口列表在熊猫数据框上应用功能

Apply a function on a pandas dataframe through a list of datetime windows

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我想在熊猫DataFrame上计算一些聚合。 我的DataFrame没有统一的采样时间,但是我想在统一的采样时间上计算汇总。

例如:我想计算最近7天每天的平均值。 所以我希望结果数据框每天都有一个日期时间索引。

我尝试使用map-reduce结构来实现它,但是它比pandas实现慢40倍(使用某些特定情况)。

我的问题是,您是否知道使用pandas内置函数可以做到这一点?

输入DataFrame可以是:

                            a         b         c
2010-01-01 00:00:00  0.957828  0.784962  0.801670
2010-01-01 00:00:06  0.669214  0.484439  0.479857
2010-01-01 00:00:18  0.537689  0.222179  0.995624
2010-01-01 00:01:15  0.339822  0.787626  0.144389
2010-01-01 00:02:21  0.705167  0.163373  0.317012
...                       ...       ...       ...
2010-03-14 23:57:35  0.799490  0.692932  0.050606
2010-03-14 23:58:40  0.380406  0.825227  0.643480
2010-03-14 23:58:43  0.838390  0.701595  0.632378
2010-03-14 23:59:01  0.604610  0.965274  0.503141
2010-03-14 23:59:02  0.320855  0.937064  0.192669

函数应该输出如下内容:

                   a         b         c
2010-01-01  0.957828  0.784962  0.801670
2010-01-02  0.499331  0.499944  0.505271
2010-01-03  0.499731  0.498455  0.503352
2010-01-04  0.499632  0.499328  0.502895
2010-01-05  0.500119  0.500299  0.502169
...              ...       ...       ...
2010-03-10  0.499813  0.499680  0.501154
2010-03-11  0.499965  0.500226  0.501582
2010-03-12  0.500644  0.500720  0.501243
2010-03-13  0.500439  0.500264  0.501203
2010-03-14  0.500776  0.500334  0.501048

其中每个值对应于最近7天的平均值。

问题暂未有回复.您可以查看右边的相关问题.
1 在熊猫数据框上应用功能

我正在使用各种搜索算法,并且我想在数据框中使用其他列来使用它,这是代码。 *我想使用上述所有函数,以便它们使用Size的v值并创建一个随机数组和数字来计算其余的列。 目前,我正在使用手动计算并将数据附加到数据框。我的问题是如何在python代码中应用自定义函数?我目前正在将所有这 ...

2 使用函数时出现日期时间的熊猫数据框问题

我正在使用两个函数来过滤掉一些值,例如删除空值。 这些函数似乎工作正常,但在某些时候将列转换为日期类型时会出现问题。 它有效但不完全。 在这里,我将第一个函数值传递给第二个函数,因为第二个函数需要返回值作为它的参数 当我打印函数的结果时。 我得到以下信息: 但是,当我尝试通过根据时间范围选择数 ...

3 R在数据框上应用功能

我正在尝试应用此功能: 为了将因子级别[1,4)和[4,6)转换为1或2或3,在整个数据帧上。该数据帧如下所示: 我正在使用以下行进行转换: 但是,结果很奇怪: 有什么想法为什么转换没有按预期进行? ...

2015-01-11 15:02:34 2 114   r/ apply
4 如何在数据框上应用功能

我有一个示例Dataframe( df ): 我想使用findy()值以及其他变量的值在每行上应用findy()函数,并将这些值存储在新列Predicted 。 我有这些变量(值是从输出中复制的): 我要应用此功能: 我尝试使用此代码: 在lambda函数中 ...

5 在大熊猫数据框上有效应用功能

我正在尝试通过在熊猫数据框的两列之间应用函数(Jaccard字符串距离)来创建新列。 我的数据框大约有4亿行。 由于尺寸巨大,因此需要花费相当长的时间,因此我尝试将数据框拆分为多个块,应用该函数并将其重新加入。 即使这样也需要很长时间: 有什么有效的方法可以做到这一点吗? ...

6 在熊猫数据框列上应用功能

这似乎已经得到了类似的回答,但是我无法使其正常工作。 我有一个熊猫DataFrame,看起来像下面的sig_vars 。 此df具有VAF和“ Background列。 我想使用ztest函数将p值分配给新的p-value列。 每行的p值计算如下: 我已经尝试过类似的方法 ...

7 如何对熊猫中的数据框应用功能?

我有一个存储病历的df,我需要确定一个人出院后去的第一个地点。 df按ID分组。 有3个选项:(1)在一个组中,如果任何行的begin_date都与第一行的end_date相匹配,则将该位置作为第一个站点返回(如果有两行满足此条件,则两个都是正确的)。 (2)如果第一个选项不存在,则选 ...

8 在熊猫数据框中应用功能

我已经弄清楚了如何将函数应用于熊猫数据框的整个列或子部分,而不是编写一个循环修改每个单元格的循环。 执行上述操作时,是否可以编写将数据帧中的单元格作为输入的函数? 例如。 当前单元格中的函数返回前一个单元格的值乘以该前一个单元格之前的单元格的乘积。 我现在正在逐个循环地执行此操作 ...

9 熊猫应用功能擦除数据

我有用于从网络提取文本的代码。 我的函数遍历df并检查'text'的内容以确保其为空。 如果'text'已经有内容,它将pass 。 如果'text'为空,则检查'pub'以查看我是否有适合该出版物的BeautifulSoup模板,如果是,则返回纯文本。 如果还没有模板,该函数将pas ...

10 熊猫数据框应用功能

我有一个看起来像这样的数据框。 我不得不在每周的数据收集方面做得很好: 它产生一个看起来像这样的数据框: 现在,我想添加一个包含星期和年份信息的列来执行此操作: 和 这给我一个错误信息: 现在我的问题是:1)为什么groupby函数产生的数据框看起 ...

2015-05-04 11:21:58 2 362   pandas
暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM