在时间序列数据中查找值循环

Question

我有一个 > 500 万行的大时间序列，时间序列中的值在 2-10 之间随机波动：

一小部分时间序列：

我想从这个时间序列中识别出某种模式，模式：

当 pct_change 的值 >= 阈值“ T ”时，我想提出一个标志，表明阅读开始

如果 pct_change 的值 >= T 或 < T 并且 !=0 之后读取开始标志已经被提升，那么读取继续标志应该被提升直到遇到零

如果遇到零，则如果 pct_change 的值在此标志被提升后 < T 则应引发读取停止标志，则应引发未读取标志。

我想写一个 function 可以告诉我这种情况发生了多少次以及持续了多长时间。

如果我们将阈值 T 设为 4 并使用示例数据截图中的 pct_change ，那么我想要的 output 是：

这背后的主要目标是找出这个循环针对不同的阈值重复了多少次。

要生成样本数据：

import pandas as pd

a = [2,3,4,2,0,14,5,6,3,2,0,4,5,7,8,10,4,0,5,6,7,10,7,6,4,2,0,1,2,5,6]
idx = pd.date_range("2018-01-01", periods=len(a), freq="H")
ts = pd.Series(a, index=idx)
dd = pd.DataFrame()
dd['pct_change'] =ts
dd.head()

你能建议一种有效的方法吗？

如果阈值'T'> = 4，我想要的 Output：

Answer 1

首先，只保留有趣的数据（>= T | == 0）：

threshold = 4
df = dd.loc[dd["pct_change"].ge(threshold) | dd["pct_change"].eq(0)]

>>> df
                     pct_change
2018-01-01 02:00:00           4  # group 0, end=2018-01-01 04:00:00
2018-01-01 04:00:00           0
2018-01-01 05:00:00          14  # group 1, end=2018-01-01 10:00:00
2018-01-01 06:00:00           5
2018-01-01 07:00:00           6
2018-01-01 10:00:00           0
2018-01-01 11:00:00           4  # group 2, end=2018-01-01 17:00:00
2018-01-01 12:00:00           5
2018-01-01 13:00:00           7
2018-01-01 14:00:00           8
2018-01-01 15:00:00          10
2018-01-01 16:00:00           4
2018-01-01 17:00:00           0
2018-01-01 18:00:00           5  # group 3, end=2018-01-02 02:00:00
2018-01-01 19:00:00           6
2018-01-01 20:00:00           7
2018-01-01 21:00:00          10
2018-01-01 22:00:00           7
2018-01-01 23:00:00           6
2018-01-02 00:00:00           4
2018-01-02 02:00:00           0
2018-01-02 05:00:00           5  # group 4, end=2018-01-02 06:00:00
2018-01-02 06:00:00           6

然后，创建想要的组：

groups = df["pct_change"].eq(0).shift(fill_value=0).cumsum()

>>> groups
2018-01-01 02:00:00    0  # group 0
2018-01-01 04:00:00    0
2018-01-01 05:00:00    1  # group 1
2018-01-01 06:00:00    1
2018-01-01 07:00:00    1
2018-01-01 10:00:00    1
2018-01-01 11:00:00    2  # group 2
2018-01-01 12:00:00    2
2018-01-01 13:00:00    2
2018-01-01 14:00:00    2
2018-01-01 15:00:00    2
2018-01-01 16:00:00    2
2018-01-01 17:00:00    2
2018-01-01 18:00:00    3  # group 3
2018-01-01 19:00:00    3
2018-01-01 20:00:00    3
2018-01-01 21:00:00    3
2018-01-01 22:00:00    3
2018-01-01 23:00:00    3
2018-01-02 00:00:00    3
2018-01-02 02:00:00    3
2018-01-02 05:00:00    4  # group 4
2018-01-02 06:00:00    4
Name: pct_change, dtype: object

最后，使用组来 output 结果：

out = pd.DataFrame(df.groupby(groups) \
                     .apply(lambda x: (x.index[0], x.index[-1])) \
                    .tolist(), columns=["StartTime", "EndTime"])

>>> out
            StartTime             EndTime
0 2018-01-01 02:00:00 2018-01-01 04:00:00  # group 0
1 2018-01-01 05:00:00 2018-01-01 10:00:00  # group 1
2 2018-01-01 11:00:00 2018-01-01 17:00:00  # group 2
3 2018-01-01 18:00:00 2018-01-02 02:00:00  # group 3
4 2018-01-02 05:00:00 2018-01-02 06:00:00  # group 4

奖金

在某些情况下，您必须删除组：

• 第一个 pct 值为 0
• 两个或多个连续的 pct 值为 0

要删除它们：

out = out[~out["StartTime"].eq(out["EndTime"])]