Pandas：如何在數據框列中找到特定模式？

Question

我想在 Pandas 數據幀列中找到特定模式，並返回相應的索引值以便對數據幀進行子集化。

這是一個具有可能模式的示例數據框：

生成數據幀的代碼段：

import pandas as pd
import numpy as np

Observations = 10
Columns = 2
np.random.seed(123)
df = pd.DataFrame(np.random.randint(90,110,size=(Observations, Columns)),
                  columns = ['ColA','ColB'])
datelist = pd.date_range(pd.datetime(2017, 7, 7).strftime('%Y-%m-%d'),
                         periods=Observations).tolist()
df['Dates'] = datelist
df = df.set_index(['Dates'])

pattern = [100,90,105]
print(df)

數據框：

            ColA  ColB
Dates                 
2017-07-07   103    92
2017-07-08    92    96
2017-07-09   107   109
2017-07-10   100    91
2017-07-11    90   107
2017-07-12   105    99
2017-07-13    90   104
2017-07-14    90   105
2017-07-15   109   104
2017-07-16    94    90

在這里，感興趣的模式出現在日期2017-07-10到2017-07-12 Column A ，這就是我想要的結果：

期望的輸出：

2017-07-10   100    91
2017-07-11    90   107
2017-07-12   105    99

如果多次出現相同的模式，我想以相同的方式對數據幀進行子集化，並計算該模式出現的次數，但我希望只要我解決了第一步，就更直接了。

感謝您的任何建議！

Answer 1

使用列表推導式的魔力：

[df.index[i - len(pattern)] # Get the datetime index 
 for i in range(len(pattern), len(df)) # For each 3 consequent elements 
 if all(df['ColA'][i-len(pattern):i] == pattern)] # If the pattern matched 

# [Timestamp('2017-07-10 00:00:00')]

Answer 2

這是一個解決方案：

使用滾動檢查是否在任何列中找到該模式。 這將為您提供與模式匹配的組的最后一個索引

matched = df.rolling(len(pattern)).apply(lambda x: all(np.equal(x, pattern)))
matched = matched.sum(axis = 1).astype(bool)   #Sum to perform boolean OR

matched
Out[129]: 
Dates
2017-07-07    False
2017-07-08    False
2017-07-09    False
2017-07-10    False
2017-07-11    False
2017-07-12     True
2017-07-13    False
2017-07-14    False
2017-07-15    False
2017-07-16    False
dtype: bool

對於每個匹配項，添加完整模式的索引：

idx_matched = np.where(matched)[0]
subset = [range(match-len(pattern)+1, match+1) for match in idx_matched]

獲取所有模式：

result = pd.concat([df.iloc[subs,:] for subs in subset], axis = 0)

result
Out[128]: 
            ColA  ColB
Dates                 
2017-07-10   100    91
2017-07-11    90   107
2017-07-12   105    99

Answer 3

最短的方法是找到模式開始的索引。 然后您只需要選擇以下三行。

為了找到這些索引，一行就足夠了：

indexes=df[(df.ColA==pattern[0])&(df["ColA"].shift(-1)==pattern[1])&(df["ColA"].shift(-2)==pattern[2])].index

然后按照另一個答案說來獲取您想要的子集。

Answer 4

for col in df:
    index = df[col][(df[col] == pattern[0]) & (df[col].shift(-1) == pattern[1]) & (df[col].shift(-2) == pattern[2])].index
    if not index.empty: print(index)

Answer 5

雖然 Deena 的回答很優雅，但對於較長的序列，它的速度非常慢。

另一方面，Flab 的解決方案可能更快，但它僅適用於數值。

因此，我想提出一個不同的解決方案，即快速且適用於所有數據類型。 下面我假設數據類型是一個字符串。 如果不是你的情況，你應該先轉換它。

rolling_cat = lambda s, n: pd.Series(zip(*[s.shift(-x) for x in range(n)])).str.join(",")

indices = df.loc[rolling_cat(df["ColA"], n=len(pattern) == (",".join(pattern))].index

在這里，我定義了一個函數，該函數將每個接下來的 n 個條目連接到列中的每個條目。 這意味着，每行現在都包含字符串形式的潛在模式

然后我通過連接模式的每個條目將這些模式與模式的字符串表示進行比較。

這比 Deena 的方法快得多的原因是，字符串比較比比較列表中的每個項目要快得多。