python中的时间序列分割

Question

我正在尝试对时间序列数据进行分段，如图所示。 我有很多来自传感器的数据，这些数据中的任何一个都可以有不同数量的孤立峰区域。 在这个图中，我有 3 个。 我想要一个函数，它将时间序列作为输入并返回等长的分段部分。

我最初的想法是有一个滑动窗口来计算振幅的相对变化。 由于具有峰值的窗口将具有相对较高的变化，因此我可以为相对变化定义某个阈值，这将有助于我采用具有孤立峰值的窗口。 然而，这在选择阈值时会产生问题，因为相对变化对数据中的噪声非常敏感。

有什么建议？

Answer 1

为此，您需要从噪声中找出信号。

1. 获取信号的平均值并添加一些多人游戏，在噪音的顶部和底部放置边界 - 绿色虚线
2. 找到低于噪声底部的峰值 -> 数组 2 组数据
3. 在噪声之上找到峰值 -> 数组 2 组数据
4. 获取底部第一个峰值的最小索引和第一个峰值顶部的最大索引以找到第一个峰值范围
5. 获取顶部第二个峰值的最小索引和第二个峰值底部的最大索引以找到第二个峰值范围

代码中的一些描述。 使用此方法，您可以找到其他峰。 您需要手动输入的一件事是告诉程序峰值之间的x值，以便将数据分成几部分。

见图表摘要。

import numpy as np
from matplotlib import pyplot as plt


# create noise data
def function(x, noise):
    y = np.sin(7*x+2) + noise
    return y

def function2(x, noise):
    y = np.sin(6*x+2) + noise
    return y


noise = np.random.uniform(low=-0.3, high=0.3, size=(100,))
x_line0 = np.linspace(1.95,2.85,100)
y_line0 = function(x_line0, noise)
x_line = np.linspace(0, 1.95, 100)
x_line2 = np.linspace(2.85, 3.95, 100)
x_pik = np.linspace(3.95, 5, 100)
y_pik = function2(x_pik, noise)
x_line3 = np.linspace(5, 6, 100)

# concatenate noise data
x = np.linspace(0, 6, 500)
y = np.concatenate((noise, y_line0, noise, y_pik, noise), axis=0)

# plot data
noise_band = 1.1
top_noise = y.mean()+noise_band*np.amax(noise)
bottom_noise = y.mean()-noise_band*np.amax(noise)
fig, ax = plt.subplots()
ax.axhline(y=y.mean(), color='red', linestyle='--')
ax.axhline(y=top_noise, linestyle='--', color='green')
ax.axhline(y=bottom_noise, linestyle='--', color='green')
ax.plot(x, y)

# split data into 2 signals
def split(arr, cond):
  return [arr[cond], arr[~cond]]

# find bottom noise data indexes
botom_data_indexes = np.argwhere(y < bottom_noise)
# split by visual x value
splitted_bottom_data = split(botom_data_indexes, botom_data_indexes < np.argmax(x > 3))

# find top noise data indexes
top_data_indexes = np.argwhere(y > top_noise)
# split by visual x value
splitted_top_data = split(top_data_indexes, top_data_indexes < np.argmax(x > 3))

# get first signal range
first_signal_start = np.amin(splitted_bottom_data[0])
first_signal_end = np.amax(splitted_top_data[0])

# get x index of first signal
x_first_signal = np.take(x, [first_signal_start, first_signal_end])
ax.axvline(x=x_first_signal[0], color='orange')
ax.axvline(x=x_first_signal[1], color='orange')

# get second signal range
second_signal_start = np.amin(splitted_top_data[1])
second_signal_end = np.amax(splitted_bottom_data[1])

# get x index of first signal
x_second_signal = np.take(x, [second_signal_start, second_signal_end])
ax.axvline(x=x_second_signal[0], color='orange')
ax.axvline(x=x_second_signal[1], color='orange')

plt.show()

输出：

红线 = 所有数据的平均值

绿线 - 顶部和底部噪声边界

橙色线 - 选定的峰值数据

Answer 2

1，这取决于你想如何定义一个“区域”，但看起来你只是感觉而不是严格的定义。 如果你对要剪出什么样的片有很清楚的定义，你可以尝试一些方法，比如“匹配过滤器”

2，您可能想要检测绝对幅度的峰值。 如果不起作用，请尝试一阶差分绝对幅度的峰值，甚至二阶。

3，很难处理这样的嘈杂数据。 我的建议是在选择部分之前进行过滤（在未过滤的数据上）。 过滤将为您提供平滑的峰值，以便可以通过微分符号的变化来检测峰值的位置。 对于过滤，请先尝试“低通滤波器”。 如果它不起作用，我还建议“希尔伯特-黄变换”。

*, 看起来您正在使用 matlab。 提到的方法都包含在matlab中。