如何找到 pandas dataframe 值的第一次显着差异？

Question

在Pandas DataFrame中，我如何找到两个相邻索引处的两个值之间第一次出现较大差异？

例如，如果我有一个DataFrame列A的数据[1, 1.1, 1.2, 1.3, 1.4, 1.5, 7, 7.1, 7.2, 15, 15.1] ，我希望索引保持 1.5，即 5。我在下面的代码，它会给我持有 7.2 的索引，因为15 - 7.2 > 7 - 1.5 。

idx = df['A'].diff().idxmax() - 1

我应该如何解决这个问题，以便获得第一个“大差异”出现的索引？

Answer 1

一个想法是通过Series.quantile过滤，具有差异系列，差异的变化顺序为-1和绝对值，最后获得第一个索引：

df = pd.DataFrame({'A':[1, 1.1, 1.2, 1.3, 1.4, 1.5, 7, 7.1, 7.2, 15, 15.1]})


x = df['A'].diff(-1) .abs()
print (x)
0     0.1
1     0.1
2     0.1
3     0.1
4     0.1
5     5.5
6     0.1
7     0.1
8     7.8
9     0.1
10    NaN
Name: A, dtype: float64

idx = x.index[x >= x.quantile(.75)]
print (idx)
Int64Index([5, 7, 8], dtype='int64')

print (idx[0])
5

Answer 2

主要问题当然是您如何定义“大差异”。 您的解决方案非常适合获得最大的差异，仅通过使用.diff(-1)和使用 Jezrael 所示的绝对值来改进：

differences = df['A'].diff(-1).abs()

如果您的值未排序，则使用绝对值很重要，在这种情况下，您可能会得到负差异。

然后，您可能应该对这些值进行一些聚类，并获得具有最大值的集群的最小索引。 Jezrael 已经通过使用最大的四分位数展示了启发式方法，但是只需稍微修改您的示例，这将不起作用：

df = pd.DataFrame({'A': [1, 1.05, 1.2, 1.3, 1.4, 1.5, 7, 7.1, 7.2, 15, 15.1]})
differences = df['A'].diff(-1).abs()
idx = differences.index[differences >= differences.quantile(.75)][0]
print(idx, differences[idx])

这将返回1 0.1499999999999999

以下是其他 3 种可能更适合您的启发式方法：

• 如果您有一个值高于您认为差异“大”（例如1.5 ）：

   idx = differences.index[differences >= 1.5][0]

• 如果您知道有多少个大值，您可以 select 那些并获得最小的索引（例如2 ）：

   idx = differences.nlargest(2).index.min()

• 如果您知道所有小值都分组在一起（就像您的示例中的所有 0.1 一样），您可以过滤大于平均值的值（或者如果您的“大”值非常接近较小的值，则为平均值 + 1 个标准差） .

   idx = differences.index[differences >= differences.mean()][0]

  这是因为与中位数相反，您的几个较大差异会显着提高平均值。

如果你真的想要 go 进行正确的聚类，你可以使用 scikit learn 的 KMeans 算法：

from sklearn.cluster import KMeans

kmeans = KMeans(n_clusters=2).fit(differences.values[:-1].reshape(-1, 1))
clusters = pd.Series(kmeans.labels_, index=differences.index[:-1])
idx = clusters.index[clusters.eq(np.squeeze(kmeans.cluster_centers_).argmax())][0]

这将数据分为 2 类，然后将分类为 pandas 系列。 然后我们通过只选择具有最高值的集群来过滤这个系列的索引，最后得到这个过滤索引的第一个元素。

Answer 3

如果您有一个 Numpy 数组，您可以使用任何 dataframe 行作为，您可以使用numpy.argmax 。

import numpy as np

import numpy as np

a = np.array([1, 1.1, 1.2, 1.3, 1.4, 1.5, 7, 7.1, 7.2, 15, 15.1])
diff = np.diff(a)
threshold = 2 # set your threshold
max_index = np.argwhere(diff> threshold) [[5],[8]]

References: https://numpy.org/doc/stable/reference/generated/numpy.diff.html https://numpy.org/doc/stable/reference/generated/numpy.argwhere.html

更多信息：

pandas.diff将计算差异diff[i] = a[i] - a[i-1]
numpy.diff将计算差异diff[i] = a[i+1] - a[i] ，
除了 i=max len：

• a[i] = a[i]-a[i-1]

Answer 4

def shift(a):
  
  a_r = np.roll(a, 1) # right shift
  a_l = np.roll(a, -1) # left shift


  return np.stack([a_l, a_r], axis=1)

---

a = np.array([1, 1.1, 1.2, 1.3, 1.4, 1.5, 7, 7.1, 7.2, 15, 15.1])

---

diff = abs(shift(a) - a.reshape(-1, 1))

diff = diff[1:-1]

indices = diff.argmax(axis=0) - 2

a[indices]

---

array([7. , 1.5])