根据组在熊猫数据框中查找百分位数

Question

Season  Name    value
2001    arkansas    3.497
2002    arkansas    3.0935
2003    arkansas    3.3625
2015    arkansas    3.766
2001    colorado    2.21925
2002    colorado    1.4795
2010    colorado    2.89175
2011    colorado    2.48825
2012    colorado    2.08475
2013    colorado    1.68125
2014    colorado    2.5555
2015    colorado    2.48825

在上面的数据框中，我想确定每种状态（arkansas和colorado）的列value前10个百分点和后10个百分点。 我怎么做？ 我可以像这样确定整个value列的最高和最低百分比：

np.searchsorted(np.percentile(a, [10, 90]), a))

Answer 1

您可以使用groupby + quantile ：

df.groupby('Name')['value'].quantile([.1, .9])

Name
arkansas  0.1    3.174200
          0.9    3.685300
colorado  0.1    1.620725
          0.9    2.656375
Name: value, dtype: float64

然后调用np.searchsorted 。

---

或者，使用qcut 。

df.groupby('Name').apply(lambda x: 
       pd.qcut(x['value'], [.1, .9]))

Name
arkansas  0     (3.173, 3.685]
          1                NaN
          2     (3.173, 3.685]
          3                NaN
colorado  4      (1.62, 2.656]
          5                NaN
          6                NaN
          7      (1.62, 2.656]
          8      (1.62, 2.656]
          9      (1.62, 2.656]
          10     (1.62, 2.656]
          11     (1.62, 2.656]
Name: value, dtype: object

Answer 2

如果您数据框的变量是df，这应该可以工作。 我不确定您希望输出是什么样，但是我只是为字典创建了代码，其中每个键都是一个状态。 另外，由于您的值很少，因此我在参数插值中使用了“最近”选项（默认值为插值）。 要查看可能的选项，请在此处查看功能文档。

import pandas as pd
import numpy as np
df = pd.read_csv('stacktest.csv')
#array of unique state names from the dataframe
states = np.unique(df['Name'])
#empty dictionary 
state_data = dict()
for state in states:
    state_data[state] = np.percentile(df[df['Name'] == state]['value'],[10,90],interpolation = 'nearest')
print(state_data)