[英]Extracting specific rows from a multi-indexed Pandas Dataframe to form new DataFrame
我有一个数据集，我正在加载到 Pandas 数据帧中，该数据帧是一个名为：波形的锯齿状 3-D 数组。 数据帧由三个级别进行多索引：事件（条目），每个事件生成的光子（子条目），每个光子的数据点（子子条目）。
每个事件的数据点和光子的数量随机变化，因此它是锯齿状的。 我想为每个事件（条目）提取至少包含“2 * n”个数据点的光子（子条目），取所选光子的前n个数据点的平均值并将它们保存在一个新的数据帧中包含它们各自的事件和光子索引。
我不能把我的实际数据放在这里，因为它太大而且参差不齐，所以我将创建一个相同的示例，只是在数据方面按比例缩小。
import awkward as ak
import pandas as pd
#I'm gonna generate an example awkward array that I want to convert to a Pandas DF
wf = ak.to_pandas(ak.Array([ [[1,2,5,6,8,3,21,3],[5986.472,0,6,1,2,3],[0]],[[1]],[[0.1,23,534,21,53,12],[0]],[[1],[2],[0],[12,12,12,12,125,34]],[[76],[23,23,43],],[[0],[12,12,12,12]] ]))
print(wf)
values
entry subentry subsubentry
0 0 0 1.000
1 2.000
2 5.000
3 6.000
4 8.000
5 3.000
6 21.000
7 3.000
1 0 5986.472
1 0.000
2 6.000
3 1.000
4 2.000
5 3.000
2 0 0.000
1 0 0 1.000
2 0 0 0.100
1 23.000
2 534.000
3 21.000
4 53.000
5 12.000
1 0 0.000
3 0 0 1.000
1 0 2.000
2 0 0.000
3 0 12.000
1 12.000
2 12.000
3 12.000
4 125.000
5 34.000
4 0 0 76.000
1 0 23.000
1 23.000
2 43.000
5 0 0 0.000
1 0 12.000
1 12.000
2 12.000
3 12.000
#This is what I want the filter/Extraction to produce
wf_pF = ak.to_pandas(ak.Array([[[1,2,5,6,8,3,21,3],[5986.472,0,6,1,2,3,5]],[[0.1,23,534,21,53,12]],[[12,12,12,12,125,34]] ]))
print(wf_pF)
values
entry subentry subsubentry
0 0 0 1.000
1 2.000
2 5.000
3 6.000
4 8.000
5 3.000
6 21.000
7 3.000
1 0 5986.472
1 0.000
2 6.000
3 1.000
4 2.000
5 3.000
6 5.000
1 0 0 0.100
1 23.000
2 534.000
3 21.000
4 53.000
5 12.000
2 0 0 12.000
1 12.000
2 12.000
3 12.000
4 125.000
5 34.000
#I then want to take the average of the first n datapoints and place them into a new dataframe as such
averages = ak.to_pandas(ak.Array([[2.666,1997.333],[185.7],[12]]))
print(averages)
values
entry subentry
0 0 2.666
1 1997.333
1 0 185.700
2 0 12.000
我使用查询首先在级别子条目Wf_n = wf.query('subsubentry == 5') 。 我获取了这个新数据帧 Wf_n 的索引，并将Entry和Subentry的索引转换为它们各自的 NumPy 数组
nQuery = wf.query('subsubentry == 5')
indices = nQuery.index.to_frame()["entry"]
indices2 = nQuery.index.to_frame()["subentry"]
ind = pd.Series.to_numpy(indices)
ind2 = pd.Series.to_numpy(indices2)
然后我使用查询来提取条目及其各自的子条目，如下所示：
wf_AF = wf.query("entry in @ind and subentry in @ind2")
print(wf_AF)
这导致了这个数据帧 wf_AF
values
entry subentry subsubentry
0 0 0 1.000
1 2.000
2 5.000
3 6.000
4 8.000
5 3.000
6 21.000
7 3.000
1 0 5986.472
1 0.000
2 6.000
3 1.000
4 2.000
5 3.000
2 0 0 0.100
1 23.000
2 534.000
3 21.000
4 53.000
5 12.000
1 0 0.000
3 0 0 1.000
1 0 2.000
3 0 12.000
1 12.000
2 12.000
3 12.000
4 125.000
5 34.000
它仍然保留包含小于所需子子条目（数据点）数量阈值 2*n 的子条目（光子）。 我究竟做错了什么？ 有什么我不明白的吗？ 我可以做些什么来实现这种特定的过滤方法，它可以在 CuDF 中实现吗？ 因为有这么多的数据，如果我也可以在 CuDF 中复制它，那将是理想的。
更新：我应该得到一个当之无愧的奖牌......
通读awkward的文档，特别是查看help(ak.Array.__getitem__) ，因为它提供了非常丰富的信息。 另请参阅help(ak.num) 、 help(ak.mean)等。
这些使用awkwards的自己的方法来过滤、切片和对数组执行计算……我敢肯定这比 pandas 快得多。 Pandas 在这里仅用于可视化。
array = ak.Array([ [[1,2,5,6,8,3,21,3],[5986.472,0,6,1,2,3],[0]],[[1]],[[0.1,23,534,21,53,12],[0]],[[1],[2],[0],[12,12,12,12,125,34]],[[76],[23,23,43],],[[0],[12,12,12,12]] ])
filtered = array[ak.num(array, -1)>5]
df = ak.to_pandas(filtered)
print(df)
输出：
values
entry subentry subsubentry
0 0 0 1.000
1 2.000
2 5.000
3 6.000
4 8.000
5 3.000
6 21.000
7 3.000
1 0 5986.472
1 0.000
2 6.000
3 1.000
4 2.000
5 3.000
2 0 0 0.100
1 23.000
2 534.000
3 21.000
4 53.000
5 12.000
3 0 0 12.000
1 12.000
2 12.000
3 12.000
4 125.000
5 34.000
假设我们只想要其中每一个的前三个值......
first_three = filtered[:,:,:3]
df2 = ak.to_pandas(first_three)
print(df2)
输出：
values
entry subentry subsubentry
0 0 0 1.000
1 2.000
2 5.000
1 0 5986.472
1 0.000
2 6.000
2 0 0 0.100
1 23.000
2 534.000
3 0 0 12.000
1 12.000
2 12.000
现在说我们想要这些的平均值......
averages = ak.mean(first_three, axis=2)
df3 = ak.to_pandas(averages)
print(df3)
输出：
values
entry subentry
0 0 2.666667
1 1997.490667
2 0 185.700000
3 0 12.000000
一步到位：
ak.to_pandas(ak.mean(array[ak.num(array, -1)>5,:3], axis=2))
仅限熊猫：
n = 3
wf_AF = wf.reset_index(-1).groupby(level=[-2, -1]).filter(lambda x: x.subsubentry.max() >= 2*n-1).set_index('subsubentry', append=True)
# OR
wf_AF = wf.groupby(level=[-3, -2]).filter(lambda x: x.index.to_series().str[2].max() >= 2*n-1)
print(wf_AF)
输出：
values
entry subentry subsubentry
0 0 0 1.000
1 2.000
2 5.000
3 6.000
4 8.000
5 3.000
6 21.000
7 3.000
1 0 5986.472
1 0.000
2 6.000
3 1.000
4 2.000
5 3.000
2 0 0 0.100
1 23.000
2 534.000
3 21.000
4 53.000
5 12.000
3 3 0 12.000
1 12.000
2 12.000
3 12.000
4 125.000
5 34.000
averages = wf_AF.groupby(level=[-3, -2]).agg(lambda x: x.head(n).mean())
print(averages)
输出：
values
entry subentry
0 0 2.666667
1 1997.490667
2 0 185.700000
3 3 12.000000
将自定义函数应用于具有特定 groupby 的多索引熊猫数据框
[英]Apply custom function to multi-indexed pandas dataframe with specific groupby
从具有多索引列的DataFrame中提取系列时，我无法使用read_csv进行读取
[英]When extracting a Series from a DataFrame with multi-indexed columns I cannot read with read_csv
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.