如何获得整个数据帧而不是列的平均值？

Question

如何获得pandas数据帧中所有值（NaN除外）的均值？

pd.DataFrame.mean()只为每列（或设置axis=1时的行）提供方法，但我想要整个事物的平均值。 而df.mean().mean()并不是最明智的选择（见下文）。

请注意，在我的特定实际情况中，数据帧具有大的多索引，这使事情变得复杂。 对于无关紧要的情况，可以认为@ EdChum的答案更直接，在某些情况下可能比更快的解决方案更可取。

示例代码

data1 = np.arange(16).reshape(4, 4)
df = pd.DataFrame(data=data1)

df.mean()
0    9.0
1    7.0
2    8.0
3    9.0
dtype: float64

df.mean().mean()
7.5

np.arange(16).mean()
7.5

工作，但如果我掩盖部分df（实际上，这是一个数百行/列的相关矩阵，其性质本身就有一半填充了冗余数据），它会变得有趣：

triang = np.triu_indices(4)
data2 = np.arange(4.,20.).reshape(4, 4)
data2[triang]=np.nan
df2 = pd.DataFrame(data=data2)

df2.mean().mean()
15.0

但是(8. + 12. + 13. + 16. + 17. + 18.)/6是14.

我怎样才能最好地获得“真实”的意思，除了写一些手工上述的循环？

Answer 1

你可以使用numpy.nanmean ：

triang = np.triu_indices(4)
data2 = np.arange(4.,20.).reshape(4, 4)
data2[triang]=np.nan
df2 = pd.DataFrame(data=data2)

res = np.nanmean(df2)  # 14.0

也可以通过stack ，如@EdChum所描述的那样，但速度较慢：

df2 = pd.concat([df2]*100000)

%timeit np.nanmean(df2)              # 14.0ms
%timeit df2.stack().dropna().mean()  # 55.7ms

如果您的数据仅为数字，则还可以完全删除Pandas开销。

Answer 2

你可以stack ，然后dropna然后调用mean ：

In[201]:
df2.stack().dropna().mean()

Out[201]: 14.0

因此，这将df转换为单列Series ，然后您可以调用dropna删除NaN行，现在mean将正确计算mean 。