如何从所有 pandas 列计算成对矩阵

Question

考虑我有 dataframe：

data = [[11, 10, 13], [16, 15, 45], [35, 14,9]] 
df = pd.DataFrame(data, columns = ['A', 'B', 'C']) 
df 

数据如下：

    A   B   C
0   11  10  13
1   16  15  45
2   35  14  9

真实数据由一百列和一千行组成。

我有一个 function，function 的目的是计算有多少值高于另一列的最小值。 function 看起来像这样：

def get_count_higher_than_min(df, column_name_string, df_col_based):
    seriesObj = df.apply(lambda x: True if x[column_name_string] > df_col_based.min(skipna=True) else False, axis=1)
    numOfRows = len(seriesObj[seriesObj == True].index)
    return numOfRows

来自 function 的示例 output 如下所示：

get_count_higher_than_min(df, 'A', df['B'])

output 是3 。 那是因为df['B']的最小值是10并且df['A']的三个值都高于10 ，所以 output 是3 。

问题是我想使用 function 计算所有列的成对

我不知道解决这个问题的有效方法是什么。 我希望 output 的形式类似于混淆矩阵或类似于相关矩阵。

示例 output：

    A   B   C
A   X  3  X
B   X  X  X
C   X  X  X

Answer 1

from itertools import product
pairs = product(df.columns, repeat=2)

min_value = {}
output = []


for each_pair in pairs:
    # making sure that we are calculating min only once
    min_ = min_value.get(each_pair[1], df[each_pair[1]].min())
    min_value[each_pair[1]] = min_
    
    count = df[df[each_pair[0]]>min_][each_pair[0]].count()
    output.append(count)
    
df_desired = pd.DataFrame(
    [output[i: i+len(df.columns)] for i in range(0, len(output), len(df.columns))], 
    columns=df.columns, index=df.columns)

print(df_desired)

   A  B  C
A  2  3  3
B  2  2  3
C  2  2  2

Answer 2

这是 O(n ² m)，其中 n 是列数，m 是行数。

minima = df.min()
m = pd.DataFrame({c: (df > minima[c]).sum()
                  for c in df.columns})

结果：

>>> m
   A  B  C
A  2  3  3
B  2  2  3
C  2  2  2

理论上 O(n log(n) m) 是可能的。