有沒有比for循環更快的方法來標記python中的矩陣（3D數組）？

Question

我寫了一個用 Python 標記矩陣（3D 數組）的代碼。 代碼的概念是

1. 檢查 3D 數組中的 2 x 2 x 2 矩陣（我想要的任何大小）

2. 如果矩陣有 1、2 和 3 作為元素，則矩陣中的所有元素都將變為矩陣中的“最大唯一數 + 1”。

    import numpy as np def label_A(input_field): labeling_A = np.copy(input_field) labeling_test = np.zeros((input_field.shape)) for i in range(0,input_field.shape[0]-1): for j in range(0,input_field.shape[1]-1): for k in range(0,input_field.shape[2]-1): test_unit = input_field[i:i+2,j:j+2,k:k+2] if set(np.unique(test_unit).astype(int)) >= set((1,2,3)): labeling_test[i:i+2,j:j+2,k:k+2] = np.max(input_field)+1 labeling_A[labeling_test == np.max(input_field)+1] = np.max(input_field)+1 return labeling_A

這是一個簡單的 3D 矩陣示例代碼。

example = np.random.randint(0, 10, size=(10, 10, 10))
label_example = label_A(example)
label_example

在我看來，代碼本身沒有問題，而且確實有效。 但是，我很好奇有沒有更快的方法來做同樣的功能？

Answer 1

此實現返回建議的結果並在 1.8 秒內處理 (140,140,​​140) 大小的張量。

import numpy as np
from scipy.signal import convolve

def strange_convolve(mat, f_shape, _value_set, replace_value):
    _filter =np.ones(tuple(s*2-1 for s in f_shape))
    replace_mat = np.ones(mat.shape)
    for value in _value_set:
        value_counts = convolve((mat==value),_filter,mode='same')
        replace_mat*=(value_counts>0)
    mat[replace_mat==1]=replace_value
    return mat
example = np.random.randint(0, 8, size=(10, 10, 10))
print('same_output validation is '+str((strange_convolve(example,(2,2,2),(1,2,3),4) == label_A(example)).min()))

import time 
example = np.random.randint(0, 10, size=(140, 140, 140))
timer = time.time()
strange_convolve(example,(2,2,2),(1,2,3),4)
print(time.time()-timer)

1.8871610164642334

Answer 2

首先，您的代碼存在一些問題，這些問題可以輕松解決並加快處理速度。
對於每個循環，您都要重新計算 np.max(input_field)+1 三次。
矩陣越大，影響就越明顯。 請注意測試 A 和 B 的差異。

我嘗試使用上面的卷積示例運行測試，雖然速度很快，但結果與其他測試並不相同（在下面的設置中應該是相同的）。 我相信它在 3x3x3 塊中尋找 1、2 或 3。

大小為 10 的標簽 A --- 0:00.015628
大小為 10 的標簽 B --- 0:00.015621
大小為 10 的標簽 F --- 0:00.015628

大小為 50 的標簽 A --- 0:15.984662
大小為 50 的標簽 B --- 0:10.093478
大小為 50 的標簽 F --- 0:02.265621

大小為 80 的標簽 A --- 4:02.564660
尺寸為 80 的標簽 B --- 2:29.439298
大小為 80 的標簽 F --- 0:09.437868

- - - - - -編輯- - - - - - 卷積方法肯定更快，但我相信彼得給出的代碼存在一些問題。

Label A with size of 10 : 00.013985
[[ 2 10 10 10 10  4  9  0  8  7]
 [ 9 10 10 10 10  0  9  8  5  9]
 [ 3  8  4  0  9  4  2  8  7  1]
 [ 4  7  6 10 10  4  8  8  5  4]] 

Label B with size of 10 : 00.014002
[[ 2 10 10 10 10  4  9  0  8  7]
 [ 9 10 10 10 10  0  9  8  5  9]
 [ 3  8  4  0  9  4  2  8  7  1]
 [ 4  7  6 10 10  4  8  8  5  4]] 

Label Flat with size of 10 : 00.020001
[[ 2 10 10 10 10  4  9  0  8  7]
 [ 9 10 10 10 10  0  9  8  5  9]
 [ 3  8  4  0  9  4  2  8  7  1]
 [ 4  7  6 10 10  4  8  8  5  4]] 

Label Convolve with size of 10 : 00.083996
[[ 2  2 10  8  4 10  9  0  8  7]
 [ 9 10  0  4  7 10  9 10 10  9]
 [ 3  8  4  0  9  4  2 10  7 10]
 [ 4  7 10  5  0  4  8 10  5  4]] 

OP 希望將 2x2x2 矩陣的所有元素設置為更高的值。
請注意，當前設置中的卷積設置了一些單個空間元素，而不是 2x2x2 矩陣模式。

下面是我的代碼：

import numpy as np
from scipy.signal import convolve
from pandas import datetime as dt

def label_A(input_field):
    labeling_A = np.copy(input_field)
    labeling_test = np.zeros((input_field.shape))
    for i in range(0,input_field.shape[0]-1):
        for j in range(0,input_field.shape[1]-1):
            for k in range(0,input_field.shape[2]-1):
                test_unit = input_field[i:i+2,j:j+2,k:k+2]
                if set(np.unique(test_unit).astype(int)) >= set((1,2,3)):
                    labeling_test[i:i+2,j:j+2,k:k+2] = np.max(input_field)+1
                    labeling_A[labeling_test == np.max(input_field)+1] = np.max(input_field)+1
    return labeling_A


def label_B(input_field):
    labeling_B = np.copy(input_field)
    labeling_test = np.zeros((input_field.shape))
    input_max = np.max(input_field)+1
    for i in range(0,input_field.shape[0]-1):
        for j in range(0,input_field.shape[1]-1):
            for k in range(0,input_field.shape[2]-1):
                test_unit = input_field[i:i+2,j:j+2,k:k+2]
                if set(np.unique(test_unit).astype(int)) >= set((1,2,3)):
                    labeling_test[i:i+2,j:j+2,k:k+2] = input_max
                    labeling_B[labeling_test == input_max] = input_max
    return labeling_B


def label_Convolve(input_field):
    _filter =np.ones([2,2,2])
    replace_mat = np.ones(input_field.shape)
    input_max = np.max(input_field)+1
    for value in (1,2,3):
        value_counts = convolve((input_field==value),_filter,mode='same')
        replace_mat*=(value_counts>0)
    input_field[replace_mat==1] = input_max
    return input_field


def flat_mat(matrix):
    flat = matrix.flatten()
    dest_mat = np.copy(flat)
    mat_width = matrix.shape[0]
    mat_length = matrix.shape[1]
    mat_depth = matrix.shape[2]
    input_max = np.max(matrix)+1

    block = 0
    for w in range(mat_width*(mat_length)*(mat_depth-1)):
        if (w+1)%mat_width != 0:
            if (block+1)%mat_length == 0:
                pass
            else:
                set1 = flat[w:w+2]
                set2 = flat[w+mat_width:w+2+mat_width]
                set3 = flat[w+(mat_width*mat_length):w+(mat_width*mat_length)+2]
                set4 = flat[w+(mat_width*mat_length)+mat_width:w+(mat_width*mat_length)+mat_width+2]
                fullblock = np.array([set1, set2, set3, set4])
                blockset = np.unique(fullblock)
                if set(blockset) >= set((1,2,3)):
                    dest_mat[w:w+2] = input_max
                    dest_mat[w+mat_width:w+2+mat_width] = input_max
                    dest_mat[w+(mat_width*mat_length):w+(mat_width*mat_length)+2] = input_max
                    dest_mat[w+(mat_width*mat_length)+mat_width:w+(mat_width*mat_length)+mat_width+2] = input_max
        else:
            block += 1
    return_mat = dest_mat.reshape(mat_width, mat_length, mat_depth)
    return(return_mat)


def speedtest(matrix,matrixsize):
    starttime = dt.now()
    label_A_example = label_A(matrix)
    print(f'Label A with size of {matrixsize} : {dt.now() - starttime}')
    print(label_A_example[0][0:4], '\n')

    starttime = dt.now()
    label_B_example = label_B(matrix)
    print(f'Label B with size of {matrixsize} : {dt.now() - starttime}')
    print(label_B_example[0][0:4], '\n')

    starttime = dt.now()
    label_Inline_example = flat_mat(matrix)
    print(f'Label Flat with size of {matrixsize} : {dt.now() - starttime}')
    print(label_Inline_example[0][0:4], '\n')

    starttime = dt.now()
    label_Convolve_example = label_Convolve(matrix)
    print(f'Label Convolve with size of {matrixsize} : {dt.now() - starttime}')
    print(label_Convolve_example[0][0:4], '\n')

tests = 1 #each test will boost matrix size by 10
matrixsize = 10
for i in range(tests):
    example = np.random.randint(0, 10, size=(matrixsize, matrixsize, matrixsize))
    speedtest(example,matrixsize)
    matrixsize += 10