使用 Python/numpy 从稀疏表示中有效地合并重复像素（通过求和）

Question

假设我有一个（灰度）像素列表，例如

x = np.array([13, 14, 14, 14, 15])
y = np.array([ 2,  7,  5,  7,  8])
V = np.array([.3, .7, .4, .2, .1])

因此，例如，第二个像素位于位置(14, 7) ，强度为0.7

注意： x在此列表中始终不递减。 所以p > q => x[p] >= x[q] 。

然而，可以重新访问相同的像素。 在我的示例中，像素#1和#3具有坐标(14, 7) 。

如何有效地合并重复项？ 所以在我的例子中，我得到：

x2 = np.array([ 13, 14    , 14, 15 ])
y2 = np.array([  2,  7    ,  5,  8 ])
V2 = np.array([ .3, .7+.2 , .4, .1 ])

注意：顺序并不重要，因此通过增加给定x的像素的y可能有助于排序。

注意：x、y、V 来自矩阵 M 的列。我要做的可以被视为二维直方图或累积和。

想法：我可以 map x, y -> x + y*nPixelsX ，所以现在我正在处理我可以排序的对，例如(1073, 0.4), (1071, 1.8), (1073, 0.7) 。

---

编辑：这是我实际上试图解决的问题（代码是 Python，尽管字形可变）：

# split columns of tradematrix into 1D numpy arrays
time_ms, price, vol, buyer_is_maker = ᬑ.ᘐA.T

# TODO: https://stackoverflow.com/questions/67191535/efficiently-plot-set-of-coordinatevalues-to-numpy-array-bitmap

# convert time,price to pixel x,y coords
x = pX(time_ms)
y = pY(price)

brightness = vol
rgb_channel = np.where(buyer_is_maker, 2, 1)  # cv2 uses BGR not RGB

# make a clear canvas
𐌎f = np.zeros((ᬑ.pixelsY, ᬑ.pixelsX, 3))

# additively plot trades
for i in range(len(ᬑ.ᘐA)):
    try:
        𐌎f[y[i],x[i],rgb_channel[i]] += brightness[i]
    except:
        # don't plot offscreen coords
        # try/catch is waaay faster than doing if on_screen(x[i],y[i]):
        pass

# flatten dynamic range (as some trades are huge)
# ... by doing `w -> log(1+w)` 3 times

# # This was the original (slow) code
# for _ in range(3):
#     𐌎f = np.log(1+𐌎f)  # any 0 pixel maps back to 0 (log 1 = 0)

# sped up!
sparse_red = coo_matrix(𐌎f[:,:,2])
sparse_green = coo_matrix(𐌎f[:,:,1])
for _ in range(3):
    np.log(1+sparse_red.data, sparse_red.data)  # perform operation in place
    np.log(1+sparse_green.data, sparse_green.data)  # perform operation in place
𐌎f[:,:,2] = sparse_red.todense()
𐌎f[:,:,1] = sparse_green.todense()

# normalize canvas
sup = np.max(𐌎f)
if sup > 0:
    𐌎f /= sup

我做的不是很好。 我正在将稀疏数据写入 bitmap 以解决此“同一像素上的多个交易”问题，然后将 bitmap 稀疏化以展平交易，然后重新组合。

我认为，我需要一直处理稀疏数据。

Answer 1

我首先使用np.lexsort对 arrays 进行排序：

i = np.lexsort([y, x])  # [0, 2, 1, 3, 4]
y = y[i]                # [2, 5, 7, 7, 8]
x = x[i]                # [13, 14, 14, 14, 15]
V = V[i]                # [0.3, 0.4, 0.7, 0.2, 0.1]

使用np.diff和np.flatnonzero很容易识别坐标中的重复项：

mask = (np.diff(x) == 0) & (np.diff(y) == 0)
same = np.flatnonzero(mask)  # [2]

问题在于，这样处理同一像素有多个副本的情况并不容易。 我建议您生成所有非重复项的索引，并进行一些小的修改：

diff = np.r_[0, 1 + np.flatnonzero(~mask)]

真正巧妙的是，所有重复项，甚至多次访问都将简单地从diff中丢失。 这意味着您可以将其直接传递给np.add.reduceat ：

V = np.add.reduceat(V, diff)

您可以使用np.delete删除重复的坐标：

x = np.delete(x, same)
y = np.delete(y, same)

如果您关心原始排序顺序，则可以使用np.argsort是它自己的逆序这一事实。 这意味着要将 arrays 恢复为原始顺序，您需要从i中删除same + 1并对其进行 argsort 以恢复顺序：

i = np.delete(i, same + 1).argsort()
x = x[i]
y = y[i]
V = V[i]

请记住，当我们从x和y中删除same的内容时，我们保留了最后一个重复的元素。 为了保持顺序，您可能希望保留第一个元素，因此same + 1 。

---

如果您可以简单地重建图像，那么任务将变得无限简单，因为您可以使用np.add.at以无缓冲的方式直接累积像素：

nPixelsY = 16
nPixelsX = 16
img = np.zeros((nPixelsY, nPixelsX))
np.add.at(img, (y, x), V)

事实上你可以看到

>>> img[7, 14]
0.8999999999999999

与img[y, x] += V对比，它是缓冲的，因此会丢弃重复项。

Answer 2

我一直在尝试开发一种纯粹的 numpy 方法，但是我目前还没有成功，但是如果可以接受的话，我可以使用 pandas 想出一个：

bitmap = np.zeros((15, 16))

## generate data 
s_x = np.array([a for a in range(-5,18)], dtype=int)
s_x = np.repeat(s_x, 2)
s_y = np.array([a for a in range(-3,20)], dtype=int)
s_y = np.repeat(s_y, 2)

np.random.shuffle(s_x)
np.random.shuffle(s_y)

## make sure there are some repeats 
s_x = np.concatenate((s_x, s_x[:5]))
s_y = np.concatenate((s_y, s_y[:5]))

pixel_count = s_x.shape[0]
pixel_val = np.random.rand(pixel_count)

# ## generate is done 

start = time.time()

## create dataframe
df = pd.DataFrame({'s_x':s_x, 's_y':s_y, 'pixel_val': pixel_val})

## remove pixels outside the image
df = df[(s_x >= 0)*(s_x < bitmap.shape[1])*(s_y >= 0)*(s_y < bitmap.shape[0])]

## sum duplicate pixels 
pixel_val = df.groupby(['s_x', 's_y'])['pixel_val'].transform('sum')

## get the index of the unique pixel locations 
use = pixel_val.index

bitmap[s_y[use], s_x[use]] = pixel_val

end = time.time()

print(end- start)

plt.imshow(bitmap)

来源： Pandas 重复属性的总和

output：