从缓冲区创建 2D numpy 数组

Question

考虑一个以给定采样率传输n_samples的n_channels系统。 包含时间戳的一维缓冲区和包含(n_channels, n_samples)的二维缓冲区是：

from ctypes import c_double, c_float

# Assume a 2-second window, 3 channels, sampled at 1024 Hz
# data: (n_channels, n_samples) = (3, 2048)
# timestamps: (n_samples,) = (2048,)
n_channels = 3
n_samples = 2048
n_data_values = n_channels * n_samples
data_buffer = (c_float * n_data_values)()
ts_buffer = (c_double * n_samples)() 

我有一个填充缓冲区的 C++ 二进制库。 function可以概括为：

from ctypes import byref

fill_buffers(
    byref(data_buffer),
    byref(ts_buffer),
)

此时，我有 2 个已填充的缓冲区，一个包含 2048 个元素（时间戳），另一个包含 3* 2048 个元素（数据）。 我想尽可能高效地加载 numpy 数组中的这两个缓冲区。

np.frombuffer读取一维数组似乎很神奇，例如timestamps ，但我找不到 N-dim arrays 的对应项。

# read from buffer for the 1D array
timestamps = np.frombuffer(ts_buffer)  # 192 ns ± 1.11 ns per loop
timestamps = np.array(ts_buffer)  # 854 ns ± 2.99 ns per loop

现在，数据数组加载了：

data = np.array(data_buffer).reshape(-1, n_channels, order="C").T

在提供 output 形状和顺序的同时使用与np.frombuffer相同的有效方法的任何方法？

---

这个问题不同于How can I initialize a NumPy array from a multidimensional buffer? 以及从How to restore a 2-dimensional numpy.array from a bytestring? 因为它不关注np.frombuffer的替代品，而是一种高效的替代品。

---

编辑：为什么np.frombuffer(data_buffer).reshape(-1, n_channels).T不工作？ 使用 3 个通道和 1024 个点（以加快我的测试速度），我得到len(data_buffer) = 3072 ，但是：

np.array(data_buffer).reshape(-1, 3).T.size = 3072
np.frombuffer(data_buffer).reshape(-1, 3).T.size = 1536

该应用程序是一个 LabStreamingLayer 缓冲区。 The buffer is filled here https://github.com/labstreaminglayer/liblsl-Python/blob/87276974a311bcf7ceb3383e9d04c6bdcf302771/pylsl/pylsl.py#L854-L861 using the C++ library https://github.com/sccn/liblsl with specifically this function https://github.com/sccn/liblsl/blob/08aa186326e9a339316b7d5677ef31b3651b4aad/src/lsl_inlet_c.cpp#L180-L185

Answer 1

np.frombuffer(data_buffer, dtype=c_float).reshape(-1, n_channels, order="C").T不能正常工作吗？ 当你这样做时， np.array将缓冲区视为一维数组，直到你重新塑造它为止。

对我来说，下面的代码产生了正确的形状。 （如果没有 MWE 对于应该在缓冲区中的数据，很难验证它是否正常工作）。

import numpy as np
from ctypes import c_double, c_float

# Assume a 2-second window, 3 channels, sampled at 1024 Hz
# data: (n_channels, n_samples) = (3, 2048)
# timestamps: (n_samples,) = (2048,)
n_channels = 3
n_samples = 2048
n_data_values = n_channels * n_samples
data_buffer = (c_float * n_data_values)() # Note that c_float is typically 32 bytes while c_double and numpy's default is 64 bytes
ts_buffer = (c_double * n_samples)()

# Create a mock buffer

input_data = np.arange(0,n_data_values, dtype=c_float)
input_data_buffer = input_data.tobytes()


timestamps = np.frombuffer(ts_buffer) 

# Note to specify the data type for the array of floats
data = np.frombuffer(input_data_buffer, dtype=c_float).reshape(-1, n_channels, order="C").T
# data has values 0,1,2 for first time point, 3,4,5 for second, and so on