追加到numpy数组

Question

我正在尝试构造一个numpy数组，然后向其附加整数和另一个数组。 我尝试这样做：

xyz_list = frag_str.split()
nums = numpy.array([])
coords = numpy.array([])
for i in range(int(len(xyz_list)/4)):
    numpy.append(nums, xyz_list[i*4])
    numpy.append(coords, xyz_list[i*4+1:(i+1)*4])
print(atoms)
print(coords)

打印输出仅给出我的空数组。 这是为什么？ 另外，如何以一种允许我拥有2D数组的方式重写coords ： array[[0,0,0],[0,0,1],[0,0,-1]] ？

Answer 1

numpy.append与python的list.append不同，它不会执行适当的操作。 因此，您需要将结果分配回一个变量，如下所示。

import numpy

xyz_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12]
nums = numpy.array([])
coords = numpy.array([])

for i in range(int(len(xyz_list)/4)):
    nums = numpy.append(nums, xyz_list[i*4])
    coords = numpy.append(coords, xyz_list[i*4+1:(i+1)*4])

print(nums)    # [ 1.  5.  9.]
print(coords)  # [  2.   3.   4.   6.   7.   8.  10.  11.  12.]

您可以按以下方式重塑coords ：

coords = coords.reshape(3, 3)

# array([[  2.,   3.,   4.],
#        [  6.,   7.,   8.],
#        [ 10.,  11.,  12.]])

有关numpy.append行为的更多详细信息

说明文件 ：

返回：arr的副本，其值附加在axis上。 请注意，append不会就地发生：分配并填充了一个新数组。

如果您事先知道numpy数组输出的形状，则可以通过np.zeros(n)进行实例化， np.zeros(n)其填充结果。

另一个选择：如果您的计算大量使用了在数组左侧插入元素的方法 ，请考虑使用标准库中的collections.deque 。

Answer 2

np.append不是列表克隆。 它是np.concatenate的笨拙包装器。 最好学习正确使用它。

xyz_list = frag_str.split()
nums = []
coords = []
for i in range(int(len(xyz_list)/4)):
    nums.append(xyz_list[i*4])
    coords.append(xyz_list[i*4+1:(i+1)*4])
nums = np.concatenate(nums)
coords = np.concatenate(coords)

列表附加更快，更易于初始化。 np.concatenate可以很好地处理数组列表。 np.append使用concatenate ，但仅接受两个输入。 如果列表包含数字或字符串，则需要np.array 。

---

您没有给出frag_str的示例。 但是名称和split的用法表明它是一个字符串。 我认为没有其他方法可以使用split方法。

In [74]: alist = 'one two three four five six seven eight'.split()

那是一个字符串列表。 使用索引，我可以构造2个列表：

In [76]: [alist[i*4] for i in range(2)]
Out[76]: ['one', 'five']

In [77]: [alist[i*4+1:(i+1)*4] for i in range(2)]
Out[77]: [['two', 'three', 'four'], ['six', 'seven', 'eight']]

我可以从每个列表中创建数组：

In [78]: np.array(Out[76])
Out[78]: array(['one', 'five'], dtype='<U4')
In [79]: np.array(Out[77])
Out[79]: 
array([['two', 'three', 'four'],
       ['six', 'seven', 'eight']], dtype='<U5')

在第一种情况下，数组为1d，在第二种情况下为2d。

如果字符串包含数字，则可以通过指定dtype来创建整数数组。

In [80]: alist = '1 2 3 4 5 6 7 8'.split()
In [81]: np.array([alist[i*4] for i in range(2)])
Out[81]: array(['1', '5'], dtype='<U1')
In [82]: np.array([alist[i*4] for i in range(2)], dtype=int)
Out[82]: array([1, 5])

Answer 3

如上所述， numpy.append不会在适当位置附加项目，但是重要的原因。 您必须将返回的数组从numpy.append存储到原始变量，否则您的代码将无法工作。 话虽如此，您可能应该重新考虑自己的逻辑。

Numpy在内部使用C样式的数组，它们是连续内存中没有前导或尾随未使用元素的数组。 为了将项目附加到数组，Numpy必须分配一个数组大小为+ 1的缓冲区，复制所有数据，然后添加附加的元素。

在伪C代码中，这涉及以下内容：

int* numpy_append(int* arr, size_t size, int element)
{
    int* new_arr = malloc(sizeof(int) * (size+1);
    mempcy(new_arr, arr, sizeof(int) * size);
    new_arr[size] = element;
    return new_arr;
}

这是非常低效的，因为每次都必须分配一个新数组（内存分配很慢），必须复制所有元素，并将新元素添加到新数组的末尾。

相比之下，Python列表保留了超出容器大小的额外元素，直到大小与列表的容量相同，并且呈指数增长。 与每次重新分配整个缓冲区相比，这对于在容器末尾插入更为有效。

您应该使用Python列表和list.append ，然后将新列表转换为NumPy数组。 或者，如果性能确实很关键， numpy.append在所有情况下都使用使用std::vector而不是numpy.append的C ++扩展名。 重新编写您的代码，否则会很麻烦。

编辑

另外，正如注释中指出的那样，如果您事先知道Numpy数组的大小，则使用np.zeros(n)预分配非常有效，就像在NumPy数组周围使用自定义包装器一样

class extendable_array:
    def __init__(self, size=0, dtype=np.int):
        self.arr = np.array(dtype=dtype)
        self.size = size

    def grow(self):
        '''Double the array'''

        arr = self.arr
        self.arr = np.zeros(min(arr.size * 2, 1), dtype=arr.dtype)
        self.arr[:arr.size] = arr

    def append(self, value):
        '''Append a value to the array'''

        if self.arr.size == self.size:
            self.grow()

        self.arr[self.size] = value
        self.size += 1.

    # add more methods here