Python和数字/ numpy数组切片行为

Question

在Python2.4上，单个冒号切片运算符:可在Numeric矩阵上按预期工作，因为它返回其使用的维的所有值。 例如，二维矩阵的所有X和/或Y值。

在Python2.6上，单个冒号切片运算符在某些情况下似乎会产生不同的影响：例如，在规则的2-D MxN矩阵上， m[:]可能导致zeros(<some shape tuple>, 'l')作为结果切片返回。 完整的矩阵是人们所期望的-这是使用Python2.4获得的。

在Python2.6中使用双冒号::或3点...而不是单个冒号似乎可以解决此问题并返回正确的矩阵切片。

经过一番猜测，我发现当输入0作为停止索引时，您可以获得相同的零输出。 例如m[<any index>:0]返回与m[:]相同的“零”输出。 尝试执行m[:]时，有什么方法可以调试选择了哪些索引？ 还是在两个Python版本（2.4到2.6）之间发生了一些变化，会影响切片运算符的行为？

两个Python版本之间使用的Numeric版本（24.2）相同。 为什么单冒号切片不能在Python 2.6上以与版本2.4相同的方式工作？

Python2.6：

>>> a = array([[1,2,3],[4,5,6]])
**>>> a[:]
zeros((0, 3), 'l')**

>>> a[::]
array([[1,2,3],[4,5,6]])

>>> a[...]
array([[1,2,3],[4,5,6]])

Python2.4：

>>> a = array([[1,2,3],[4,5,6]])
**>>> a[:]
array([[1,2,3],[4,5,6]])**

>>> a[::]
array([[1,2,3],[4,5,6]])

>>> a[...]
array([[1,2,3],[4,5,6]])

（我从头开始输入“代码”，因此它可能不是完全准确的语法或打印输出，但会显示正在发生的情况）

Answer 1

看来问题是整数溢出问题。 在数字源代码中，正在使用的矩阵数据结构位于一个名为MA.py的文件中。 特定的类称为MaskedArray。 在类的末尾有一行将“ array（）”函数设置为此类。 我很难找到这些信息，但事实证明它非常关键。

在MaskedArray类中还有一个getslice （self，i，j）方法，该方法接受开始/停止索引并返回适当的切片。 找到这些并为这些索引添加调试之后，我发现在使用Python2.4的情况下，对整个数组进行切片时，自动输入的开始/停止索引分别为0和2 ^ 31-1。 但是在Python2.6下，停止输入自动输入更改为2 ^ 63-1。

切片数组时，可能在数字源/库代码中的某个地方，只有32位存储停止索引。 因此，2 ^ 63-1值正在溢出（但是任何大于2 ^ 31的值都将溢出）。 在这些不良情况下，输出切片最终等同于从开始0到停止0的切片，例如空矩阵。 从[0：-1]进行切片时，您会得到一个有效的切片。 我认为（2 ^ 63-1）解释为32位数字将得出-1。 我不太确定为什么从0切片到2 ^ 63-1的输出与从0切片到0（在其中得到一个空矩阵）的输出相同，而不是从0切片到-1（在这里得到至少一些输出）。

虽然，如果我输入将溢出的结束切片索引（即大于2 ^ 31），但是低32位是有效的正非零数字，我将获得有效的切片。 例如，停止索引2 ^ 33 + 1将返回与停止索引1相同的切片，因为在这两种情况下，低32位均为1。

Python 2.4示例代码：

>>> a = array([[1,2,3],[4,5,6]])
>>> a[:]             # (which actually becomes a[0:2^31-1])
[[1,2,3],[4,5,6]]    # correct, expect the entire array

Python 2.6示例代码：

>>> a = array([[1,2,3],[4,5,6]])
>>> a[:]             # (which actually becomes a[0:2^63-1])
zeros((0, 3), 'l')   # incorrect b/c of overflow, should be full array
>>> a[0:0]
zeros((0, 3), 'l')   # correct, b/c slicing range is null
>>> a[0:2**33+1]
[ [1,2,3]]           # incorrect b/c of overflow, should be full array
                     # although it returned some data b/c the
                     # lower 32 bits of (2^33+1) = 1
>>> a[0:-1]
[ [1,2,3]]           # correct, although I'm not sure why "a[:]" doesn't
                     # give this output as well, given that the lower 32
                     # bits of 2^63-1 equal -1

Answer 2

我想我十年前使用2.4。 那时我使用了numpy ，但可能已为其NETCDF功能添加了Numeric 。 但是细节是模糊的。 而且我现在没有任何这些版本可以测试。

那时的Python文档应该很容易探索。 numpy / Numeric文档显得比较轻率。

我认为Python始终具有基本的功能:切片列表。 alist[:]复制， alist[1:-1]切片第一个和最后一个元素， alist[1:-1] 。

我不知道什么时候添加了step ，例如alist[::-1]来反向列表。

Python根据数字开发人员的要求开始识别索引元组，例如arr[2,4] ， arr[(2,4)] ， arr[:, [1,2]] ， arr[::-1, :] 。 但是我不知道什么时候出现

Ellipsis也主要对多维索引具有价值。 Python解释器可以识别... ，但是列表无法处理。 大约在同一时间， :符号被正式实现为slice ，例如

在3.5中，我们可以使用slice来反转列表

In [6]: list(range(10)).__getitem__(slice(None,None,-1))
Out[6]: [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

我建议一些事情：

• 确保您了解当前系统中的numpy （和list ）索引/切片

• 在旧版本中尝试相同的操作； 向SO问题提出具体的差异示例。 不要指望我们任何人都有旧代码的记忆。

• 研究文档以查找可疑功能的更改或添加时间。