C ++或Cython内存泄漏？

Question

我正在研究用cython编写的python扩展模块，该模块包装了我编写的C ++类。

碰撞

我有一个简单的python代码，可以导入此python模块并使用它处理一些数据。 现在，大约有四分之一的时间，程序终止在调用模块之后终止。 这也意味着所有数据都已正确处理。 它是这样的段错误：

/Users/axe/anaconda/bin/python.app: line 2: 73168 Segmentation fault: 11

使用gdb进行调试，运行gdb python ，然后run code.py ，我得到了

Program received signal EXC_BAD_ACCESS, Could not access memory.
Reason: 13 at address: 0x0000000000000000
0x00000001000894ae in PyObject_ClearWeakRefs ()

backtrace的输出是

#0  0x00000001000894ae in PyObject_ClearWeakRefs ()
#1  0x00000001010edae4 in array_dealloc ()
#2  0x000000010007503e in tupledealloc ()
#3  0x00000001000559b7 in insertdict_by_entry ()
#4  0x0000000100059177 in PyDict_SetItem ()
#5  0x000000010005d286 in _PyModule_Clear ()
#6  0x00000001000df8cd in PyImport_Cleanup ()
#7  0x00000001000f0027 in Py_Finalize ()
#8  0x0000000100107e1b in Py_Main ()
#9  0x0000000100000f54 in start ()

因此，segfault发生在我的python代码之外。 我提到如果我从ipython中运行代码，或者将解释器/ ipython更改为Enthought发行版中的代码，或者如果我将Cython从1.9.1降级到1.6，问题仍然存在。

C ++中的内存泄漏（？）

由于这看起来像是C ++代码中的内存泄漏（请让我知道是否还有其他可能的解释），因此我在C ++类的某些C ++测试代码上运行了Valgrind，但没有发现任何问题。 （我不是100％肯定它没有问题，因为我使用的是OSX Mountain Lion，尽管使用了最新版的Valgrind主干版本，但已知存在问题。我使用的是OSX10.8抑制文件，建议从这里开始。 无论如何，C ++类不使用new / delete / malloc / free，所以应该没问题。

Cython中的内存泄漏（？）

我尝试在崩溃的python代码上运行valgrind。 除了上面提到的OSX抑制文件外，我还添加了一个python抑制文件 。 Valgrind生成大量输出，然后崩溃。 在输出中没有任何对我的源代码的引用。 这是隐含的cython代码：

def split_props(np.ndarray[fptype, ndim=1, mode="c"] x,
                   np.ndarray[fptype, ndim=1, mode="c"] y,
                   np.ndarray[fptype, ndim=1, mode="c"] ylines):

cdef np.ndarray[fptype, ndim = 1, mode = "c"] areas = np.zeros((ylines.shape[0] + 1), dtype=np.float64, order="c")
cdef np.ndarray[fptype, ndim = 1, mode = "c"] static_moments_x = np.zeros((ylines.shape[0] + 1), dtype=np.float64, order="c")
cdef np.ndarray[fptype, ndim = 1, mode = "c"] inertia_moments_xx = np.zeros((ylines.shape[0] + 1), dtype=np.float64, order="c")

cdef SplitPolygon * SPINSTANCE = new SplitPolygon(100, 100)

SPINSTANCE.split_props(& x[0],  # = <fptype *> x.data
                         & y[0],
                         x.shape[0],
                         & ylines[0],
                         ylines.shape[0],
                         & areas[0],
                         & static_moments_x[0],
                         & inertia_moments_xx[0]
                         )
del SPINSTANCE
return areas, static_moments_x, inertia_moments_xx

上面的C ++类是SplitPolygon。 在Python代码中，我从用Cython模块仅功能导入split_props以上，所以内存泄漏必须在这部分代码或C ++代码。 而且，python代码的功能与C ++测试代码相同。

我在下面还报告了模块的另一部分，该部分非常相似，但是不会引起任何内存泄漏

def SplitCirc(np.ndarray[fptype, ndim=1, mode="c"] ycenters,
               np.ndarray[fptype, ndim=1, mode="c"] radii,
               np.ndarray[fptype, ndim=1, mode="c"] ylines):

cdef np.ndarray[fptype, ndim = 1, mode = "c"] areas = np.zeros((len(ylines) + 1), dtype=np.float64, order="c")
cdef np.ndarray[fptype, ndim = 1, mode = "c"] static_moments_x = np.zeros((len(ylines) + 1), dtype=np.float64, order="c")
cdef np.ndarray[fptype, ndim = 1, mode = "c"] inertia_moments_xx = np.zeros((len(ylines) + 1), dtype=np.float64, order="c")

split_circles(& ycenters[0], & radii[0], len(ycenters),
              & ylines[0], len(ylines),
              & areas[0], & static_moments_x[0], & inertia_moments_xx[0])
return areas, static_moments_x, inertia_moments_xx

现在，我真的停留在这一点上。 cython代码对您来说看起来不错吗？ 我可以编写任何测试用例来检查C ++类SplitPolygon是否确实无泄漏吗？ 崩溃是否可能由于其他原因发生？

Answer 1

感谢您的评论。 正如您所指出的，这不是内存泄漏。

问题在于数组x,y,ylines传递的数据，这是错误的，因为它不遵守SplitPol()类的规范。

这导致SplitPols.split_props()出现不确定的行为，在这种情况下，是在调用SPINSTANCE.split_props() ，将3个数组的边界写入地址之外的地址。

这三个数组由numpy分配，其中3次调用了zeros() 。 损坏的内存就在附近，并且从一个运行到另一个运行，它可能属于一个关键的Python对象，是否导致段错误，看上去一切都还不错。

SplitPols.split_props()代码返回正确的数据并没有SplitPols.split_props() ，这SplitPols.split_props() 。