在valgrind下运行python显示memory出现很多错误是否正常？

Question

我尝试在我的 Python C 扩展中调试 memory 崩溃，并尝试在 valgrind 下运行脚本。 我发现 valgrind output 中存在太多“噪音”，即使我运行了以下简单命令：

valgrind python -c ""

Valgrind output 充满了这样的重复信息：

==12317== Invalid read of size 4
==12317==    at 0x409CF59: PyObject_Free (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x405C7C7: PyGrammar_RemoveAccelerators (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x410A1EC: Py_Finalize (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x4114FD1: Py_Main (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x8048591: main (in /usr/bin/python2.5)
==12317==  Address 0x43CD010 is 7,016 bytes inside a block of size 8,208 free'd
==12317==    at 0x4022F6C: free (in /usr/lib/valgrind/x86-linux/vgpreload_memcheck.so)
==12317==    by 0x4107ACC: PyArena_Free (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x41095D7: PyRun_StringFlags (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x40DF262: (within /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x4099569: PyCFunction_Call (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x40E76CC: PyEval_EvalFrameEx (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x40E70F3: PyEval_EvalFrameEx (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x40E896A: PyEval_EvalCodeEx (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x40E8AC2: PyEval_EvalCode (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x40FD99C: PyImport_ExecCodeModuleEx (in /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x40FFC93: (within /usr/lib/libpython2.5.so.1.0)
==12317==    by 0x41002B0: (within /usr/lib/libpython2.5.so.1.0)

Slackware 12.2 上的 Python 2.5.2。

这是正常行为吗？ 如果是这样，那么 valgrind 可能是不适合调试 Python 中的 memory 错误的工具？

Answer 1

你可以尝试使用python源码自带的抑制文件

阅读Python Valgrind README也是一个好主意！

Answer 2

这在任何大型系统中都很常见。 您可以使用 Valgrind 的抑制系统来明确抑制您不感兴趣的警告。

Answer 3

按照 Nick 提供的链接，我能够在README.valgrind上找到一些更新。 一句话，对于 Python > 3.6，可以设置PYTHONMALLOC=malloc环境变量来有效关闭警告。 例如，在我的机器中：

export PYTHONMALLOC=malloc
valgrind python my_script.py

不会产生任何与 python 相关的错误。

Answer 4

最正确的选择是告诉 Valgrind 它应该拦截 Python 的分配函数。 您应该修补 valgrind/coregrind/m_replacemalloc/vg_replace_malloc.c，为 PyObject_Malloc、PyObject_Free、PyObject_Realloc 添加新的拦截器，例如：

ALLOC_or_NULL(NONE,                  PyObject_Malloc,      malloc);

（注意用户分配函数的 soname 应该是NONE ）

Answer 5

是的，这是典型的。 大型系统通常会留下未释放的内存，只要它是一个常数就可以了，并且与系统的运行历史不成比例。 Python 解释器属于这一类。

也许您可以过滤 valgrind 输出以仅关注在您的 C 扩展中所做的分配？

Answer 6

我发现了另一种选择。 James Henstridge 有 python 的自定义构建，它可以检测到 python 在 valgrind 下运行的事实，在这种情况下，pymalloc 分配器被禁用，PyObject_Malloc/PyObject_Free 传递到正常的 malloc/free，valgrind 知道如何跟踪。

此处提供的软件包： https : //launchpad.net/~jamesh/+archive/python

Answer 7

这很正常如果您想更有效地使用 Valgrind 并捕获更多 memory 泄漏，则需要配置 python --without-pymalloc。 https://svn.python.org/projects/python/trunk/Misc/README.valgrind