从Python传递字符串时出现PyArg_ParseTuple的分段错误

Question

我正在尝试编写一个C扩展，它接受numpy数组作为输入。 一切正常，除非我传入一个字符串作为参数。

#define NPY_NO_DEPRECATED_API NPY_1_7_API_VERSION
#include "../../include/Python.h"
#include "../../include/arrayobject.h"

static PyObject *max(PyObject *self, PyObject *args)
{
    PyArrayObject *arr;
    long i, n, strides;

    if (PyArg_ParseTuple(args, "O!", &PyArray_Type, &arr)){
        /* Get some info about the data. */
        n           = PyArray_DIMS(arr)[0];
        strides     = PyArray_STRIDES(arr)[0];
        void *data0 = PyArray_DATA(arr);
        int typenum = PyArray_TYPE(arr);

        if (typenum == NPY_DOUBLE){
            double max = *(double *)data0;
            for (i=0; i<n; ++i){
                if (*(double *)data0 > max){
                    max = *(double *)data0;
                }
                data0 += strides;
            }
            return Py_BuildValue("d", max);
        }
        else if (typenum == NPY_LONG){
            long max = *(long *)data0;
            for (i=0; i<n; ++i){
                if (*(long *)data0 > max){
                    max = *(long *)data0;
                }
                data0 += strides;
            }
            return Py_BuildValue("l", max);
        }
        else {
            PyErr_Format(
                PyExc_TypeError, "\rInput should be a numpy array of numbers."
            );
            return NULL;
        }
    }
    else{
        PyErr_Format(
            PyExc_TypeError, "\rInput should be a numpy array of numbers."
        );
        return NULL;
    }
}

static PyMethodDef DiffMethods[] =
{
    {"max", max, METH_VARARGS, "Compute the maximum of a numpy array."},
    {NULL, NULL, 0, NULL}
};

static struct PyModuleDef cModPyDem =
    {PyModuleDef_HEAD_INIT, "_math_functions", "", -1, DiffMethods};

PyMODINIT_FUNC PyInit__math_functions(void)
{
    import_array();
    return PyModule_Create(&cModPyDem);
}

然后，我运行以下setup.py脚本：

def configuration(parent_package=None, top_path=None):
    import numpy
    from numpy.distutils.misc_util import Configuration
    config.add_extension('_math_functions', ['_math_functions.c'])

    return config

if __name__ == "__main__":
    from numpy.distutils.core import setup
    setup(configuration=configuration)

使用以下命令：

python setup.py config --compiler=gnu99 build_ext --inplace
rm -rf build/

而且效果很好。 该函数大部分工作：

In [1]: import _math_functions as mf

In [2]: import numpy as np

In [3]: x = np.random.randint(-1e3, 1e3, size=100)

In [4]: np.max(x), mf.max(x)
Out[4]: (998, 998)

In [5]: x = np.random.rand(100)

In [6]: np.max(x), mf.max(x)
Out[6]: (0.9962604850115798, 0.9962604850115798)

它还可以处理一些不适当的输入：

In [7]: x = np.array([1,2,"bob"])

In [8]: mf.max(x)
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-8-7ced17af9505> in <module>()
----> 1 mf.max(x)

Input should be a numpy array of numbers.

In [9]: mf.max("bob")
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-9-a656f60cf00d> in <module>()
----> 1 mf.max("bob")

Input should be a numpy array of numbers.

使用以下输入会发生问题：

In [10]: x = np.array("Bob")

In [11]: mf.max(x)
Segmentation fault: 11

编辑：我尝试过的一些事情。 使用：

PyArg_ParseTuple(args, "O", &arr)

相反，这仍然产生了段错误。 我还将printf("i")放在每行之前（i = 1、2，...），因此我确定段错误发生在PyArg_ParseTuple 。

我通读了文档，找到了"O&"选项，但无法使其正常工作。 欢迎任何有关如何正确使用的建议。

我也阅读了以下相关文章： PyArg_ParseTuple导致分段错误

CApi中的PyArg_ParseTuple SegFaults （不确定此解决方案如何应用...）

在Numpy数组上调用PyArg_ParseTuple时崩溃

关于如何正确处理此问题的任何线索？ 我想要的输出是引发TypeError。

谢谢！

Answer 1

您是否尝试添加调试语句以准确找出分段错误在代码中的何处发生？

假设分段错误发生在这里：

if (PyArg_ParseTuple(args, "O!", &PyArray_Type, &arr)) {

尝试添加不同的解析机制（例如"O" ，以免假设已传递PyArrayObject实例。 然后尝试使用生成的通用PyObject*并检查其类型（请参阅PyObject_TypeCheck ），并根据类型控制程序的流程。 扩展文档中解释了从此处引发异常的方法，但我认为它类似于：

PyErr_SetString(PyExc_TypeError, "Input should be a numpy array of numbers.");
return NULL;

Answer 2

哦，我的问题根本与琴弦无关。 如果输入为零维，则PyArray_DIMS和PyArray_STRIDES返回NULL ，这就是问题所在。 我放了更多的打印语句，程序确实通过了PyArg_ParseTuple 。 我真的是个傻瓜。 这是一个完整的工作示例，我只是添加了对这两个指针的检查。

#define NPY_NO_DEPRECATED_API NPY_1_7_API_VERSION
#include "../../include/Python.h"
#include "../../include/arrayobject.h"

static PyObject *max(PyObject *self, PyObject *args)
{
    PyArrayObject *arr;
    npy_int i, n, strides;
    void *data0;

    if (PyArg_ParseTuple(args, "O!", &PyArray_Type, &arr)){

        // Check to make sure input isn't zero dimensional!
        if ((PyArray_DIMS(arr) == NULL) || (PyArray_STRIDES(arr) == NULL)){
            PyErr_Format(PyExc_TypeError,
                         "Input is zero-dimensional.");
            return NULL;
        }

        // Useful information about the data.
        int typenum = PyArray_TYPE(arr);
        n           = PyArray_DIMS(arr)[0];
        strides     = PyArray_STRIDES(arr)[0];
        data0       = PyArray_DATA(arr);

        if (typenum == NPY_DOUBLE){
            double max = *(double *)data0;
            for (i=0; i<n; ++i){
                if (*(double *)data0 > max){
                    max = *(double *)data0;
                }
                data0 += strides;
            }
            return Py_BuildValue("d", max);
        }
        else if (typenum == NPY_LONG){
            long max = *(long *)data0;
            for (i=0; i<n; ++i){
                if (*(long *)data0 > max){
                    max = *(long *)data0;
                }
                data0 += strides;
            }
            return Py_BuildValue("l", max);
        }
        else {
            PyErr_Format(PyExc_TypeError,
                         "Input should be a numpy array of numbers.");
            return NULL;
        }
    }
    else{
        PyErr_Format(PyExc_TypeError,
                     "Input should be a numpy array of numbers.");
        return NULL;
    }
}

static PyMethodDef DiffMethods[] =
{
    {"max", max, METH_VARARGS, "Compute the maximum of a numpy array."},
    {NULL, NULL, 0, NULL}
};

static struct PyModuleDef cModPyDem =
    {PyModuleDef_HEAD_INIT, "_math_functions", "", -1, DiffMethods};

PyMODINIT_FUNC PyInit__math_functions(void)
{
    import_array();
    return PyModule_Create(&cModPyDem);
}

构建与以前相同。 到目前为止，这通过了我的所有测试：

In [1]: import numpy as np                                                                                                                                  

In [2]: import _math_functions as mf                                                                                                                        

In [3]: for i in range(1000): 
   ...:     for j in range(10): 
   ...:         x = np.random.rand((i+1)*100) 
   ...:         if ((np.max(x) - mf.max(x)) != 0): 
   ...:             print(i, j) 
   ...:         x = np.random.randint(-1e13*(i+1), 1e13*(i+1), size=1000) 
   ...:         if ((np.max(x) - mf.max(x)) !=0): 
   ...:             print(i, j) 
   ...:                                                                                                                                                     
# Nothing prints, so np.max and mf.max are spitting out the same answer.
In [4]: mf.max("Bob")                                                                                                                                       
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-4-bc67f3e1c10d> in <module>
----> 1 mf.max("Bob")

TypeError: Input should be a numpy array of numbers.

In [5]: mf.max(np.array(1))                                                                                                                                 
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-5-1cb4380527fa> in <module>
----> 1 mf.max(np.array(1))

TypeError: Input is zero-dimensional.

In [6]: mf.max(np.array("Bob"))                                                                                                                             
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-6-47b1925b8c3c> in <module>
----> 1 mf.max(np.array("Bob"))

TypeError: Input is zero-dimensional.