如何将 C 二进制缓冲区转换为 Python 字符串中的十六进制表示？

Question

众所周知pysha3与pypy不兼容，因为3年未维护，我只好自己修改。

当然，正确的方法是在纯 python 代码中执行完全重写（这也将导致比当前更快的实现），但我缺乏密码学和背景数学所需的知识来做到这一点，并且使用它的程序是非常密集的列表（它需要一个没有用于多线程的 gil 的 python3 或带有 jit 的 python3）。

单点故障归结为这个 function必须由 C 代码调用：

static PyObject*
_Py_strhex(const char* argbuf, const Py_ssize_t arglen)
{
    static const char *hexdigits = "0123456789abcdef";

    PyObject *retval;
#if PY_MAJOR_VERSION >= 3
    Py_UCS1 *retbuf;
#else
    char *retbuf;
#endif
    Py_ssize_t i, j;

    assert(arglen >= 0);
    if (arglen > PY_SSIZE_T_MAX / 2)
        return PyErr_NoMemory();

#if PY_MAJOR_VERSION >= 3
    retval = PyUnicode_New(arglen * 2, 127);
    if (!retval)
            return NULL;
    retbuf = PyUnicode_1BYTE_DATA(retval);
#else
    retval = PyString_FromStringAndSize(NULL, arglen * 2);
    if (!retval)
            return NULL;
    retbuf = PyString_AsString(retval);
    if (!retbuf) {
            Py_DECREF(retval);
            return NULL;
    }
#endif
    /* make hex version of string, taken from shamodule.c */
    for (i=j=0; i < arglen; i++) {
        unsigned char c;
        c = (argbuf[i] >> 4) & 0xf;
        retbuf[j++] = hexdigits[c];
        c = argbuf[i] & 0xf;
        retbuf[j++] = hexdigits[c];
    }

    return retval;
}

pypy 的 cython 兼容级别为 3.2，并且PyUnicode_New是在 python3.3 中引入的。

我尝试用锤子方法修复它，用以下 cython 代码替换整个文件：

cdef Py_strhex(const char* argbuf, const Py_ssize_t arglen):
    return (argbuf[:arglen]).hex()

但它似乎触发了分段错误，包括编译和使用官方 Python 实现。 并且使用官方的 PyPy 二进制文件，我没有 gdb 的调试符号，所以我不知道为什么。

(gdb) bt
#0  0x00007ffff564cd00 in pypy_g_text_w__pypy_interpreter_baseobjspace_W_Root () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#1  0x00007ffff5d721a8 in pypy_g_getattr () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#2  0x00007ffff543a8bd in pypy_g_dispatcher_15 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#3  0x00007ffff5ab909b in pypy_g_wrapper_second_level.star_2_14 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#4  0x00007fffd7212372 in _Py_strhex.2738 () from /usr/lib64/pypy3.6-v7.2.0-linux64/site-packages/pysha3-1.0.3.dev1-py3.6-linux-x86_64.egg/_pysha3.pypy3-72-x86_64-linux-gnu.so
#5  0x00007fffd7217990 in _sha3_sha3_224_hexdigest_impl.2958 () from /usr/lib64/pypy3.6-v7.2.0-linux64/site-packages/pysha3-1.0.3.dev1-py3.6-linux-x86_64.egg/_pysha3.pypy3-72-x86_64-linux-gnu.so
#6  0x00007ffff5be2170 in pypy_g_generic_cpy_call__StdObjSpaceConst_funcPtr_SomeI_5 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#7  0x00007ffff54b25cd in pypy_g.call_1 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#8  0x00007ffff56715b9 in pypy_g_BuiltinCodePassThroughArguments1_funcrun_obj () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#9  0x00007ffff56ffc06 in pypy_g_call_valuestack__AccessDirect_None () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#10 0x00007ffff5edb29b in pypy_g_CALL_METHOD__AccessDirect_star_1 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so

将默认的 Linux 堆栈深度增加到 65Mb 不会改变发生段错误的递归深度，因此即使堆栈深度大于 200，这似乎与堆栈溢出无关。

Answer 1

就 Cython 而言，它比您想象的要简单：

cdef Py_strhex(const char* argbuf, const Py_ssize_t arglen):
    return (argbuf[:arglen]).hex()

从本质上讲，您不需要malloc （它引入了 memory 泄漏，因为它缺少free ）并且您不需要memcpy 。 argbuf[:arglen]创建具有适当长度的bytes object（制作数据的副本）。

这绝对适用于 CPython。 在 PyPy2 上，它产生AttributeError: 'str' object has no attribute 'hex' ，这对于 Python 2 是正确的。我想如果它产生分段错误，它会在AttributeError之前发生，所以这是有希望的。 我没有现成的 PyPy3...

---

编辑：

我现在已经设法在 PyPy3 上测试我的代码，如下所示：

# extra Cython code just to call the function
def test():
    cdef const char* a = "0123456789"
    return Py_strhex(a,10)

然后从 Python 开始：

import modulename
modulename.test()

这在没有分段错误的情况下工作正常； 因此我非常相信这段代码很好。

我不知道您是如何调用 Cython 代码的，因为您没有说； 但是 Cython 不会生成 C 代码，目的是您只需复制单个 function。 它生成一个模块并且该模块期望被导入（在模块导入期间设置了一些东西）。 具体来说，Cython 在模块初始化期间设置了一个字符串表，包括用于查找属性的字符串"hex" 。 要正确使用此代码，您需要确保首先导入它所包含的模块，而不是将生成的 Cython 代码的副本转储到 C 文件中。 在 Python 3 中这样做有点复杂，可能不适合您的目的。

我将把这个答案留在当前的 state 中，因为我相信它是正确的，并且问题出现在您未指定的部分中。 它很可能对您没有用，您可以随意忽略它。

Answer 2

好的，使用此变体找到了我正在寻找的东西。 这不适用于所有编译器，并且仅与 Python3 兼容，但它带来了部分 PyPy 兼容性（一些应该失败的测试，因为返回了不正确的 hash）与 pysha3 以及它依赖的程序：

static PyObject * _Py_strhex(const char* argbuf, const Py_ssize_t arglen) {
    static const char *hexdigits = "0123456789abcdef";

    assert(arglen >= 0);

    if (arglen > PY_SSIZE_T_MAX / 2)
        return PyErr_NoMemory();

    const Py_ssize_t len=arglen*2;
    char retbuf[len+1];
    retbuf[len+1]=0;

    /* make hex version of string, taken from shamodule.c */
    for (Py_ssize_t i=0,j=0; i < arglen; i++) {
        retbuf[j++] = hexdigits[(argbuf[i] >> 4) & 0xf];
        retbuf[j++] = hexdigits[argbuf[i] & 0xf];
    }

    return PyUnicode_FromStringAndSize(retbuf,len);
}