PicklingError：无法腌制<class 'ctypes.c_char_array_x'> : ctypes 上的属性查找 c_char_Array_X 失败</class>

Question

在多处理中使用 ctypes 结构存在问题

我可以将简单的 ctypes 变量与多处理一起使用，但是当我使用传递给 funcs 的结构时，酸洗会出现问题

这是一些演示此问题的代码

import concurrent.futures
from ctypes import *


def test_c_val(c_val):
    print(c_val.value)
    return c_val.value

test_int = c_int(55)
test_char = c_char(str(6).encode())
arr = [str(i).encode() for i in range(4)]
test_c_array = (c_char * len(arr))(*arr)

futures = []
with concurrent.futures.ProcessPoolExecutor(max_workers=1) as executor:
    futures.append(executor.submit(test_c_val, test_int))
    futures.append(executor.submit(test_c_val, test_char))
    futures.append(executor.submit(test_c_val, test_c_array))
    time.sleep(5)
    print(futures[2])
    
print(futures)
print(futures[2].exception())

我该如何解决？

Answer 1

ctypes 指针可以指向 memory python 不知道的任何大小或位置，它甚至可能指向 null，并且 python 尝试腌制它是不安全的，因此 python 不会腌制它。

最接近的是使用multiprocessing.Array共享 memory 数组，或者使用可以 pickle 的 python数组。

这是使用数组完成的方式，因为它是一个 python object 可以被 pickle，发送数组并使用指向它的指针形成 ctypes object。

import concurrent.futures
import ctypes
import array
import time

def test_c_val(c_val):
    print(c_val.value)
    return c_val.value

def test_py_array(py_arr:array.array):
    c_array_size = py_arr.buffer_info()[1]
    c_array = (ctypes.c_char*c_array_size).from_address(py_arr.buffer_info()[0])
    print(c_array.value)
    return py_arr

if __name__ == "__main__":
    test_int = ctypes.c_int(55)
    test_char = ctypes.c_char(str(6).encode())
    arr = [str(i).encode() for i in range(4)]
    test_c_array = (ctypes.c_char * len(arr))(*arr)
    # test_py_c_array = array.array('b', b''.join(arr))
    test_py_c_array = array.array('b', test_c_array.value)
    futures = []
    with concurrent.futures.ProcessPoolExecutor(max_workers=1) as executor:
        futures.append(executor.submit(test_c_val, test_int))
        futures.append(executor.submit(test_c_val, test_char))
        futures.append(executor.submit(test_py_array, test_py_c_array))
        time.sleep(1)
        print(futures[2])

    print(futures)
    print(futures[2].exception())

如果你想使用共享 memory 那么你可以使用multiprocessing.shared_memory比multiprocessing.Array更灵活，注意你不能 pickle multiprocessing.Array ，它只能被继承，不像 python 数组。

或者有numpy允许更容易和可序列化 c arrays 比 python arrays 更容易使用。