Python 多处理 - 在父和衍生 class 之间共享的多处理数组中处理数据的问题

Question

我想实现一种在父 function 和它将产生的类的实例之间共享信息表的方法。 根据我阅读的内容，我需要使用给定长度的ctypes.c_char_p表。

我已经设法从父 function 初始化该表，然后我将其传递给称为 class。 从 class 的__init__()我可以访问其内容。 最后，我尝试操作它们（在此示例中颠倒名称），我确认 - 从 class - 共享数组按预期填充，但是当我尝试从父进程查看内容时，我得到了垃圾。

我的代码和 output 如下：

代码：

#!/usr/bin/env python3

import multiprocessing
import ctypes
import random
import json

class employee(multiprocessing.Process):

    def __init__(self, employee_data, shared_array_fields):

        self.employee_data = employee_data
        self.shared_array_fields = shared_array_fields
        # self.lock = lock
        
        print("**" * 100)
        print("IN class:\n", employee_data[:])

        self.run()

    def run(self):
        for ii in range(self.shared_array_fields):
            employee_string = self.employee_data[ii].decode("utf-8")
            new_name_json = json.loads(employee_string)
            new_name = new_name_json["name"][::-1]
            self.employee_data[ii] = bytes('{ "name": "' + str(new_name) + '" }', "utf-8")

        print("**" * 100)
        print("IN class AFTER manipulation:\n", self.employee_data[:])


shared_array_fields = 5

def main():
    global shared_array_fields

    lock = multiprocessing.Lock()
    employee_data = multiprocessing.Array(ctypes.c_char_p, shared_array_fields)

    for ii in range(shared_array_fields):
        name = ''.join(random.choice(['a', 'b', 'c', 'd', 'e']) for i in range(10)) + "_" + str(ii)
        employee_data[ii] = bytes('{ "name": "' + str(name) + '" }', "utf-8")

    print("**" * 100)
    print("BEFORE class:\n", employee_data[:])

    proc1 = multiprocessing.Process(target=employee, args=(employee_data, shared_array_fields))
    proc1.start()
    proc1.join()

    # time.sleep(1)

    print("**" * 100)
    print("AFTER class:\n", employee_data[:])


if __name__ == "__main__":
    main()

结果：

[http_offline@greenhat-32 tmp]$ ./temp.py 
********************************************************************************************************************************************************************************************************
BEFORE class:
 [b'{ "name": "abbbabeadc_0" }', b'{ "name": "daeebeeabc_1" }', b'{ "name": "dbbceedece_2" }', b'{ "name": "caccdcbeae_3" }', b'{ "name": "ccdcbdabdb_4" }']
********************************************************************************************************************************************************************************************************
IN class:
 [b'{ "name": "abbbabeadc_0" }', b'{ "name": "daeebeeabc_1" }', b'{ "name": "dbbceedece_2" }', b'{ "name": "caccdcbeae_3" }', b'{ "name": "ccdcbdabdb_4" }']
********************************************************************************************************************************************************************************************************
IN class AFTER manipulation:
 [b'{ "name": "0_cdaebabbba" }', b'{ "name": "1_cbaeebeead" }', b'{ "name": "2_ecedeecbbd" }', b'{ "name": "3_eaebcdccac" }', b'{ "name": "4_bdbadbcdcc" }']
********************************************************************************************************************************************************************************************************
AFTER class:
 [b'', b'', b'', b'', b'{ "name": "daeebeeabc_1" }']
[http_offline@greenhat-32 tmp]$ 

任何帮助表示赞赏。

Answer 1

使用数组非常麻烦，因为很难为它重写一个全新的值。 另外，为什么 go 需要从字典转换为字符串并返回只是为了使用数组？ 最后，您希望在进程之间共享的任何结构都应该由调用multiprocessing.Manager()创建的“管理器”实例创建，除非您想自己管理同步。

实现目标的最简单方法是让管理器创建两个 Queue 对象，一个输入队列（用于进程的输入）和一个 output 队列来保存结果。 在这种特殊情况下，您可以为两者使用相同的队列 object，但这更干净，通常是当您有多个输入和输出同时由进程池处理并且您没有使用标准库模块时使用的例如multiprocessing.pool或concurrent.futures 。

最后，您的Process子类的构造需要进行一些调整（您的构造函数需要调用基本 class 构造函数并且不应调用run ）。 通常用大写字母命名你的类，虽然我没有改变名字。 我也认为不继承Process更为常见。 通常只写一个 function 并传递给Process target 、 args和/或kwargs参数的调用。

更新为使用托管字典

#!/usr/bin/env python3

import multiprocessing
import random

class employee(multiprocessing.Process):

    def __init__(self, employees):

        super().__init__()   # init the base class !!!
        self.employees = employees

        print("**" * 100)
        print("IN class:\n", self.employees[:])


    def run(self):
        employees = self.employees
        for i, employee in enumerate(employees):
            new_name = employee["name"][::-1]
            employee["name"] = new_name
            employees[i] = employee # must be rewritten to show it has changed. Yuck!
        #self.employees = employees

        print("**" * 100)
        print("IN class AFTER manipulation:\n", employees[:])


def main():

    manager = multiprocessing.Manager()
    employees = manager.list()

    for ii in range(5):
        name = ''.join(random.choice(['a', 'b', 'c', 'd', 'e']) for i in range(10)) + "_" + str(ii)
        employees.append({"name": name})

    print("**" * 100)
    print("BEFORE class:\n", employees[:])

    proc1 = employee(employees)
    proc1.start()
    proc1.join()

    # time.sleep(1)

    print("**" * 100)
    print("AFTER class:\n", employees[:])


if __name__ == "__main__":
    main()