嵌套字典和多处理

Question

我有一个作者字典，每个作者都是一本字典，每本书都是一个单词列表。

我需要一个多处理方案，其中每个过程都要处理特定作者的特定书籍。

我尝试使用manager.dict()和manager.list()实例化字典和列表，但是我的字典仍然没有被填充。

这就是声明主字典对象的方式。

import multiprocessing
from multiprocessing import  Manager

manager = Manager()
allWords = manager.dict()

然后有一个read_author函数，用于执行任务read_author

def read_author(author):
        global allWords
        allWords[author] = manager.dict() # each author is a dictionary of books
        jobs = []
        for f in os.listdir(auth_dir):
                p = multiprocessing.Process(target=read_doc, args=(author, auth_dir, f,)) 
                jobs.append(p)
                p.start()
        return jobs

这就是使我的程序运行的功能。

def read_doc(author_name, author_dir, doc_name):
        global allWords
        allWords[author_name][doc_name] = manager.list()
        # document is loaded in the variable doc and it has a set of words
        for word in doc.words:
            allWords[author_name][doc_name].append(word)

文档是来自Gutenberg项目的txt文件，上面的doc对象是使用spacy构造的语法树。

read_doc实际上涉及文档树的解析以及read_doc组的提取和计数。 为了简洁起见，我跳过了代码示例中的那些部分，但这是我想要分配给多个CPU内核的计数任务，这就是为什么我使用多处理。

Answer 1

Python多处理准则建议尽可能避免共享状态。
虽然我不清楚您的代码为何无法正常工作，但我看不出有使用Manager和共享状态的任何理由。
在此示例中，最终的allWords dict在主流程中由Pool流程中生成的单词列表组装而成：

def read_doc(author_name, doc_name):
    # document is loaded in the variable doc and it has a set of words
    return author_name, doc_name, list(doc.words)

def read_doc_param_gen(authors):
    for author in authors:
        auth_dir =  deduce_auth_dir(author)
        for f in os.listdir(auth_dir):
            yield author, f

def read_authors(authors):
    pool = multiprocessing.Pool()
    allWords = collections.defaultdict(dict)
    for author_name, doc_name, lst in pool.map(read_doc, read_doc_param_gen(authors)):
        allWords[author_name][doc_name] = lst
    return allWords

如果您需要更新一些GUI或其他内容，还可以使用Pool.imap 。