Python编程：多处理

Question

我有一个剧本。 它占用大量CPU，并且可以使用多核计算机，但未显示其利用率。 如何在Python 3中使用多处理库？ 也许还有其他东西？ 欢迎提供任何有关修改脚本的建议。 谢谢！

from nltk.corpus import wordnet as wn

from itertools import chain 

for line in infile:

  word = line.strip()

  if (word not in Dict):

      Dict[word]=(set(["-","-","-"]),0)

  lemma = lmtzr.lemmatize(word)

  for w, net1, net2, lch in syn(lemma):



      if (word not in Dict):

          Dict[word]={}

      for l in net2.lemmas():

          synonyms.append(l.name())


  Dict[word] = (set(synonyms),round(lch,2))


  synonyms =[]



infile.close()


csv_writer(Dict, "Text8_types_similar_lch.csv")

Answer 1

您可以使用joblib。 首先，将您的代码放入可以在任意数量的行上运行的函数中。 您可以将函数的结果写入csv文件，从而为每个进程生成一个不同的文件，您将不得不合并该文件，或者仅返回以下内容：

def my_func(lines):
    return_dict = {}
    for line in lines:
        # put your code here
    return return_dict

然后，编写一个函数将lines拆分为一些较小的块：

from itertools import islice

def grouper(n, iterable):
    it = iter(iterable)
    while True:
        chunk = tuple(islice(it, n))
       if not chunk:
           return
       yield chunk

最后，调用joblib的Parallel将每个数据块传递给函数：

from joblib import Parallel, delayed

results = Parallel(n_jobs=num_cores)(
    delayed(my_func)(line_chunk) for line_chunk in grouper(lines, 500))

results将是my_func返回的项目的列表，您可以按自己的喜好合并它们。