spacy v3.0 中的多線程

Question

我正在嘗試使用 spacy 來訓練命名實體識別器，它似乎只使用一個線程。 我做了一些研究，這似乎是 Cython 和 GIL 的問題，有一種方法可以更改位於“管道”方法中的線程數。 我還發現這篇非常有用的文章： https://explosion.ai/blog/multithreading-with-cython

問題是這是為 spacy v2 和 v3.0 編寫的，通過配置文件和諸如此類的東西完全改變了它們的格式。 我在一台有 8 個線程的機器上使用 Linux。 如何使用 spacy v3.0 成功實現多線程？

Answer 1

從 spacy v2 開始不支持多線程。 當前的替代方法是使用 ray 進行分布式訓練，使用 package spacy-ray ： https://spacy.io/usage/training#parallel-training