使用多处理的 Spacy 训练器

Question

我正在尝试使用 spacy 训练自定义 ner model。 目前，我有超过 2k 条记录用于训练，每条文本由 100 多个单词组成，每条记录至少有 2 个以上的实体。 我运行它 50 次迭代。 完全训练需要2个多小时。

有什么方法可以使用多处理进行训练吗？ 它会改善训练时间吗？

Answer 1

简短的回答......可能不是

由于以下几个原因，您不太可能让它起作用：

• 正在训练的网络正在执行迭代优化
  • 不知道之前批次的结果，无法优化下批次
• 只有一个网络
  • 任何并行训练都会创建不同的网络......
  • ...然后你必须以某种方式合并

长答案......你可以做很多事情！

但是，您可以尝试几种不同的方法：

• 如果您还没有，请进行GPU 培训
  • 这很痛苦，但可以稍微加快训练时间
  • 然而，它会大大降低 CPU 使用率
• 尝试使用spaCy 命令行工具
  • JSON 格式很难生成，但是...
  • 好处是您可以获得专家编写的优化算法
  • 它可以比手工制作的方法获得更快/更好的结果
• 如果你有不同的实体，你可以训练多个专门的网络
  • 每一个都可以训练得更快
  • 这些网络可以彼此并行完成（CPU 允许）
• 优化你的python并试验参数
  • 速度和质量非常依赖于参数调整（批量大小、重复次数等）
  • 您提供批次的 python 实现（确保这是一流的）
• 预处理您的示例
  • spaCy NER 提取需要非常少的上下文才能工作
  • 你可以尝试预处理你的片段以包含 10 或 15 个周围的单词，看看你的时间和准确性如何

最后的想法......你的网络什么时候“完成”？

我已经在数以千计的示例中训练了许多实体的网络，并且长短不一，有时需要时间。

然而，90% 的性能提升是在前 10% 的训练中获得的。

• 需要等50批吗？
• ... 或者您正在寻找特定级别的性能？

如果您每X批次监控一次质量，您就可以在达到预定义的质量水平时退出。

您还可以保留您在之前批次上训练过的旧网络，然后用新训练“补充”它们，以达到同时从头开始无法达到的性能水平。

祝你好运！

Answer 2

嗨，我做了同一个项目，我使用 spacy3 创建了自定义 NER Model，并在大数据上提取了 26 个实体。 看到它真的取决于你如何传递你的数据。 按照我在下面提到的步骤进行操作，它是否可以在 CPU 上运行：

1. 注释您的文本文件并保存到 JSON

2. 将 JSON 文件转换为 .spacy 格式，因为这是 spacy 接受的格式。

3. 现在，需要注意的一点是，您如何在 spacy 文档 object 中传递和序列化您的.spacy格式。

通过所有 JSON 文本将花费更多的训练时间。 所以你可以拆分你的数据并通过迭代它。 不要传递合并数据。 拆分它。