无法在AWS Sagemaker上安装Spacy

Question

我正在尝试将spacy加载到SageMaker中。 我在Jupyter Notebook实例中运行以下命令

!pip install spacy

我最终收到此错误

  gcc: error trying to exec 'cc1plus': execvp: No such file or directory
  error: command 'gcc' failed with exit status 1

还有这个

gcc: error: murmurhash/mrmr.cpp: No such file or directory
error: command 'gcc' failed with exit status 1

如何使用Sagemaker解决此问题？

Answer 1

从https://stackoverflow.com/a/38733918/3276830

修复gcc

sudo apt-get update
sudo apt-get install --reinstall build-essential

我不确定第二个错误，也许murmurhash/mrmr.cpp不存在？

Answer 2

当我开始使用SageMaker时遇到了类似的问题，因此我开发了这个开源项目https://github.com/Kenza-AI/sagify（sagify ），它是一个CLI工具，可以帮助您训练和部署自己的机器学习/ SageMaker上的深度学习模型非常简单。 无论使用什么库（Keras，Tensorflow，scikit-learn，LightFM，spacy等），我都设法训练和部署了所有ML模型。 本质上，您可以使用经典的pythonic方法（即，在requiments.txt中）指定所有依赖项，然后sagify将读取它们并将其安装在Docker映像上。 然后，可以在SageMaker上执行此Docker映像以进行培训和部署。

Answer 3

您可以尝试以下命令来安装spacy，使用Jupyter单元选择Python3内核

!conda update --all -y 
!conda install -n python3 -y -c conda-forge spacy

然后重新启动内核。

重新启动内核后，您应该能够导入spacy。 或者您可以使用Jupyter终端发出与上述相同的命令，只需删除！ 从上面发出命令时标记。