無法在AWS Sagemaker上安裝Spacy

Question

我正在嘗試將spacy加載到SageMaker中。 我在Jupyter Notebook實例中運行以下命令

!pip install spacy

我最終收到此錯誤

  gcc: error trying to exec 'cc1plus': execvp: No such file or directory
  error: command 'gcc' failed with exit status 1

還有這個

gcc: error: murmurhash/mrmr.cpp: No such file or directory
error: command 'gcc' failed with exit status 1

如何使用Sagemaker解決此問題？

Answer 1

從https://stackoverflow.com/a/38733918/3276830

修復gcc

sudo apt-get update
sudo apt-get install --reinstall build-essential

我不確定第二個錯誤，也許murmurhash/mrmr.cpp不存在？

Answer 2

當我開始使用SageMaker時遇到了類似的問題，因此我開發了這個開源項目https://github.com/Kenza-AI/sagify（sagify ），它是一個CLI工具，可以幫助您訓練和部署自己的機器學習/ SageMaker上的深度學習模型非常簡單。 無論使用什么庫（Keras，Tensorflow，scikit-learn，LightFM，spacy等），我都設法訓練和部署了所有ML模型。 本質上，您可以使用經典的pythonic方法（即，在requiments.txt中）指定所有依賴項，然后sagify將讀取它們並將其安裝在Docker映像上。 然后，可以在SageMaker上執行此Docker映像以進行培訓和部署。

Answer 3

您可以嘗試以下命令來安裝spacy，使用Jupyter單元選擇Python3內核

!conda update --all -y 
!conda install -n python3 -y -c conda-forge spacy

然后重新啟動內核。

重新啟動內核后，您應該能夠導入spacy。 或者您可以使用Jupyter終端發出與上述相同的命令，只需刪除！ 從上面發出命令時標記。