如何修復 Jupyter notebook 依賴項？ ModuleNotFoundError：沒有名為“boto3”的模塊

Question

我正在運行 EMR 集群 (AWS)，但我不明白筆記本如何導入包。 我正在運行 PySpark kernel。

import boto3
No module named 'boto3'
Traceback (most recent call last):
ModuleNotFoundError: No module named 'boto3'

print (sys.version) 顯示

3.7.6 (default, Feb 26 2020, 20:54:15) 
[GCC 7.3.1 20180712 (Red Hat 7.3.1-6)]

print(sys.executable) 顯示

/tmp/1594625399736-0/bin/python

我同時安裝了 Conda 和 pip3 的 boto3。

如何解決這個問題？

Answer 1

您使用的是 pyspark 嗎？ 如果是，那么您需要在 spark 上下文中安裝這些包。 請參閱此 AWS 文檔： https://aws.amazon.com/blogs/big-data/install-python-libraries-on-a-running-cluster-with-emr-notebooks/

如果您在導入時看到模塊未找到錯誤，同樣安裝任何依賴包。 確保版本兼容。

Answer 2

sc.list_packages()

Package                    Version
-------------------------- -------
beautifulsoup4             4.9.0  
boto                       2.49.0 
cycler                     0.10.0 
jmespath                   0.9.5  
kiwisolver                 1.2.0  
lxml                       4.5.0  
matplotlib                 3.2.2  
mysqlclient                1.4.2  
nltk                       3.4.5  
nose                       1.3.4  
numpy                      1.19.0 
pandas                     1.0.5  
pip                        9.0.1  
py-dateutil                2.2    
py4j                       0.10.9 
pyparsing                  2.4.7  
pyspark                    3.0.0  
python-dateutil            2.8.1  
python37-sagemaker-pyspark 1.3.0  
pytz                       2020.1 
PyYAML                     5.3.1  
setuptools                 28.8.0 
six                        1.15.0 
soupsieve                  1.9.5  
wheel                      0.29.0 
windmill                   1.6

我有博托。

Answer 3

sc.install_pypi_package("boto3")