Amazon EMR pip 安裝在引導操作中運行正常但沒有效果

Question

在 Amazon EMR 中，我使用以下腳本作為自定義引導操作來安裝 python 個程序包。 腳本運行正常（檢查日志，包安裝成功）但是當我在 Jupyter Lab 中打開筆記本時，我無法導入其中任何一個。 如果我在 JupyterLab 中打開一個終端並運行pip list或pip3 list ，我的包都不在那里。 即使我 go 到/並運行find. -name mleap find. -name mleap例如，它不存在。

我注意到，在主節點上，我一直收到一條錯誤消息，提示引導操作 2 失敗（沒有第二個操作，只有一個）。 據此，這是我在所有集群中遇到的罕見錯誤。 但是，我的集群最終被創建並且我可以使用它。

我的腳本叫做aws-emr-bootstrap-actions.sh

#!/bin/bash

sudo python3 -m pip install numpy scikit-learn pandas mleap sagemaker boto3

我懷疑這可能與正在部署的 docker 圖像有關，該圖像使我以前的安裝或其他東西無效，但我認為（對於我的谷歌搜索）通常使用引導操作來安裝 python 包並且應該工作......

Answer 1

Spark 使用的PYSPARK 、 Python 解釋器與 OP 安裝模塊的解釋器不同（如評論中所確認）。