Amazon EMR pip 安装在引导操作中运行正常但没有效果

Question

在 Amazon EMR 中，我使用以下脚本作为自定义引导操作来安装 python 个程序包。 脚本运行正常（检查日志，包安装成功）但是当我在 Jupyter Lab 中打开笔记本时，我无法导入其中任何一个。 如果我在 JupyterLab 中打开一个终端并运行pip list或pip3 list ，我的包都不在那里。 即使我 go 到/并运行find. -name mleap find. -name mleap例如，它不存在。

我注意到，在主节点上，我一直收到一条错误消息，提示引导操作 2 失败（没有第二个操作，只有一个）。 据此，这是我在所有集群中遇到的罕见错误。 但是，我的集群最终被创建并且我可以使用它。

我的脚本叫做aws-emr-bootstrap-actions.sh

#!/bin/bash

sudo python3 -m pip install numpy scikit-learn pandas mleap sagemaker boto3

我怀疑这可能与正在部署的 docker 图像有关，该图像使我以前的安装或其他东西无效，但我认为（对于我的谷歌搜索）通常使用引导操作来安装 python 包并且应该工作......

Answer 1

Spark 使用的PYSPARK 、 Python 解释器与 OP 安装模块的解释器不同（如评论中所确认）。