對 AWS EMR 的安裝寄予厚望

Question

我試圖對數據質量的目的抱有很高的期望

我在 AWS EMR 集群中運行我的工作，我也在嘗試在 AWS EMR 上啟動期望很高的工作

我有用於在集群上安裝依賴項的引導腳本。 看起來像這樣

#!/bin/bash
sudo yes | sudo yum install python3-devel
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install cython

sudo python3 -m pip install boto3==1.26.37
sudo python3 -m pip install great-expectations==0.15.36

根據日志輸出，我看到所有依賴項都已正確安裝，但作業開始后出現以下錯誤

ImportError: this version of pandas is incompatible with numpy < 1.17.3
your numpy version is 1.16.5.
Please upgrade numpy to >= 1.17.3 to use this pandas version

我試圖卸載 numpy 並通過 pip 在這樣的引導腳本中手動安裝它，但它沒有幫助

sudo python3 -m pip uninstall --yes numpy

我不明白為什么會這樣

Answer 1

sudo python3 -m pip install numpy==1.17.3

Answer 2

使用較新版本的 EMR 解決了問題。