aws emr-serverless 中的 Virtualenv

Question

我正在嘗試使用安裝了一些庫的虛擬環境在 aws cli 上運行一些作業。 我遵循了本指南； 這里也是一樣。 但是當我運行作業時，我遇到了這個錯誤：

Job execution failed, please check complete logs in configured logging destination. ExitCode: 1. Last few exceptions: Caused by: java.io.IOException: error=2, No such file or directory Exception in thread "main" java.io.IOException: Cannot run program "./environment/bin/python"

我也試過/home/hadoop/environment/bin/python作為路徑，但我得到了相同的結果。 我的工作會議是：

--conf spark.archives=s3://mybucket/dependencies/myenv.tar.gz#environment --conf spark.emr-serverless.driverEnv.PYSPARK_DRIVER_PYTHON=./environment/bin/python --conf spark.emr-serverless.driverEnv.PYSPARK_PYTHON=./environment/bin/python --conf spark.emr-serverless.executorEnv.PYSPARK_PYTHON=./environment/bin/python

如果我在工作中奔跑

os.listdir("./environment/bin/)

結果是

['python3.9', 'pip', 'pip3.9', 'rst2xetex.py', 'rstpep2html.py', 'f2py3', 'rst2latex.py', 'f2py', 'rst2odt.py', 'rst2html4.py', 'pip3', 'aws', 'python3', 'jp.py', 'rst2odt_prepstyles.py', 'pyrsa-encrypt', 'activate', 'rst2man.py', 'pyrsa-priv2pub', 'python', 'pyrsa-keygen', 'pyrsa-verify', 'rst2html.py', 'aws_completer', 'f2py3.9', 'venv-pack', 'rst2pseudoxml.py', 'aws_bash_completer', 'aws_zsh_completer.sh', 'aws.cmd', 'rst2s5.py', 'rst2xml.py', 'pyrsa-decrypt', 'rst2html5.py', 'Activate.ps1', '__pycache__', 'pyrsa-sign']

所以路徑應該是正確的。 我還嘗試將腳本中的 PYSPARK_DRIVER_PYTHON 設置為

os.environ['PYSPARK_PYTHON'] = "./environment/bin/python"
os.environ['PYSPARK_DRIVER_PYTHON'] = "./environment/bin/python"

但在這種情況下，錯誤是當我導入安裝在 virtualenv 中的庫時，它使用標准 python 運行腳本。

你能幫助我嗎？

Answer 1

問題是您可能沒有使用 Amazon Linux 2 來創建 venv。 使用 Amazon Linux 和 Python 3.7.10 為我做到了。

如此處詳述，您可以使用類似於此 docker 文件來生成這樣的 venv。 您最好使用requirements.txt以使其更可重用，但它為您提供了想法。

FROM --platform=linux/amd64 amazonlinux:2 AS base

RUN yum install -y python3

ENV VIRTUAL_ENV=/opt/venv
RUN python3 -m venv $VIRTUAL_ENV
ENV PATH="$VIRTUAL_ENV/bin:$PATH"

RUN python3 -m pip install --upgrade pip && \
    python3 -m pip install \
    great_expectations==0.15.6 \
    venv-pack==0.2.0

RUN mkdir /output && venv-pack -o /output/pyspark_ge.tar.gz

FROM scratch AS export
COPY --from=base /output/pyspark_ge.tar.gz /