在 SageMaker Notebook 中安裝 spark 3.2

Question

SageMaker 支持 pyspark 2.4，我想在 Sagemaker 中安裝最新版本的 pyspark。 你能告訴我如何在 SageMaker 筆記本中安裝最新版本的 pyspark 嗎？

Answer 1

我假設您指的是 SageMaker 筆記本實例。

您可以使用魔法命令%%local在您的實例上本地運行命令。

例如，

%%local
!pip install --upgrade pyspark

升級后的package可能需要重啟kernel，可以像下面這樣測試——

%%local
import pyspark
print("PySpark version: ", pyspark.__version__)