如何通過氣流在 s3 中運行 python 腳本

Question

我們通常將我們的代碼存儲在 s3 中，並從氣流中調用它以將它們添加為 emr 中的新步驟。 spark-submit 可以從 s3 讀取數據（如 jars 和文件）。 但是如何從氣流中調用 s3 中存在的 python 腳本？ 這是一個簡單的 boto3 腳本。 請給我一些指導。

Answer 1

我認為這是通過 ariflow 實際運行 emr 作業的一種方式。 為什么您甚至需要添加步驟。最簡單的選擇是使用連接到 emr 的 ssh 運算符，然后通過 ssh 運算符執行 spark-submit。 spark-submit 將從 s3 獲取您的代碼，然后運行作業。