如何執行AWS Emr和Redshift腳本？

Question

我在S3 folder中有文件，在這里我必須使用EMR PiG scripts進行轉換，然后再加載回s3。

之后，我在redshift中創建了從S3加載的表。

當前，我已經使用SQL工作台從s3加載文件，並且已經從AWS GUI窗口執行了Pig腳本。

我想知道如何從unix shell調用Pig腳本？ 除了sqlworkbench，我如何執行redshift腳本？ 如何依次運行它們？

我需要安裝EC2 Linux才能連接到EMR嗎？ 注意：我也有Windows EC2實例。

Answer 1

首先，您需要使用EMR啟動器代碼，可以使用amazon cli或amazon java SDK進行操作。 使用此功能，您可以啟動EMR作業。

您也可以使用Amazon EMR控制台創建集群。 請選擇步驟Pig程序，並為您的Pig腳本提供路徑S3。 在路徑中指定S3中的輸入位置，然后將其輸出到s3。 啟動作業。

作業結束后，它將把輸出寫入s3。

成功完成工作后，啟動腳本（python，shell或java代碼）以觸發復制命令。 該腳本應連接到您的redshift集群，將已處理的內容從S3復制到redshift table。

您可以從本地計算機連接EMR和redshift，也可以使用EC2觸發EMR啟動器和redshift加載程序腳本。