在 AWS 上運行 Python 腳本並將 5GB 的文件傳輸到 EC2

Question

我是 AWS 的絕對初學者：我已經創建了一個密鑰和一個實例，我想在 EC2 環境中運行的 python 腳本需要遍歷大約 80,000 個文件，標記其中的句子，並將這些句子用於一些無監督學習.

這可能是重復的； 但是我找不到將這些文件復制到 EC2 環境並在 EC2 中運行 python 腳本的方法，我也不太確定如何使用 boto3。 我正在使用 Mac 操作系統。 我只是在尋找任何方法來加快速度。 非常感謝！ 我永遠心存感激！！！

Answer 1

這是一種可能有幫助的方法：

• 創建一個簡單的 IAM 角色，允許 S3 訪問保存您的文件的存儲桶
• 將該 IAM 角色應用於正在運行的 EC2 實例（或使用 IAM 角色啟動一個新實例）
• 在 EC2 實例上安裝 awscli
• 通過 SSH 連接到實例並使用aws s3 sync將 S3 文件同步到 EC2 實例
• 運行你的應用

我假設您已經啟動了具有足夠磁盤空間來保存文件的 EC2。

Answer 2

這是我最近嘗試的：

1. 創建存儲桶並使存儲桶可供公眾訪問。
2. 創建角色並添加 HTTP 選項。
3. 上傳所有文件並確保文件可公開訪問。
4. 獲取 S3 文件的 HTTP 鏈接。
5. 通過putty連接實例。
6. wget將文件復制到 EC2 實例中。

如果您的文件是 zip 格式，請復制一次足以將所有文件移動到實例中。