在 AWS 上运行 Python 脚本并将 5GB 的文件传输到 EC2

Question

我是 AWS 的绝对初学者：我已经创建了一个密钥和一个实例，我想在 EC2 环境中运行的 python 脚本需要遍历大约 80,000 个文件，标记其中的句子，并将这些句子用于一些无监督学习.

这可能是重复的； 但是我找不到将这些文件复制到 EC2 环境并在 EC2 中运行 python 脚本的方法，我也不太确定如何使用 boto3。 我正在使用 Mac 操作系统。 我只是在寻找任何方法来加快速度。 非常感谢！ 我永远心存感激！！！

Answer 1

这是一种可能有帮助的方法：

• 创建一个简单的 IAM 角色，允许 S3 访问保存您的文件的存储桶
• 将该 IAM 角色应用于正在运行的 EC2 实例（或使用 IAM 角色启动一个新实例）
• 在 EC2 实例上安装 awscli
• 通过 SSH 连接到实例并使用aws s3 sync将 S3 文件同步到 EC2 实例
• 运行你的应用

我假设您已经启动了具有足够磁盘空间来保存文件的 EC2。

Answer 2

这是我最近尝试的：

1. 创建存储桶并使存储桶可供公众访问。
2. 创建角色并添加 HTTP 选项。
3. 上传所有文件并确保文件可公开访问。
4. 获取 S3 文件的 HTTP 链接。
5. 通过putty连接实例。
6. wget将文件复制到 EC2 实例中。

如果您的文件是 zip 格式，请复制一次足以将所有文件移动到实例中。