对所有AWS Data Pipeline活动使用相同的EC2实例

Question

我正在使用AWS Data Pipeline将一些CSV数据从S3导入Redshift。 我还添加了一个ShellCommandActivity来在复制活动完成后删除所有S3文件。 我附上了整个过程的照片。

一切正常，但每个活动都会启动它自己的EC2实例。 在复制命令完成后，ShellCommandActivity是否有可能重用与RedshiftCopyActivity相同的EC2实例？

谢谢！

Answer 1

除非您可以在shell或CLI中执行所有活动，否则无法在同一实例中执行所有操作。

我可以提出的一个建议是继续研究新技术。 AWS Data Pipeline已过时（4年）。 您应该使用AWS Lambda，这将花费您所支付的一小部分，并且您可以在文件上传到S3后立即将文件加载到Redshift中。 清理是自动的，Lambda比AWS Data Pipeline强大得多。 您需要一个零管理的Amazon Redshift数据库加载程序教程。 是的，有一些学习曲线，但正如标题所示，这是零管理负担。

Answer 2

为了使ShellCommandActivity在同一EC2实例上运行，我使用Architect编辑了ShellCommandActivity，并为Runs On选项选择了Ec2Instance。 ShellCommandActivity将自动映射到与RedshiftCopyActivity相同的EC2Instance。 现在整个过程看起来像这样：

谢谢！