繁体   English   中英

适用于Python 3脚本的EC2实例

[英]EC2 instance for Python 3 script

我有一个用Python编写的脚本,需要花费相当长的时间(大约30分钟)在笔记本电脑上进行处理。 我当时想我可以在AWS中创建一个EC2实例,然后尝试看看是否有可能加快该过程。 我有一个AWS账户,所以我的问题是:

我应该创建哪种EC2实例类型以便以更快的方式运行该过程? 进程读取一个csv文件进行一些计算,然后将csv写入结果。 由于csv文件很小,因此脚本瓶颈在数学计算中。

我可以选择免费套餐或付费套餐实例。

我要说的是,如果必须使用ec2,请加大p2 extra large

尝试了解造成此延迟的原因。 您正在使用哪个库读取csv。 在python中,您可以通过多种方式来操作csv文件。例如,请参见图片:

在此处输入图片说明 图片来源在这里

NumPy,SciPy,joblib和hdf5是用于快速保存和加载csv数据的推荐选项。

尝试更改您的算法。 以我的经验,在进行csv操作时,pandas并不快。 如果该重要工作切换到p2 extra large ,请尝试调整您的代码

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM