有没有办法从网站下载 csv 文件并使用 Lambda 将其直接上传到 Amazon S3？
[英]Is there a way to download a csv file from a website and upload it directly to Amazon S3 using Lambda?
问题描述
我正在制作一个应用程序来清理等搜索 CSV，该应用程序每天在网站上更新。 我正在使用 EC2 使用 python pandas.read_csv(url)将文件下载到 EBS，但现在我想让应用程序无服务器。 我想自动从“https://sam.gov/api/prod/fileextractservices/v1/api/download/Contract%20Opportunities/datagov/ContractOpportunitiesFullCSV.csv?privacy=Public”下载并将其上传到 S3 无服务器。 我不确定是否可以做到无服务器。 有更好的方法吗？ 文件大小约为 500 MB。
1 个解决方案
解决方案1
1 已采纳 2021-08-21 22:28:18
lambda 正是您想要用于此类场景的内容。 请执行下列操作：
- 创建 S3 存储桶
- 写 lambda function
- 配置一个IAM角色，赋予lambda写入S3 bucket的权限
- 配置EventBridge任务每天触发lambda function
如何使用 Python 从 Amazon S3 下载 JPG 文件到 memory？
[英]How do I download a JPG file from Amazon S3 into memory using Python?
如何使用 boto3 和 lambda 从 S3 存储桶中的 html 页面上传文件？
[英]How to upload a file from an html page in S3 bucket using boto3 and lambda?
如何使用节点、createPresignedPost 和获取将图像文件直接从客户端上传到 AWS S3
[英]How to upload an image file directly from client to AWS S3 using node, createPresignedPost, & fetch
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
文件直接从SwiftUI上传到S3
将生成的 PNG 从 lambda 上的节点上传到 amazon S3
AWS Lambda：从亚马逊 S3 位置上传代码
将 zip 个文件直接从网站上传到 AWS S3 存储桶？
我无法使用 Lambda 从 S3 下载文件到 EFS
如何使用 Python 从 Amazon S3 下载 JPG 文件到 memory？
Amazon S3 更改文件下载名称
如何使用 boto3 和 lambda 从 S3 存储桶中的 html 页面上传文件？
如何使用节点、createPresignedPost 和获取将图像文件直接从客户端上传到 AWS S3
如何直接上传文件到s3 django
相关标签