如何在特定時間間隔從 S3 存儲桶檢查和下載文件？

Question

將文件上傳到 aS3 Bucket 后，我想執行以下操作

1. 將文件下載到 windows 服務器
2. 運行第 3 方 exe 來處理文件並在 Windows 服務器上生成 output 文件

使用.Net Core 實現這一點的最佳方法是什么？

解決方案1：

1. 創建 Lambda function 以觸發 API
2. API 將下載文件並處理

解決方案2：

1. 創建一個可執行文件以從 s3 存儲桶下載文件
2. 創建 lambda function 觸發器可執行文件

解決方案3：

1. 創建服務以檢查和下載 s3 存儲桶中的文件
2. 下載的文件將由服務處理

解決方案4：

1. 使用 AWS Lambda 將文件推送到 SQS
2. 創建一個應用程序來監控 SQS。

請讓我知道實現這一點的最佳解決方案。 很抱歉問這個非技術性的問題。

Answer 1

正確的架構方法是：

• 在創建 object 時在 Amazon S3 存儲桶上創建向 Amazon SQS 隊列發送消息的觸發器
• Windows 服務器不斷輪詢 Amazon SQS 隊列等待消息出現
• 出現消息時，使用消息中的信息從 S3 下載 object並處理文件
• 將結果上傳到 Amazon S3 並可選擇發送 SQS 消息以指示完成（取決於您希望在處理文件后執行的操作）

這種架構能夠擴展到大容量，並允許並行處理文件，甚至可以跨多個服務器處理文件。 如果處理任務失敗並且未發出完成信號，則 Amazon SQS 將使消息再次可見以進行處理。