雲服務在文件上傳時運行批處理腳本？

Question

我希望對從我的網站上載的文件運行批處理腳本（一次一個），並返回該批處理腳本生成的結果文件。 該網站托管在共享的Linux環境中，因此我無法在服務器上運行批處理文件。

聽起來我可以使用Amazon S3和Amazon Lambda完成某些工作，但是我想知道是否還有其他服務可以使我完成相同的任務。

Answer 1

我建議您研究S3事件和Lambda。

使用S3事件，您可以在S3存儲桶中的放置和刪除操作上觸發lambda函數，並且根據您的“批處理文件”任務，您可能可以純粹在Lambda中實現目標。

如果您不能使用Lambda替換批處理文件的功能，則可以嘗試以下操作：

• 如果您需要在特定實例上運行批處理流程，請查看Amazon SQS。 您可以讓S3事件觸發Lambda在SQS中創建工作項，並且您的實例可以定期輪詢SQS以進行工作。
• 如果您需要更多實時的信息，則可以使用Amazon SNS進行推送，而不是采用上述方法。
• 如果您不需要特定實例處理文件，但必須對它運行批處理文件，則也許可以讓S3事件觸發Lambda創建一個實例，該實例具有一個將為服務器准備系統的UserData腳本。根據需要，下載s3文件，對其進行批處理，然后通過EC2元數據服務查找其自身的實例ID並調用api方法終止實例來最終自行終止。

這里是一些相關的閱讀材料，可以幫助您實現上述方法：

亞馬遜SQS https://aws.amazon.com/documentation/sqs/

亞馬遜SNS https://aws.amazon.com/documentation/sns/

亞馬遜Lambda https://aws.amazon.com/documentation/lambda/

Amazon S3事件通知 http://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html

EC2用戶數據 http://docs.aws.amazon.com/AWSEC2/latest/WindowsGuide/ec2-instance-metadata.html#instancedata-add-user-data

EC2元數據服務 http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-instance-metadata.html#instancedata-data-retrieval

適用於Powershell Cmdlet的AWS工具參考 http://docs.aws.amazon.com/powershell/latest/reference/Index.html