如何處理與 Lambda 和 S3 存儲桶的同步

Question

I have a lambda function written in Python, This function process some file present in the S3 bucket and once process is done, move it to the another S3 Bucket. 此 Lambda function 由 S3 存儲桶上的文件創建和調度程序每 15 分鍾觸發一次。 但有時會發生這種情況，由於觸發器和調度程序，同一個文件被多次處理，

怎樣才能讓它同步？ 如果文件創建觸發器正在為 s3 存儲桶中的一個文件運行，則該文件應該被鎖定並且調度程序無法處理它。 簡單的術語：觸發器：找到文件 -> 鎖定它 -> 處理它 -> 解鎖它

因此，如果調度程序被調用並找到相同的文件，它由於鎖定而無法訪問它。

對此有什么幫助嗎？

Answer 1

我沒有足夠的聲譽，所以在這里發表評論。 我認為您使用調度程序來處理失敗的數據是一個糟糕的設計。 您可以使用 SQS + SQS 死信隊列 + Lambda 獲得更好的結構。 這是處理事件和失敗事件的最佳實踐之一