![](/img/trans.png)
[英]Aws copy data from one S3 bucket to another on same account using lambda python
[英]AWS Lambda in Python to copy new files to another s3 bucket
我創建了一個 Lambda,每次將文件添加到 s3://test-bucket-01/ 時都會觸發它,它將 s3://test-bucket-01/ 中的所有文件復制到 s3://test-bucket -02/
我希望它只添加剛剛添加的新文件?
當前代碼:
import boto3
s3 = boto3.resource('s3')
def lambda_handler(event, context):
bucket = s3.Bucket('test-bucket-01')
dest_bucket = s3.Bucket('tb-bucket-02')
print(bucket)
print(dest_bucket)
for obj in bucket.objects.all():
dest_key = obj.key
print(dest_key)
s3.Object(dest_bucket.name, dest_key).copy_from(CopySource = {'Bucket': obj.bucket_name, 'Key': obj.key})
結果:
Function Logs:
START RequestId: XXXXXXX-XXXXXXX-XXXXXXX Version: $LATEST
s3.Bucket(name='test-bucket-01')
s3.Bucket(name='test-bucket-02')
test-data-01.json
test-data-02.json
test-data-03.json
您不需要列出存儲桶來復制所有文件,因為事件變量是一個 json,其中包含您已復制到 test-bucket-01 中的文件。
例子:
{
"Records": [
{
"eventVersion": "2.0",
"eventSource": "aws:s3",
"awsRegion": "us-east-1",
"eventTime": "1970-01-01T00:00:00.000Z",
"eventName": "ObjectCreated:Put",
"userIdentity": {
"principalId": "EXAMPLE"
},
"requestParameters": {
"sourceIPAddress": "127.0.0.1"
},
"responseElements": {
"x-amz-request-id": "C3D13FE58DE4C810",
"x-amz-id-2": "FMyUVURIY8/IgAtTv8xRjskZQpcIZ9KG4V5Wp6S7S/JRWeUWerMUE5JgHvANOjpD"
},
"s3": {
"s3SchemaVersion": "1.0",
"configurationId": "testConfigRule",
"bucket": {
"name": "sourcebucket",
"ownerIdentity": {
"principalId": "EXAMPLE"
},
"arn": "arn:aws:s3:::mybucket"
},
"object": {
"key": "key/to/HappyFace.jpg",
"size": 1024,
"eTag": "d41d8cd98f00b204e9800998ecf8427e"
}
}
}
]
}
在這種情況下,此事件通知 ObjectCreated:Put 事件。 一個新文件已被復制到“sourcebucket”存儲桶中,密鑰為“key/to/HappyFace.jpg”。
您為什么不想使用AWS S3 的本機功能將新文件從一個存儲桶復制到另一個存儲桶?
它更容易,更可靠。 您可以通過前綴復制文件、更改存儲計划以及使用此本機功能進行的許多其他操作。
有同樣的問題。
如何解決同一文件多次復制的問題?
所以答案是什么 ? 如何僅在添加新文件時觸發 lambda?
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.