使用python和boto根据时间戳在S3中处理文件

Question

我正在尝试根据这些文件具有的时间戳来处理S3的文件。 我有这段代码，它为我提供了文件的date modified属性，然后我使用boto.utils.parse_ts对其进行解析，以将其转换为适当的格式。 现在，我想对文件进行排序，并在可能的情况下按排序顺序将其键名放在list中，以便最早的文件优先处理。 我怎样才能做到这一点？

con = S3Connection('', '')
bucket = conn.get_bucket('bucket')
keys = bucket.list('folder1/folder2/')

for key in keys:
    date_modified = parse_ts(key.last_modified)

Answer 1

可能有很多方法可以做到这一点，但这是一种可行的方法：

import boto.s3
conn = boto.s3.connect_to_region('us-east-1')
bucket = conn.get_bucket('mybucket')
keys = list(bucket.list(prefix='folder1/folder2/'))
keys.sort(key=lambda k: k.last_modified)

现在，可变keys应该是Key对象的列表，这些对象按last_modified属性（最早的和最新的）排序。

Answer 2

我使用了字典并对值进行排序。 如果需要，这将为您保留名称和last_modified。 否则，一个简单的列表可能会更快。

from boto.s3.connection import S3Connection

conn = S3Connection()  # assumes region/keys setup in .boto
bucket = conn.get_bucket('mybucket')
dict = {key.name:key.last_modified for key in bucket.get_all_keys()}
dict = sorted(dict.items() key=lambda x: x[1]) # lambda sort order <

例如：

from boto.s3.connection import S3Connection
conn = S3Connection()
bucket = conn.get_bucket('cgseller-test')
dict = {key.name:key.last_modified for key in bucket.get_all_keys()}
print dict
>>> {u'newfolder/else': u'2015-04-01T01:33:43.000Z', u'newfolder/file': u'2015-04-01T01:23:51.000Z', u'newfolder/file1': u'2015-04-01T01:23:42.000Z', u'newfolder/file2': u'2015-04-01T01:23:34.000Z'}

dict = sorted(dict.items(), key=lambda x: x[1])
print dict
>>>[(u'newfolder/file2', u'2015-04-01T01:23:34.000Z'), (u'newfolder/file1', u'2015-04-01T01:23:42.000Z'), (u'newfolder/file', u'2015-04-01T01:23:51.000Z'), (u'newfolder/else', u'2015-04-01T01:33:43.000Z')]