Python 在 Lambda 上获取 s3 object 的 MIME

Question

我有一个 lambda 触发s3 PutObject 。 在继续之前，lambda 需要检查文件是否实际上是视频文件（在我的例子中是 mp4）。 文件扩展名没有帮助，因为它可能是假的。 所以我尝试使用在本地机器上工作的FileType 检查 MIME 。 我不想从 s3 下载大文件，只是下载一部分并保存在本地机器上以检查它是否是 mp4。 到目前为止我试过这个（在本地机器上） -

import boto3
import filetype
from time import sleep

REGION = 'ap-southeast-1'

tmp_path = "path/src/my_file.mp4"

start_byte = 0
end_byte = 9000

s3 = boto3.client('s3', region_name=REGION)

resp = s3.get_object(
    Bucket="test", 
    Key="MVI_1494.MP4", 
    Range='bytes={}-{}'.format(start_byte, end_byte)
    )

# the file
object_content = resp['Body'].read()

print(type(object_content))
with open(tmp_path, "wb") as binary_file:
    # Write bytes to file
    binary_file.write(object_content)

sleep(5)
kind = filetype.guess_mime(tmp_path)
print(kind)

但这总是返回None作为 mimetype。 我想我没有正确保存二进制文件，任何帮助都会节省我的时间。

TLDR：从 s3 下载大文件的一小部分 -> 保存在 tmp 存储中 -> 获取 mime。

Answer 1

Boto3 有一个 function S3.Client.head_object：

HEAD 操作从 object 中检索元数据，而不返回 object 本身。 如果您只对对象的元数据感兴趣，则此操作很有用。 要使用 HEAD，您必须对 object 具有读取权限。

您可以调用此方法来获取与 S3 存储桶项关联的元数据 object。

metadata = s3client.head_object(Bucket='MyBucketName', Key='MyS3ItemKey')

此元数据包含一个ContentType属性，您可以使用此属性来检查 object 类型。

要么

如果您不能信任此ContentType ，因为这可能是伪造的。 您可以在上传对象时简单地将对象的 MIME 类型保存在 DynamoDB 中。 您可以随时从那里读取类型。

要么

您可以简单地创建一个将被触发的 Lambda，您可以在 Lambda 中下载 object，因为它有大约 512MB 的临时存储空间。 您可以在那里确定内容类型并对其进行更新，因为您还可以在上传 object 时设置一些元数据，然后根据需要的变化对其进行编辑。

Answer 2

对于filetype lib，您不需要将文件保存在磁盘上。

guess_mime function 也接受bytes数据类型。