python pandas 从 s3 读取 json gzip 文件

Question

我在aws lambda中尝试这个。 当发生异常时，打印消息 e。（参考下面的代码）

但是没有异常信息。 所以我不知道是什么问题。

import boto3
import gzip
import pandas as pd

s3 = boto3.resource('s3')    
response = s3.Object(bucket, 'test.gzip')

try:
    with gzip.GzipFile(fileobj=response.get()["Body"], mode='rb') as gzipfile:
        print(f'gzipfile : {gzipfile}') 
        # gzipfile : <gzip botocore.response.StreamingBody object as 0x7fcffd362250 0x7fcffd3d00d0>
        # df = pd.read_json(content.read(), lines=True)
        # df = pd.read_json(content, lines=True)
except Exception as e:
    print(e)

--

df = pd.read_json(response.get()["Body"], lines=Truem compression='gzip')

--

我试过上面的代码。

在所有尝试中，程序在指定的 Lambda 时间（10 分钟）内没有结果或没有异常消息结束。

我如何从 s3 读取json gzip并将其放入 pandas dataframe？

Answer 1

我像这样使用 gzip：

obj =boto3.resource('s3').Object(bucket, key)
data = gzip.decompress(obj.get()['Body'].read())
df = pd.dataframe(data)