python pandas 從 s3 讀取 json gzip 文件

Question

我在aws lambda中嘗試這個。 當發生異常時，打印消息 e。（參考下面的代碼）

但是沒有異常信息。 所以我不知道是什么問題。

import boto3
import gzip
import pandas as pd

s3 = boto3.resource('s3')    
response = s3.Object(bucket, 'test.gzip')

try:
    with gzip.GzipFile(fileobj=response.get()["Body"], mode='rb') as gzipfile:
        print(f'gzipfile : {gzipfile}') 
        # gzipfile : <gzip botocore.response.StreamingBody object as 0x7fcffd362250 0x7fcffd3d00d0>
        # df = pd.read_json(content.read(), lines=True)
        # df = pd.read_json(content, lines=True)
except Exception as e:
    print(e)

--

df = pd.read_json(response.get()["Body"], lines=Truem compression='gzip')

--

我試過上面的代碼。

在所有嘗試中，程序在指定的 Lambda 時間（10 分鍾）內沒有結果或沒有異常消息結束。

我如何從 s3 讀取json gzip並將其放入 pandas dataframe？

Answer 1

我像這樣使用 gzip：

obj =boto3.resource('s3').Object(bucket, key)
data = gzip.decompress(obj.get()['Body'].read())
df = pd.dataframe(data)