無法直接在jupyter筆記本中從S3預簽名url讀取csv

Question

您好，無論如何可以在腳本中從 s3 預簽名 url 打開 csv 文件，而不是從瀏覽器下載它。 我在 gmail 每小時收到一個預簽名的 s3 url。我每次都必須手動下載它，我決定通過抓取我的電子郵件來自動化這個過程，已經到了我能夠獲得新的預簽名鏈接但無法打開 csv 的步驟文件。 而是返回一個腳本。 請幫忙。

Answer 1

您可以使用requests來執行GET請求。

從解釋 boto3 和預簽名 URL 的 AWS 頁面：

用戶可以通過在瀏覽器中輸入預簽名的 URL 來下載 S3 object。 程序或 HTML 頁面可以通過使用預簽名的 URL 作為 HTTP GET 請求的一部分來下載 S3 object。

下面的代碼演示了使用 Python 請求 package 執行 GET 請求。

import requests    # To install: pip install requests

url = create_presigned_url('BUCKET_NAME', 'OBJECT_NAME')
if url is not None:
    response = requests.get(url)

Answer 2

您可以使用 pandas read_csv直接讀取它。 從文檔：

所以你可以簡單地：

import pandas as pd
df = pd.read_csv('https://...')