使用外部 URL 时的 Pandas read_csv 响应代码

Question

我正在用pd.read_csv()替换requests.get() ，如果 pandas 没有获得相当于状态代码 200 的值，我想编写一些异常逻辑。

有了请求，我可以写：

response = requests.get(report_url)
if response.status_code != 200:

如何将相同的逻辑应用于pd.read_csv() ？ 我可以检查任何状态代码吗？

Answer 1

我的建议是编写一个自定义阅读器，可以在阅读之前检查 URL 是否有效，尽管这违背了目的

import requests
def custom_read(url):
    try: 
        return_file = pd.read_csv(url) 
    except requests.exceptions.HTTPError as err:
        raise
    else:
        return return_file

有效的 URL 将起作用

my_file = custom_read("https://people.sc.fsu.edu/~jburkardt/data/csv/addresses.csv")

这失败并引发requests错误

my_file1 = custom_read("https://uhoh.com")

否则，一旦读取DataFrame对象，就无法访​​问其 URL 的状态代码。

Answer 2

您可以在read_csv()中使用url ，但它无法为您提供状态代码。 当它具有非 200 状态代码并且您必须使用try/except来捕获它时，它只会引发错误。 您在其他答案中有示例。

但是，如果您必须使用requests ，那么您可以稍后使用io.StringIO创建类似文件的对象（内存中的文件）并在read_csv()中使用它。

import io
import requests
import pandas as pd

response = requests.get("https://people.sc.fsu.edu/~jburkardt/data/csv/addresses.csv")

print('status_code:', response.status_code)

#if response.status_code == 200:
if response.ok:
    df = pd.read_csv( io.StringIO(response.text) )
else:
    df = None

print(df)

---

与使用带有<form>的HTML创建获取csv的网页时可以使用io.StringIO的方式相同。

---

据我所知read_csv(url)以类似的方式工作 - 它使用requests.get()从服务器获取文件数据，然后使用io.StringIO读取数据。