如何从日期为 url 的多个页面中提取数据？

Question

我想从链接如下的网站中提取内容：

“www.example.com/getpublicreport?date=2021-10-01”

使用 Requests 从多个页面提取数据的代码应该是什么，我可以使用 url 中的日期进行导航。

例如，如果我想提取从日期 - 2019-01-01 到当前数据的数据，我该如何使用请求库编写代码来获取数据。

Answer 1

www.example.com/getpublicreport?date=2021-10-01

这是带有参数的 URL 的示例，请求确实有params ，您应该在其中传递带有键值对的字典。 您可以按如下方式访问它

import requests
url = "http://www.example.com/getpublicreport"
parameters = {"date": "2021-10-01"}
r = requests.get(url, params=parameters)
print(r.url)  # http://www.example.com/getpublicreport?date=2021-10-01

如果您想了解有关 URL 的更多信息，请阅读RFC1738 。

Answer 2

您好，您可以使用日期时间 package:)

例如：

import datetime

import requests


def extract_data(start_date, end_date):
    while start_date <= end_date:
        yield requests.get('www.example.com/getpublicreport?date=%s' % start_date.isoformat())
        start_date += datetime.timedelta(days=1)

if __name__ == '__main__':
    for r in extract_data(datetime.date(2019, 01, 01), datetime.date.today()):
        print(r.content)