如何在python中使用请求库下载所有类型的文件

Question

我正在python中构建爬虫，我有来自页面的href列表。

现在我有要下载的文件扩展名列表

list = ['zip','rar','pdf','mp3']

如何使用python将文件从该URL保存到本地目录

编辑：

import urllib2
from bs4 import BeautifulSoup

url = "http://www.example.com/downlaod"

site = urllib2.urlopen(url)
html = site.read()
soup = BeautifulSoup(html)

list_urls = soup.find_all('a')

print list_urls[6]

Answer 1

按照您发布的示例：

import urllib2
from bs4 import BeautifulSoup

url = "http://www.example.com/downlaod"

site = urllib2.urlopen(url)
html = site.read()
soup = BeautifulSoup(html)

list_urls = soup.find_all('a')

print list_urls[6]

因此，您想要获取的URL可能是list_urls[6]['href'] 。

第一个技巧是，这可能是相对URL而不是绝对URL。 所以：

newurl = list_urls[6]['href']
absurl = urlparse.urljoin(site.url, newurl)

此外，如果文件具有正确的扩展名，您只想获取文件，因此：

if not absurl.endswith(extensions):
    return # or break or whatever

但是，一旦你确定了要下载的URL，它就不比你的初始获取更难：

page = urllib2.urlopen(absurl)
html = page.read()
path = urlparse.urlparse(absurl).path
name = os.path.basename(path)
with open(name, 'wb') as f:
    f.write(html)

仅此而已。

您可能想要添加一些内容，但如果是这样，则必须手动添加它们。 例如：

• 查找带有建议文件名的Content-disposition标头，以代替URL的基本名称。
• copyfile从page到f而不是将整个内容read入内存然后write出来。
• 处理具有相同名称的现有文件。
• ...

但这是基础知识。

Answer 2

您可以使用python请求库，因为您有问题： http ： //www.python-requests.org

你可以像这样从url保存文件：

import requests

url='http://i.stack.imgur.com/0LJdh.jpg'

data=requests.get(url).content

filename="image.jpg"

with open(filename, 'wb') as f:
        f.write(data)

Answer 3

解决方案使用urllib3

import os
import urllib3
from bs4 import BeautifulSoup
import urllib.parse 
url = "https://path/site"
site = urllib3.PoolManager()
html = site.request('GET', url)
soup = BeautifulSoup(html.data, "lxml")
list_urls = soup.find_all('a')

然后使用递归函数获取所有文件

def recursive_function(list_urls)
    newurl = list_urls[0]['href']
    absurl = url+newurl
    list_urls.pop(0)
    if absurl.endswith(extensions): # verify if contains the targeted extensions
        page = urllib3.PoolManager()
        html = site.request('GET', absurl)
        name = os.path.basename(absurl)
        with open(name, 'wb') as f:
            f.write(html.data)
    return recursive_function(list_urls)