Python BeautifulSoup Web图像搜寻器IOError：[Errno 2]没有这样的文件或目录

Question

我编写了以下Python代码，以从网站www.style.com抓取图像

 import urllib2, urllib, random, threading
 from bs4 import BeautifulSoup
 import sys
 reload(sys)
 sys.setdefaultencoding('utf-8')

 class Images(threading.Thread):
   def __init__(self, lock, src):
     threading.Thread.__init__(self)
     self.src = src
     self.lock = lock

   def run(self):
     self.lock.acquire()
     urllib.urlretrieve(self.src,'./img/'+str(random.choice(range(9999))))
     print self.src+'get'
     self.lock.release()

 def imgGreb():
   lock = threading.Lock()
   site_url = "http://www.style.com"
   html = urllib2.urlopen(site_url).read()
   soup = BeautifulSoup(html)
   img=soup.findAll(['img'])
   for i in img:
     print i.get('src')
     Images(lock, i.get('src')).start()

 if __name__ == '__main__':
   imgGreb()

但是我得到了这个错误：

IOError：[Errno 2]没有这样的文件或目录：'/images/homepage-2013-october/header/logo.png'

如何解决？

还可以递归地找到网站中的所有图像吗？ 我的意思是其他不在首页上的图片。

谢谢！

Answer 1

1. 当您尝试检索URL时，您正在使用没有域的相对路径。
2. 一些图像是基于javascript的，您将获得相对路径为javascript:void(0); ，您将永远无法获得该页面。 我添加了try except为了解决该错误。 或者，您可以聪明地检测URL是否以jpg/gif/png结尾。 我会为你工作的:)
3. 顺便说一句，不是所有的图片都包含在URL中，有些图片“ Beautiful One”是使用Javascript调用的，仅使用urllib和beautifulsoup我们将无法做任何事情 如果您真的想挑战自己，也许您可​​以尝试学习Selenium ，它是一个更强大的工具。

直接尝试以下代码：

import urllib2
from bs4 import BeautifulSoup
import sys
from urllib import urlretrieve
reload(sys)


def imgGreb():
    site_url = "http://www.style.com"
    html = urllib2.urlopen(site_url).read()
    soup = BeautifulSoup(html)
    img=soup.findAll(['img'])
    for i in img:
        try:
            # built the complete URL using the domain and relative url you scraped
            url = site_url + i.get('src')
            # get the file name 
            name = "result_" + url.split('/')[-1] 
            # detect if that is a type of pictures you want
            type = name.split('.')[-1]
            if type in ['jpg', 'png', 'gif']:
                # if so, retrieve the pictures
                urlretrieve(url, name)
        except:
            pass

if __name__ == '__main__':
    imgGreb()