如何使用Beautiful Soup从HTML提取特定的URL？

Question

我想从HTML页面提取特定的URL。

from urllib2 import urlopen
import re
from bs4 import BeautifulSoup

url = http://bassrx.tumblr.com/tagged/tt    # nsfw link
page = urlopen(url)
html = page.read()    # get the html from the url

# this works without BeautifulSoup, but it is slow:
image_links = re.findall("src.\"(\S*?media.tumblr\S*?tumblr_\S*?jpg)", html)

print image_links

上面的输出完全是URL，没有其他内容：http: http://38.media.tumblr.com/tumblr_ln5gwxHYei1qi02clo1_500.jpg

唯一的缺点是它非常慢。

BeautifulSoup解析HTML的速度非常快，所以这就是我要使用它的原因。

我想要的网址实际上是img src 。 这是HMTL的片段，其中包含我想要的信息。

    <div class="media"><a href="http://bassrx.tumblr.com/image/85635265422">
    <img src="http://38.media.tumblr.com/tumblr_ln5gwxHYei1qi02clo1_500.jpg"/>
</a></div>

因此，我的问题是，如何才能使BeautifulSoup干净地提取所有这些“ img src” URL，而无需进行其他处理？

我只想要一个匹配的URL列表。 我一直在尝试使用soup.findall()函数，但是无法获得任何有用的结果。

Answer 1

from urllib2 import urlopen
from bs4 import BeautifulSoup

url = 'http://bassrx.tumblr.com/tagged/tt'
soup = BeautifulSoup(urlopen(url).read())

for element in soup.findAll('img'):
    print(element.get('src'))

Answer 2

您可以使用div.media > a > img CSS selector找到img标签内a这是一个内部div与标签media类：

from urllib2 import urlopen
from bs4 import BeautifulSoup

url = "<url_here>"
soup = BeautifulSoup(urlopen(url))
images = soup.select('div.media > a > img')
print [image.get('src') for image in images]

为了使解析速度更快，您可以使用lxml解析器：

soup = BeautifulSoup(urlopen(url), "lxml")

当然，您需要首先安装lxml模块。

另外，您可以利用SoupStrainer类仅解析文档的相关部分。

希望能有所帮助。

Answer 3

看看带有re.compile的BeautifulSoup.find_all

from urllib2 import urlopen
import re
from bs4 import BeautifulSoup

url = "http://bassrx.tumblr.com/tagged/tt"    # nsfw link
page = urlopen(url)
html = page.read()    
bs = BeautifulSoup(html)
a_tumblr = [a_element for a_element in bs.find_all(href=re.compile("media\.tumblr"))]
##[<link href="http://37.media.tumblr.com/avatar_df3a9e37c757_128.png" rel="shortcut icon"/>, <link href="http://37.media.tumblr.com/avatar_df3a9e37c757_128.png" rel="apple-touch-icon"/>]