我正在学习 BeautifulSoup 但出现错误

Question

这是我的代码

import requests
from bs4 import BeautifulSoup

result = requests.get("https://www.whitehouse.gov/briefings-statements/")
src = result.content
soup = BeautifulSoup(src, 'lxml')

urls = []
for h2_tag in soup.find_all("h2"):
    a_tag = h2_tag.find('a')
    urls.append(a_tag.attrs not in ['href'])

print(urls)

这是错误

AttributeError: 'NoneType' object has no attribute 'attrs'

我的代码有什么问题

Answer 1

有时h2_tag.find('a')会返回None 。 您可以通过使用try / except来解决此问题：

import requests
from bs4 import BeautifulSoup

result = requests.get("https://www.whitehouse.gov/briefings-statements/")
src = result.content
soup = BeautifulSoup(src, 'lxml')

urls = []
for h2_tag in soup.find_all("h2"):
    try:
        a_tag = h2_tag.find('a')
        urls.append(a_tag.attrs["href"])
    except AttributeError:
        continue

print(urls)

Answer 2

我对更简洁代码的偏好是将限制放入节点的选择中，而不是稍后进行测试。 在您的情况下，您可以使用 css 选择器来执行此操作，该选择器检索a孩子的h2 。 与您类似的布局：

import requests
from bs4 import BeautifulSoup

result = requests.get("https://www.whitehouse.gov/briefings-statements/")
src = result.content
soup = BeautifulSoup(src, 'lxml')
urls = []

for h2_tag in soup.select('h2:has(a)'):
    a_tag = h2_tag.find('a')
    urls.append(a_tag['href'])

print(urls)

---

但是，我们可以比上面的更简洁：

urls = [i['href'] for i in soup.select('h2 > a')]
print(urls)

上面选择a元素是h2的直接子元素。