Python3 beautifulsoup模塊“ NoneType”錯誤

Question

我是beautifulsoup模塊的新手，但我遇到了問題。 我的代碼很簡單。 畢竟，我要從中刮取的網站是這個，而我要刮除價格。 （第二大（2），其中有更多）

我的代碼：

import urllib
from bs4 import BeautifulSoup


quote_page = 'https://www.bloomberg.com/quote/SPX:IND'

page = urllib.request.urlopen(quote_page)

soup = BeautifulSoup(page, 'html.parser')

price_box = soup.find('div', attr = {'class': 'price'})
price = price_box.text

print(price)

我得到的錯誤：

price = price_box.text

AttributeError: 'NoneType' object has no attribute 'text'

Answer 1

我使用了更強大的CSS選擇器代替了find方法。 由於只有一個帶有class price div元素，我猜這是正確的元素。

import requests
from bs4 import BeautifulSoup

response = requests.get('https://www.bloomberg.com/quote/SPX:IND')
soup = BeautifulSoup(response.content, 'lxml')
price = soup.select_one('.price').text
print(price)

Answer 2

另一個解決方案：

from bs4 import BeautifulSoup
from requests import Session

session = Session()
session.headers['user-agent'] = (
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
    'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/'
    '66.0.3359.181 Safari/537.36'
)

quote_page = 'https://www.bloomberg.com/quote/SPX:IND'

page= session.get(quote_page)

soup = BeautifulSoup(page.text, 'html.parser')

price_box = soup.find('meta', itemprop="price")

price = float(price_box['content'])

print(price)