使用 Google Chrome 擴展的 Web Scraping Python

Question

嗨，我是 Python 新手，我正在抓取網頁。

我正在使用 Google Chrome Developer Extension 來識別我想要抓取的對象的類。 但是，我的代碼返回一個空的結果數組，而屏幕截圖清楚地表明這些字符串在 HTML 代碼中。 Chrome 開發者

import requests
from bs4 import BeautifulSoup

    url = 'http://www.momondo.de/flightsearch/?Search=true&TripType=2&SegNo=2&SO0=BOS&SD0=LON&SDP0=07-09-2016&SO1=LON&SD1=BOS&SDP1=12-09-2016&AD=1&TK=ECO&DO=false&NA=false'
    html = requests.get(url)
    soup = BeautifulSoup(html.text,"lxml")
    x = soup.find_all("span", {"class":"value"})
    print(x)
    #pprint.pprint (soup.div)

我非常感謝您的幫助！

非常感謝！

Answer 1

將我的評論轉換為答案...

確保您期望的數據確實存在。 使用print(soup.prettify())查看請求實際返回的內容。 根據站點的工作方式，您要查找的數據可能僅在處理 javascript 后才存在於瀏覽器中。 您可能還想看看硒