urllib2沒有從網站Python 2.7提取正確的數據

Question

我正在嘗試查看是否可以使用下面的代碼提取數據。 由於某種原因，beautifulsoup打印輸出不包含我看到的數據。 我想知道哪里出了問題。 我一直在嘗試不同類型的標題，這是我認為我的問題所在，但我可能錯了。 例如，當我檢查瀏覽器上的頁面時，無法找到以下路徑： <div class="textbold font-medium ng-binding">$25,000</div>

import urllib2
from bs4 import BeautifulSoup
url='https://www.prosper.com/listings#/detail/4964721'
hdr = {'Accept': 'text/html,application/xhtml+xml,*/*',"user-agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36"}
req=urllib2.Request(url,headers=hdr)
html = urllib2.urlopen(req)
soup=BeautifulSoup(html,"lxml")
print soup

Answer 1

必須像這樣讀取url響應

html = urllib2.urlopen(req).read()

根據您的示例，您似乎正在尋找呈現的html。

在您的情況下，將向Ajax請求

“ https://www.prosper.com/listings/search?options=%7B%22listing_number%22:4964721,%22resp_fields%22:%22BROWSE_LISTING%22,%22orderservice_call%22:%22Y%22%7D”

對此ajax請求的響應是一個呈現在UI上的json。