使用python獲取下拉HTML框中的數據

Question

我想在下拉框中獲取模型：

http://www.trademe.co.nz/motors/used-cars/bmw

from bs4 import BeautifulSoup
import requests 
url="http://www.trademe.co.nz/motors/used-cars/bmw"
r= requests.get(url)
soup = BeautifulSoup(r.content)


price=soup.find("select",{"id":"15"})
options = price.find_all("option")


print(options)

產量

[<option selected="selected" value="">Any model</option>]

我想要下拉列表中所有模型的列表。

Answer 1

看起來數據是使用ajax加載的。 這樣，當您使用python請求頁面時，仍然只加載一個選項。

檢查chrome調試器中的“ 網絡”選項卡 ，您可以獲得此URL ，該URL返回BMW的模型。 現在，您可以請求該網址。

import requests
url = "http://www.trademe.co.nz/API/Ajax/UsedCarsModels.aspx?make=BMW"
data = requests.get(url).json()
print data['models']

希望這對您有幫助