指示Python使用urllib2單擊按鈕

Question

我正在使用python中的urllib2和BeautifulSoup編寫一個Web爬蟲，並且正在尋找一種方法來指示python單擊頁面上為其讀取HTML源代碼的按鈕。

我的腳本的以下代碼片段從csv文件中讀取URL，旨在從指定的網頁中抓取數據，但是中間步驟是單擊從csv提供的URL中讀取的網頁上存在的“提交”按鈕。

for line in triplines:
    FromTo = line.split(",")
    From = FromTo[0].strip()
    print(From)
    To = FromTo[1].strip()
    print(To)
    url = KCString1 + From + KCString2 + To + KCString3
    print(url)
    page = urllib2.urlopen(url)
    page_source = page.read()
    soup = BeautifulSoup(page_source)
    print(soup.prettify())

有沒有一種方法可以利用urllib2功能，例如說“遵循從單擊此按鈕獲得的URL”？ 我想我可能需要找到JavaScript源才能首先識別按鈕的標識符。

Answer 1

按鈕通常沒有附加網址。 他們通常需要javascript交互，這需要仿真。 如果要單擊按鈕，則應使用瀏覽器模擬器（例如Ghost）而不是解析器（例如Beautifulsoup）