指示Python使用urllib2单击按钮

Question

我正在使用python中的urllib2和BeautifulSoup编写一个Web爬虫，并且正在寻找一种方法来指示python单击页面上为其读取HTML源代码的按钮。

我的脚本的以下代码片段从csv文件中读取URL，旨在从指定的网页中抓取数据，但是中间步骤是单击从csv提供的URL中读取的网页上存在的“提交”按钮。

for line in triplines:
    FromTo = line.split(",")
    From = FromTo[0].strip()
    print(From)
    To = FromTo[1].strip()
    print(To)
    url = KCString1 + From + KCString2 + To + KCString3
    print(url)
    page = urllib2.urlopen(url)
    page_source = page.read()
    soup = BeautifulSoup(page_source)
    print(soup.prettify())

有没有一种方法可以利用urllib2功能，例如说“遵循从单击此按钮获得的URL”？ 我想我可能需要找到JavaScript源才能首先识别按钮的标识符。

Answer 1

按钮通常没有附加网址。 他们通常需要javascript交互，这需要仿真。 如果要单击按钮，则应使用浏览器模拟器（例如Ghost）而不是解析器（例如Beautifulsoup）