如何使用Python解析javascript结果

Question

我的Python脚本有问题。 我要做的就是解析一个具有id value：value的div元素并存储所有更改的值。 该元素的值由javascript生成。 这意味着该元素的值取决于用户的输入。 更具体地说，html元素看起来像这样

<div id="value">...Here the frequently changed value generated by javascript...</div>

我的python脚本如下：

from bs4 import BeautifulSoup
import urllib
x=urllib.urlopen("http://example.com")
s = x.read()
soup = BeautifulSoup(s)

m = soup.find("div",{"id":"value"})
val = m.text
print val

结果是None，但是在网页上的变化是显而易见的！ 请帮我弄清楚。

Answer 1

如果该值是由javascript生成的，则最简单的解决方案是利用真实的浏览器来抓取网页。 这就是硒的帮助所在。 这是一个简单的例子：

from selenium import webdriver

browser = webdriver.Firefox()
browser.get('http://example.com')

element = browser.find_element_by_id('value')
print element.text