Selenium的任何Python替代品，用于以编程方式登录需要JavaScript登录的网站？

Question

我正在写一个小的私人应用程序，每天自动登录我的网上银行，并下载最新的交易。 我把它写成Django应用程序，所以我在使用Python。

如果没有JavaScript，我的网上银行似乎不起作用 - 我认为它使用JavaScript来分配某种会话ID。 通过httplib获取登录页面给了我一个页面，告诉我需要JavaScript。

所以，我现在正在寻找可以获取网页并在其上执行JavaScript的库。 几乎没有头像的浏览器。

我此刻正在摆弄Selenium 。 我认为它会完成这项工作，虽然它是专为测试网络应用程序而设计的，所以我想知道是否有任何具有类似功能的设计用于更普遍的目的而不是测试。

Selenium的任何Python替代品都是这种东西吗？

Answer 1

因为你使用selenium我认为你已经安装了firefox。 如果是这样获得扩展名如firebug或篡改数据，并查看javascript代码在登录时将执行的http请求。

如果你有url和所需的参数，你可以使用httplib或urllib2轻松编程python客户端。

在firebug中，您可以在“NET”下找到请求的URL。 篡改数据将是自我描述性的。 ;-)

Answer 2

你可以使用Pywebkitgtk 。 这里有一个很好的教程 。

或者，您可以使用Beautiful Soup来获取页面内容以及类似python-spidermonkey的内容来运行脚本。

Answer 3

我认为与您的问题很匹配的是Twill ：一种用于Web浏览的简单脚本语言。

另一个要检查的是Windmill （一种Selenium，但都是用Python编写的）。

Answer 4

您还可以使用Spynner ，它允许程序化的Web浏览。

Answer 5

看起来像QtWebKit是另一种选择。

Answer 6

由于BeautifulSoup不再被积极开发，我会推荐lxml，因为它完成了BeautifulSoup可以做的所有事情以及更多。