在Amazon Lambda Python中运行Selenium Webdriver

Question

我想在Amazon Lambda中运行BeautifulSoup和Selenium Webdriver，我的运行环境是python 3.6。 可以跑步吗？ 如果是这样，如何。 我的意图是使用漂亮的汤4和硒从网页上删除数据（因为它必须删除由javascript动态生成的数据）。

Answer 1

是的，有可能。 您需要将无头的Chrome二进制文件和chromedriver以及所有需要的Python软件包打包在一起。 您还需要在Selenium的Chrome网络驱动程序中设置几个选项才能使其正常运行。

在花了几个令人沮丧的星期尝试部署它之后，我编写了分步教程 。

Answer 2

如果要使用标准库之外的依赖关系，则需要创建一个部署程序包并将其上传到Lambda。

我写过一篇关于同时使用BS4和Lambda的文章。 我没有在Lambda中使用Selenium，但是我有丰富的Selenium经验。 您将无法使用Lambda在浏览器中执行命令。 您将需要使运行Selenium Server的远程服务器站起来。 在要进行网络抓取的机器上下载Selenium和Webdrivers，启动.jar文件，它将在Selenium可以与之通信的机器上打开一个端口。

考虑到您可能需要一台运行Windows的计算机来启动浏览器并抓取这些页面，因此最终可能不需要lambda。