在没有浏览器的情况下使用 Selenium 进行网页抓取

Question

我想使用 Python 模块 Selenium 通过 jupyter notebook 进行网络抓取。 jupyter notebook 在没有任何网络浏览器的 docker-container 中运行。 我希望能够分发笔记本，以便其他用户可以复制网络抓取。 Notebook 在通用 jupyter 实验室容器上运行，并且无法更新容器以包含浏览器。

我尝试了很多事情：

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())

和这个：

!pip install chromedriver-binary
from selenium import webdriver
import chromedriver_binary  # Adds chromedriver binary to path

driver = webdriver.Chrome('/opt/conda/lib/python3.7/site-packages/chromedriver_binary')

对于最后一种情况，我使用以下方法定位了二进制文件

import chromedriver_binary
print(chromedriver_binary.__file__)

但不幸的是，我无法让它发挥作用。

Answer 1

chrome 驱动程序取决于本地安装的 chrome - 因此您必须先修改用于安装 chrome 的 docker 映像。