在 Apple 芯片与英特尔芯片上运行带有 selenium 的 dockerized python3.8 映像

Question

我正在尝试使用以下 requirements.txt 运行 python3.8 图像。 我的目标是在 dockerized 容器上运行 chrome 驱动程序 + selenium。

requests~=2.27.1
pandas~=1.4.3
selenium~=4.3.0
webdriver-manager~=3.7.1

我像这样构建了 Dockerfile

FROM python:3.8

# install google chrome
RUN wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add -
RUN sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list'
RUN apt-get -y update
RUN apt-get install -y google-chrome-stable

# install chromedriver
RUN apt-get install -yqq unzip
RUN wget -O /tmp/chromedriver.zip http://chromedriver.storage.googleapis.com/`curl -sS chromedriver.storage.googleapis.com/LATEST_RELEASE`/chromedriver_linux64.zip
RUN unzip /tmp/chromedriver.zip chromedriver -d /usr/local/bin/

# copy the requiremnets
COPY requirements.txt ./

# upgrade pip and install requirements
RUN pip install --upgrade pip
RUN pip install -r requirements.txt

# copy rest of the file
COPY . ./

EXPOSE 8001

# set display port to avoid crash
ENV DISPLAY=:99

并最终使用以下命令行构建了 docker 映像

docker build --platform amd64 -t <username>/<imagename>:<version>

我不得不添加 --platform amd64 因为它 docker 构建会失败。

但是，它无法在 M1 Macbook 上运行：这给我带来了这样的错误。 这是我在苹果硅机器上的 docker 容器 - docker 中提取的错误消息。

  File "process_fbond.py", line 149, in <module>
    fb = FBond()
  File "process_fbond.py", line 27, in __init__
    self.browser = webdriver.Chrome(.                         # <<< Chrome failed to load on to self.browser

(...)

selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: crashed.
  (chrome not reachable)                                      # <<< Chrome driver crashed
  (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)
Stacktrace:

我怀疑是架构师的问题，并在配备英特尔芯片（Surface Laptop 4）的 windows 机器上尝试了同样的事情——它是成功构建的。 这又是我在 docker 容器内提取的错误 - 在 windows 机器上。

原谅我的韩文字符。

[WDM] - ====== WebDriver manager ======
[WDM] - Current google-chrome version is 105.0.5195
[WDM] - Get LATEST chromedriver version for 105.0.5195 google-chrome
[WDM] - There is no [linux64] chromedriver for browser 105.0.5195 in cache
[WDM] - About to download new driver from https://chromedriver.storage.googleapis.com/105.0.5195.52/chromedriver_linux64.zip
[WDM] - Driver has been saved in cache [/root/.wdm/drivers/chromedriver/linux64/105.0.5195.52]
Traceback (most recent call last):
  File "process_fbond.py", line 154, in <module>
    result = fb.historic_run(s, f)
  File "process_fbond.py", line 129, in historic_run
    bond = self.search_rows()
  File "process_fbond.py", line 49, in search_rows
    r = self.browser.find_element(
  File "/usr/local/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 857, in find_element
    return self.execute(Command.FIND_ELEMENT, {
  File "/usr/local/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 435, in execute
    self.error_handler.check_response(response)
  File "/usr/local/lib/python3.8/site-packages/selenium/webdriver/remote/errorhandler.py", line 246, in check_response
    raise exception_class(message, screen, stacktrace, alert_text)  # type: ignore[call-arg]  # mypy is not smart enough here
selenium.common.exceptions.UnexpectedAlertPresentException: Alert Text: 조회일자 미입력 오류입니다.
조회일자 입력 후 거래해주세요.
조회일자[00020827]를 확인바랍니다.
Message: unexpected alert open: {Alert text : 조회일자 미입력 오류입니다.
조회일자 입력 후 거래해주세요.
조회일자[00020827]를 확인바랍니다.}             # <<< At least it gives me an selenium error
  (Session info: headless chrome=105.0.5195.125)

所以我的问题是：

1. 有没有办法让 chrome-driver 和 selenium 容器在苹果硅机器上运行？
2. 我的最终目标是在 AWS EC2 机器上运行这整个过程。 EC2 机器会抛出与 windows 机器相同的错误吗？

Answer 1

我已经能够获得在 Windows Docker 容器中工作的 Chrome Web 驱动程序。 您可能需要在 Linux 端执行相同的操作。

• 确保您的网络驱动程序“--no-sandbox”和“--headless”中有两个 arguments。 首先确保没有沙箱。
• 您可能需要为 Chrome 使用的默认 fonts（例如 Arial、Times 等）安装 fonts。信不信由你，除非我这样做，否则它不会起作用。
• 确保 ChromeWebDriver 和 Chrome 都具有相同的主要版本。
• 在您的 Docker 运行语句中声明 2g 的共享 memory。 每当您运行 Selenium 测试时，都会创建大约 5 个 Chrome 实例和 ChromeWebDriver。 我已经看到 RAM go 的数量高达约 600MB，信不信由你。 如果您在测试完成后使用 driver.quit 语句，这将很快 go 消失。