抓取网站时缺少 Python html

Question

我试图使用类似的代码来抓取网站

import requests
requests.get("myurl.com").content

但是网站上的一些重要元素丢失了。 如何使用 Python 3 获取整个网站内容，就像我在 Firefox 或其他浏览器中使用检查器一样？

Answer 1

为什么不试试 Scrapy、Selenium 甚至 Splash？ 它们是强大的抓取库。

Answer 2

为此，您可以使用 Beautiful Soup，一个用于抓取的 python 库。 只需在顶部导入它：

from bs4 import BeautifulSoup

然后，将这些行添加到您的代码中

data = requests.get("myurl.com").text
soup = BeautifulSoup(data, 'html.parser')