Python Instagram 网络爬虫问题

Question

我正在尝试构建一个网络爬虫，它告诉我在 Instagram 上使用主题标签的次数，但我不断收到不同迭代的错误代码或当前响应的“无”。 这是我的代码和 html。

Python

import requests
from bs4 import BeautifulSoup
url = 'https://www.instagram.com/explore/tags/savethekids/'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
tag = soup.find("span", {"class": "g47SY "})
print(tag)

那是我做的代码

HTML

<span class="-nal3 ">
  <span class="g47SY ">22,922</span> 
   " posts"
</span>

那是来自 Instagram 的 HTML

如果任何真正知道他们在做什么的人都可以指出我做错了什么以及如何解决它，那就太好了。

Answer 1

尝试这个，

import requests

url = 'https://www.instagram.com/explore/tags/savethekids/?__a=1'

response = requests.get(url)

count = response.json().get('graphql', {}).get('hashtag', {}).get('edge_hashtag_to_media', {}).get('count')

print(count)

输出：

22924

在这里看到它的行动

Answer 2

使用请求时的问题是尚未呈现 html。 尝试遵循有关抓取 Instagram 的教程。

这使用称为 selenium 的工具从 instagram 获取实际的 html。

当您使用 selnium webdriver 时，以下代码应该会获取您正在寻找的元素。

from selenium.webdriver import Chrome
browser = Chrome()
url = 'https://www.instagram.com/explore/tags/savethekids/'
browser.get(url)
print(browser.find_element_by_class_name('g47SY'))