Python 请求不会返回与使用浏览器相同的结果
[英]Python requests doesn't return same result as using browser
问题描述
我正在尝试使用请求基本上使用请求和 BeautifulSoup 来抓取某些网站。我遇到的问题是使用请求get不会返回与使用浏览器时相同的结果。 我知道请求不支持 Javascript，但我正在努力解决这个问题。 如果我在 Chrome 上禁用 Javascript 并转到 Instagram 个人资料，web 页面将返回（尽其所能）。 它没有完全加载，但仍包含基本详细信息，例如包含个人资料用户名的<title></title> 。 但是，当我向 Python 中的同一个 URL 发送 GET 请求时， <title></title>属性只返回 as <title>Instagram</title>
为什么我得到不同的结果？
例如，如果我在 Chrome 上从 go 到https://instagram.com/test （禁用 Javascript）- 我得到一个空白页面，但我仍然得到<title>Zac (@test) • Instagram photos and videos</title> ，但如果我使用requests.get("https://instagram.com/test") ，响应的返回将有<title>Instagram</title>
我试过玩弄请求，甚至尝试切换到另一个库，如 requests-html，但它总是返回与浏览器不同的结果。
1 个解决方案
解决方案1
1 2023-01-15 00:55:28
您可能需要使用它而不是废弃 Instagram API。https://developers.facebook.com/docs/instagram-api/
使用 Klein Module Python 同时处理多个请求并返回结果
[英]Process Multiple Requests Simultaneously and return the result using Klein Module Python
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.