如何使用Python解析无限滚动页面（例如Wallbase.cc/search/sky）？
[英]How do I parse through an infinite scrolling page (ex. Wallbase.cc/search/sky) with Python?
问题描述
不确定是否有任何与Mechanize或BeautifulSoup有关的东西可以提供帮助。 任何建议将不胜感激！
1 个解决方案
解决方案1
3 已采纳 2011-11-16 17:57:22
机械化和美丽的汤不能与用于无限滚动的javascript接触。
硒可以。
此外，如果您在使用无限滚动时查看ajax请求，您会看到带有请求数据的http://wallbase.cc/search/160的发布请求：
query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc
160对应于图像范围，因此之前的请求是wallbase.cc/searc/128 。
如何将 Python 中的字符串加倍。 “你好”到“HHeelllloo”
[英]How to double the strings in Python ex. "Hello" to "HHeelllloo"
如何从 ip（例如 192.168.1.3）Linux Shell 或 python3 在本地找到设备主机名
[英]How can I find devices hostname in local area from ip (ex. 192.168.1.3) Linux Shell or python3
我如何使用Selenium Python遍历每个Google搜索页面，但是没有发生
[英]How do I iterate through each google search page using Selenium Python,but its not happening
如何使用wx.python制作网络浏览器来解析页面（例如Google.ro）
[英]How do i make my web browser made in wx.python to parse pages(ex.Google.ro)
为什么需要定义一些参数，而另一些则不需要？ （学习Python的艰辛方法，例如25）
[英]Why do some arguments need to be defined, and others not? (Learn Python the Hard Way, ex. 25)
如何使用 Python 查找无线接口（例如 wlan0）的模式（Monitor 或 Managed）
[英]How to find the mode (Monitor or Managed) of a wireless interface (ex. wlan0) using Python
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
如何在印地语（unicode）中组合两个字母？ （例如 क 和 ख）
如何使 output 在 python 中排列（例如'12345'）？
如何在 Python 中打开和读取多个文件（例如 .txt）
如何将 Python 中的字符串加倍。 “你好”到“HHeelllloo”
如何从 ip（例如 192.168.1.3）Linux Shell 或 python3 在本地找到设备主机名
我如何使用Selenium Python遍历每个Google搜索页面，但是没有发生
如何在Reg Ex中进一步缩小搜索条件？
如何使用wx.python制作网络浏览器来解析页面（例如Google.ro）
为什么需要定义一些参数，而另一些则不需要？ （学习Python的艰辛方法，例如25）
如何使用 Python 查找无线接口（例如 wlan0）的模式（Monitor 或 Managed）
相关标签