[英]How to scrape an infinite load page with R
我一直在抓一些新聞媒體頁面進行我的小型研究。 而且我遇到過該頁面 ,滾動時會加載文章。 我嘗試在F12
檢查器中監視響應,並發現(帶有XHR
文件)頁面確實確實在一定數量的文章之后單獨加載。
我什至可以在檢查器中看到指向它們的URL,該屏幕快照顯示了我的意思,
但是,我不知道如何將該信息加載到R
。 我一直在使用Rvest
,但不確定HTTR在這里是否有幫助?
謝謝!
您可以在此端點上翻閱原始json:
http://kolumbus-api.lrytas.lt/query/?count=&tag_slugs=politika&type=Video,Articolo&order=pubfromdate-&ret_fields=props.type__AS__type,props.media[indexof(x.type=%27media%27%20for%20x%20in%20props.media)][%27hd-alternate-href%27]__AS__thumb,props.categories[0].name__AS__category,props.href__AS__href,props.title__AS__title,props.commentCount__AS__commentCount,props.media[indexof(x.type=%27media%27%20for%20x%20in%20props.media)].otheralternate.1280x720.href__AS__imgxl,props.media[indexof(x.type=%27media%27%20for%20x%20in%20props.media)].otheralternate.300x200.href__AS__imgm,props.media__AS__media_json&page=1
只需在頁面的最末端更改page參數即可進行頁面切換: page=1
直到到達結尾。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.