簡體   English   中英

從網站抓取和獲取不同項目的最快方法是什么

[英]what's the fastest way to web-scraping and get different items from a website

我一直在使用 Selenium 和請求編寫一個用 Python 編寫的網絡抓取項目。 每次我需要數據時,我都會發送一個請求來獲取它(或使用 Selenium),每個請求都需要時間。

我的問題是,是否有任何選項可以在 Python 甚至 javascript 的 1 個請求中獲取大量不同的數據(例如產品名稱+價格+運費)?

Given a url for example: https://www.amazon.com/Dell-Inspiron-7573-i7-8550U-Windows/dp/B07NRC8ZXC/ref=sr_1_1_sspa?keywords=laptop+i7&qid=1572590892&sr=8-1-spons&psc= 1&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEyNjFPSFdTOEpVODdQJmVuY3J5cHRlZElkPUEwNTU5Nzk1MlBGWFkxU0JKOVlLNiZlbmNyeXB0ZWRBZElkPUEwNjU0MzYwM0NRT01ER1oxSDdMOCZ3aWRnZXROYW1lPXNwX2F0ZiZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU=

注意:您將此問題標記為與此問題重復 - 如何在 Google 趨勢中單擊加載更多按鈕並通過 Selenium 和 Python 打印所有標題,請,這些是不同的問題,我問的是有關獲取此產品的價格+名稱+運送在不同“范圍”下的人,她詢問是否獲得相同的“對象”(例如名稱),..所以如果您知道任何其他方式來獲取這些東西,而不是發送 3 個不同的請求來獲取它們。 我很想聽聽他們,? 我聽說有一種方法可以在 javascript 中將幾個請求合並為一個大請求,是真的嗎?

我還在等一個答案,有人嗎?

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM