用 python 刮鏈接人搜索

Question

我想使用linkedin抓取人員搜索的結果。

url='https://www.linkedin.com/search/results/people/?facetCurrentCompany=%5B%222525300%22%5D&facetGeoRegion=%5B%22fi%3A0%22%5D&keywords=python&origin=FACETED_SEARCH'
import bs4
import requests
res=requests.get(url)
soup=bs4.BeautifulSoup(res.text, 'lxml')

沒有錯誤，但問題是當我點擊鏈接時，結果顯示有一個人符合我的搜索條件。 我在 Python 代碼生成的湯結果中找不到那個人。

有誰知道如何解決這一問題？

Answer 1

您正在嘗試抓取僅對登錄用戶可用的數據。

您應該使用官方的 LinkedIn REST API 並通過 OAuth2 進行身份驗證。 試一試： https : //developer.linkedin.com/docs/rest-api

Answer 2

我會使用一個已經完成了艱苦工作的開源軟件，並嘗試根據我的需要對其進行修改。 例如：

https://github.com/ericfourrier/scrape-linkedin

注意：這僅適用於公共數據

Answer 3

Rest API 方法不適合抓取，因為它有幾個限制和限制。

使用 Selenium 進行自動化可以抓取盡可能多的數據，甚至可以讓您在 LinkedIn 上執行操作。

對於抓取，我建議使用https://github.com/austinoboyle/scrape-linkedin-selenium 。 它涵蓋了大部分需求，但截至目前有幾個錯誤（因為 LinkedIn 經常更新他們的網站）。

我在燒瓶中后端使用修改后的版本在這里

最好分叉庫並根據您的需要使用抓取方法。