使用Python對Web內容進行Web抓取

Question

我正試圖從這里獲取'SALES HISTORY'的數據。

由於數據來自JavaScript，我參考了這個鏈接 ，試圖抓取數據。 但是，當我運行以下代碼時，新窗口不會正確顯示網頁。

如果你能在這種情況下建議如何獲取數據，我將不勝感激。

# import libraries
import urllib.request
from bs4 import BeautifulSoup
from selenium import webdriver
import time
import pandas as pd
# specify the url
urlpage = 'https://nonfungible.com/market/history/axieinfinity' 
print(urlpage)
# run Chrome webdriver from executable path of your choice
driver = webdriver.Chrome(executable_path = r'C:\Users\trey\AppData\Local\Programs\Python\Python36\Scripts\chromedriver')

我期望數據集的輸出包含合同/交易哈希/賣方/買方/名稱/出生日期列。

Answer 1

您無需刮取網站即可獲取銷售歷史數據，因為您可以從其JSON API端點獲取數據。

這是您發布的網頁的終點鏈接：

https://api.nonfungible.com/api/v3/project/list

您可以使用Python JSON庫來提取所需的數據。 要查找站點是否具有可用的JSON API，請使用瀏覽器開發人員控制台中的網絡監視器查找對站點發出的XHR請求，並檢查它是否包含您需要的數據。 這比抓取HTML / JS更有意義。