在網站上從網站抓取表格

Question

嗨，我正在嘗試從https://html5test.com/上獲取並解析所有表數據。 因此，我編寫了以下代碼。但是它沒有顯示任何數據。 我查看了問題答案，但無法找出問題所在。

from BeautifulSoup import BeautifulSoup
from urllib2 import urlopen
import re


url='https://html5test.com/'
data=urlopen(url)

parse=BeautifulSoup(data).findAll('div', attrs={'class': 'resultsTable detailsTable'})

Answer 1

查看源代碼（在Chrome中查看源代碼： https ： //html5test.com/ ），我實際上沒有找到'resultsTable`類。 看起來這是使用JavaScript動態生成的。 您需要一個可呈現JavaScript的刮板，例如Scrapy with Splash（參見https://blog.scrapinghub.com/2015/03/02/handling-javascript-in-scrapy-with-splash/ ）。