使用Python 3和BeautifulSoup 4轉到下一頁

Question

我正在嘗試使用Python 3和BeautifulSoup 4從網站的多個頁面上的表中解析數據，但是一切工作正常，除了某些頁面的表超出了頁面的長度。 該頁面僅顯示20個條目，要獲取其他條目，需要單擊表底部的“下一步”以移至下一個表數據繼續的頁面。 我嘗試使用

nextPage = re.compile(b'Next</a>')

和

nextPageUrl = nextPage.findall(webContent)

我知道這不是BeautifulSoup。 我嘗試了此操作，因為我不知道如何使用BeutifulSoup進行此操作。 但是，它不起作用。 有人可以幫我，建議我如何獲取下一頁網址以繼續抓取？ 感謝您提出的任何建議。

Answer 1

soup = BeautifulSoup(webContent)
a = soup.find('a', href=True, text=re.compile("Next"))
if a:
    link = a["href"]