使用 Beautiful Soup 從華爾街日報抓取債券數據

Question

我正在嘗試使用 Beautiful Soup 從 WSJ 市場頁面中抓取一些數據，但總是得到 Status Code=404 Page not found 消息。 我的代碼在其他網站上運行良好，所以出了什么問題？

import requests
from bs4 import BeautifulSoup
url='https://www.wsj.com/market-data/quotes/bond/BX/TMBMKJP-10Y?mod=md_bond_govt_bonds_quote'
page=requests.get(url)
soup=BeautifulSoup(page.content,'html.parser')
print('Page status code',page.status_code)

Answer 1

您需要添加headers 。 你可以試試：

headers =  {'User-Agent': 'Mozilla/5.0 (Windows NT x.y; Win64; x64; rv:10.0) Gecko/20100101 Firefox/10.0 '}

url='https://www.wsj.com/market-data/quotes/bond/BX/TMBMKJP-10Y?mod=md_bond_govt_bonds_quote'

page=requests.get(url, headers=headers)