HTTP錯誤403：禁止urllib2請求

Question

我正在使用python的urllib2和bs4。 但是urllib2遇到了一些問題。 某些網站，例如： http : //dannijo.com/jewelry/necklaces/paloma.html

http://www.freepeople.com/

只返回下面顯示的錯誤

HTTP Error 403: Forbidden

我已經在堆棧溢出中看到了以下問題： urllib2.HTTPError：HTTP錯誤403：禁止訪問 。 但是他們建議的hdrs不能超過403 Forbidden。

如果有人知道更好的hdr，或者他們可以讓我知道導致此問題的原因，將不勝感激。

這是我目前擁有的代碼：

    hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'} 
    req = urllib2.Request(url,headers=hdr)
    page = urllib2.urlopen(url)
    soup = BeautifulSoup(page.read())

Answer 1

您實際上並沒有使用req實例。 因此，請執行以下操作：

soup = BeautifulSoup(urllib2.urlopen(req).read())