Python抓取網頁導致javascript問題

Question

我正在使用urllib2抓取網頁。 它在很多站點上都運行良好，但是在某些站點上，我得到了：

<html><title>You are being redirected...</title>
<noscript>Javascript is required. Please enable javascript before you are allowed to see this page.</noscript>

這是我的代碼：

    hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
           'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
           'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
           'Accept-Encoding': 'none',
           'Accept-Language': 'en-US,en;q=0.8',
           'Connection': 'keep-alive'}

    req = urllib2.Request(url=link, headers=hdr)
    try:
        f = urllib2.urlopen(req)
    except urllib2.HTTPError, e:
        return None
    except urllib2.URLError, e:
        return None
    mycontent = f.read()

有任何想法嗎？

Answer 1

這不是javascript問題，請注意第一行：

<html><title>You are being redirected...</title>

這意味着您必須遵循重定向，直到到達目標服務器。

urllib2.urlopen不會自動執行此操作，您需要在結果上調用.geturl() ，或使用其他函數或庫來解析重定向。

Python抓取網頁導致javascript問題

問題描述

1 個解決方案

解決方案1
0 2018-05-03 00:08:20

Python抓取網頁導致javascript問題

問題描述

1 個解決方案

解決方案1 0 2018-05-03 00:08:20

解決方案1
0 2018-05-03 00:08:20