NodeJS +请求 - 请求网站时拒绝访问

Question

我正在尝试使用请求请求网站的html，但我一直收到访问被拒绝错误。 我如何通过这个？ 以下是该函数的代码：

const request = require('request');
function firstShoe() {
        request('https://www.jdsports.co.uk/product/green-nike-vapormax/281735/', function (error, response, body) {
            console.log('body:', body); 
        });
}

错误：

</BODY>
</HTML>

body: <HTML><HEAD>
<TITLE>Access Denied</TITLE>
</HEAD><BODY>
<H1>Access Denied</H1>

You don't have permission to access "http&#58;&#47;&#47;www&#46;jdsports&#46;co&#46;uk&#47;product&#47;green&#45;nike&#45;vapormax&#47;281735&#47;" on this server.<P>
Reference&#32;&#35;18&#46;609d3e17&#46;1500116386&#46;15f0cb85
</BODY>
</HTML>

通过将用户代理传递到标头中找到解决方案。

function firstShoe() {
        var options = {
            headers: {'user-agent': 'node.js'}
        }
        request('https://www.jdsports.co.uk/product/green-nike-vapormax/281735/', options, function (error, response, body) {
            console.log(body);
            message.channel.send(body);
        });
    }

Answer 1

您正在获得403 Forbidden因为该网站阻止了使用非常见用户代理发送的所有请求（基本上他们检查User-Agent标头）。 这是一个非常简单的保护措施，以避免刮板。

例如，如果您使用其标准User-Agent发送以下cURL，则会完美地收到响应：

curl -v 'https://www.jdsports.co.uk/product/green-nike-vapormax/281735/'

但是，如果您重复指定不存在的User-Agent的请求，则会阻止该请求：

curl -v 'https://www.jdsports.co.uk/product/green-nike-vapormax/281735/' -H 'User-Agent: StackOverflow'

NodeJS +请求 - 请求网站时拒绝访问

问题描述

1 个解决方案

解决方案1
4 已采纳 2017-07-15 14:17:49

NodeJS +请求 - 请求网站时拒绝访问

问题描述

1 个解决方案

解决方案1 4 已采纳 2017-07-15 14:17:49

解决方案1
4 已采纳 2017-07-15 14:17:49