忽略404状态的html主体返回的node.js request.get

Question

我在使用node.js 请求模块时遇到麻烦。 我需要获取页面的html正文，因此我以这种方式向GET请求发送url：

var request = require('request');

var headers = { 
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:24.0) Gecko/20100101 Firefox/40.0',
    'Content-Type' : 'application/x-www-form-urlencoded' 
};
var url = "http://shop.nag.ru/catalog/14019.Шкафы-телекоммуникационные/14020.Напольные-шкафы/14024.600x600/08061.SNR-TFC-376060-G";

request.get({url: url, headers: headers }, function (err, response, body) {
  console.log("stat" + response.statusCode);
   console.log("body" + body);

}); 

并且它以html主体响应。 但是，如果您在浏览器中使用相同的链接，则会看到一个带有404 error的页面： http : //shop.nag.ru/catalog/14019.Шкафы-телекоммуникационные/14020.Напольные-шкафы/14024.600x600/08061.SNR- TFC-376060-G “（URL使用俄语字母）。那是什么问题？为什么请求没有返回“ 404”状态的响应？

Answer 1

尝试对网址进行编码 。 大多数浏览器默认情况下都执行此操作，因此当您尝试从浏览器中命中以下网址时：

http://shop.nag.ru/catalog/14019.Шкафы-телекоммуникационные/14020.Напольные-шкафы/14024.600x600/08061.SNR-TFC-376060-G

您实际上将请求发送到：

http://shop.nag.ru/catalog/14019.%D0%A8%D0%BA%D0%B0%D1%84%D1%8B-%D1%82%D0%B5%D0%BB%D0% B5％D0％BA％D0％BE％D0％BC％D0％BC％D1％83％D0％BD％D0％B8％D0％BA％D0％B0％D1％86％D0％B8％D0％BE％ D0％BD％D0％BD％D1％8B％D0％B5 / 14020.％D0％9D％D0％B0％D0％BF％D0％BE％D0％BB％D1％8C％D0％BD％D1％8B ％D0％B5-％D1％88％D0％BA％D0％B0％D1％84％D1％8B / 14024.600x600 / 08061.SNR-TFC-376060-G`

但是，如果您在节点request模块的帮助下运行请求，则不会对该URL进行编码。 因此，您应该自己做：

request.get({url: encodeURI(url), headers: headers }, function (err, response, body) { 
    // ... 
});