我可以在抓取时阻止将我的请求重定向到移动网站吗？

Question

我正在尝试使用 axios 从网站抓取数据。 它可以在电脑上运行，但在移动设备上没有任何数据。

我发现它被重定向到具有不同模板的移动网站。

我尝试将user-agent设置为 pc，但似乎它已自动更改为移动设备。

async function getData(url) {
  return axios({
    method: 'get',
    url:  url, 
    headers: {
      'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
    }
  })
    .then((response) => ...)

有没有什么办法解决这一问题？

Answer 1

尝试通过

headers: {
  'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
  'viewport-width' : 1536,
  'viewport-height' : 763
}