为什么在抓取JavaScript时出现500错误

Question

它一直工作到昨天，但是现在我在此站点上遇到500错误：“ https://music.bugs.co.kr/chart/track/day/kpop ”我想获取一些信息，但是我不能。

这是我的简短代码

const Crawler = require('crawler');

exports.daily = async () => {

  var c = new Crawler({
    maxConnections: 10,
    callback: function (error, res, done) {
      if (error) {
        console.log(error);
      }
      else {
        try{
          console.log(res.statusCode);
        }
        catch (e) {
          console.log(e);
        }
      }
      done();
    }
  });

  // Queue just one URL, with default callback
  let url = 'https://music.bugs.co.kr/chart/track/day/kpop';
  c.queue(url);
}

我希望是200，但会抛出500。

我认为这是该网站的问题，我能做些什么吗？

Answer 1

如果bugs.co.kr，我假设您不是所有者。

错误500表示对方有问题（bugs.co.kr）。 如果这不受您的控制，则您将无法直接执行任何操作。

您可以做的事情：

1. 等待！ 通常，远程站点所有者/开发人员可以非常快速地检测到这500个错误，并可以快速修复这些错误。
2. 与网站联系：提交错误报告； 发送错误报告电子邮件； 填写联系表格！ 任何东西。
3. 查找提供类似数据的其他服务（ff错误未解决）。 您可能需要重写代码。