為什么在抓取JavaScript時出現500錯誤

Question

它一直工作到昨天，但是現在我在此站點上遇到500錯誤：“ https://music.bugs.co.kr/chart/track/day/kpop ”我想獲取一些信息，但是我不能。

這是我的簡短代碼

const Crawler = require('crawler');

exports.daily = async () => {

  var c = new Crawler({
    maxConnections: 10,
    callback: function (error, res, done) {
      if (error) {
        console.log(error);
      }
      else {
        try{
          console.log(res.statusCode);
        }
        catch (e) {
          console.log(e);
        }
      }
      done();
    }
  });

  // Queue just one URL, with default callback
  let url = 'https://music.bugs.co.kr/chart/track/day/kpop';
  c.queue(url);
}

我希望是200，但會拋出500。

我認為這是該網站的問題，我能做些什么嗎？

Answer 1

如果bugs.co.kr，我假設您不是所有者。

錯誤500表示對方有問題（bugs.co.kr）。 如果這不受您的控制，則您將無法直接執行任何操作。

您可以做的事情：

1. 等待！ 通常，遠程站點所有者/開發人員可以非常快速地檢測到這500個錯誤，並可以快速修復這些錯誤。
2. 與網站聯系：提交錯誤報告； 發送錯誤報告電子郵件； 填寫聯系表格！ 任何東西。
3. 查找提供類似數據的其他服務（ff錯誤未解決）。 您可能需要重寫代碼。