使用“ npm爬行器”爬行

Question

例如，我要从npmjs.org抓取Node.js模块的描述。
但是此代码不起作用。 以及它是如何使用jQuery而不是jsdom模块实现的。

var Crawler = require("crawler").Crawler;
var crawler = new Crawler({
   "maxConnections":10,
});

crawler.queue([{
"uri":"https://npmjs.org/package/crawler",

"callback":function(error,result) {
    console.log("description:", window.$("p.description").text());
    }
}]);

Answer 1

您的代码存在太早。 在最后一行添加setTimeout，以提供足够的时间来完成代码。

然后从您的回调函数调用process.exit（）。

搜寻器回调函数需要3个参数，第3个参数是jQuery，因此您可能会使用如下所示的参数：

"callback":function(error,result,$) {
  console.log("description:",$("p.description").text());
}