如何报告X射线的刮擦进度？

Question

就像我用下面的代码抓取3个页面：

var Xray = require('x-ray');
var x = Xray();

x('https://blog.ycombinator.com/', '.post', [{
  title: 'h1 a',
  link: '.article-title@href'
}])
  .paginate('.nav-previous a@href')
  .limit(3)
  .write('results.json')

如何报告进展情况？

我尝试了.then（），但似乎不起作用。

x('https://blog.ycombinator.com/', '.post', [{
  title: 'h1 a',
  link: '.article-title@href'
}])
  .paginate('.nav-previous a@href')
  .limit(3)
  .write('results.json')
  .then(
  //something to report the progression
  )

或回调函数也将不起作用

x('https://blog.ycombinator.com/', '.post', [{
  title: 'h1 a',
  link: '.article-title@href'
}])(()=>{
  //something to report the progress
  })
  .paginate('.nav-previous a@href')
  .limit(3)
  .write('results.json')

Answer 1

.then（）可以工作，但是写后就不能工作

.then（）期望（我认为！）一个承诺。 在.write（）之后，什么都没有了。

您可以尝试删除.write并使用then来console.log这样的结果：

var Xray = require('x-ray');
var x = Xray();

x('https://blog.ycombinator.com/', '.post', [{
  title: 'h1 a',
  link: '.article-title@href'
}])
  .paginate('.nav-previous a@href')
  .limit(3)
/*   .write('results.json') */
  .then(result => {
  })

然后将显示您抓取的页面的标题和链接。

您可以使用.then（）及其内部，使用诸如fs之类的文件将每个结果打印到文件中

var Xray = require('x-ray');
const fs = require('fs')
var x = Xray();



x('https://blog.ycombinator.com/', '.post', [{
  title: 'h1 a',
  link: '.article-title@href'
}])
  .paginate('.nav-previous a@href')
  .limit(3)
  .then(results => {
    console.log(results)

    let res = JSON.stringify(results, null, 2);

    fs.writeFile('results.json', res, (err) => {
      if (err) throw err

      console.log('result saved!')
    })
  })

这里JSON.stringify（results，null，2）只是获取一个对象（结果是一个对象数组）并将其转换为json（第三个参数-2-只是为了使其美观）

然后使用fs.writeFile（本机节点模块）将json对象写入results.json

您甚至可以使用forEach（）使它逐个对象

喜欢

 results.forEach(result => {
 //log the individual result and put in on an empty array, and then write the array
})