如何从快速路线中调用我的 web 刮板？

Question

我的 Nodejs 服务器的根目录中有一个 web 刮板，运行 express。 这是一个使用 needle 对 html 发出获取请求的文件，它返回一个数据数组。 然后我有我的 index.js 和我的快速路线，一个简单的路线，比如"/api/scrape" 。

但是，当我从 go 到那个 url 时，服务器控制台仍然会在刮板中打印出一个 console.log 以表明它正在完成。 但是快递想在等待刮板完成之前继续前进。

在将响应发送回 React 之前，如何等待爬虫完成。

Answer 1

You can try converting your function which calls the web scraper to an async function, and have express call the function with await. 这样，express 将等待返回 promise，而不是继续前进。

我相信这也可以通过将其作为中间件在 express 中实现：

const example_scrape = (req, res, next) => {
... do your scraping
next() //allows express to move onto the next route? not sure the terminology 
}


app.get('/api/scrape_my_site', example_scrape, (req,res) => {
...
}