[英]Make various requests using nightmare.js
我正在使用nightmarejs抓取網站。 首先,我請求獲取一些鏈接,這些鏈接會轉到另一個頁面,其中也包含我想要的更多信息。 我將其分為兩個功能:
const { csvFormat } = require('d3-dsv');
const Nightmare = require('nightmare');
const { writeFileSync } = require('fs');
const url = 'https://lojaonline.claro.com.br/celular';
function getUrls (){
console.log('Extraindo Links...');
const nightmare = new Nightmare({show: true});
var p1 = '51030';
var p2 = '560';
try{
nightmare.goto(url).wait('input[id="edit-cep-part1"]')
.type('input[id="edit-cep-part1"]', p1)
.wait('input[id="edit-cep-part2"]')
.type('input[id="edit-cep-part2"]', p2)
.click('input[value="Confirmar"]')
.wait('#products-container .products-list').evaluate(function(){
return Array.from(document.querySelectorAll('.offer')).map(element => element.href);
}).end()
.then(function(result){
var listaUrls = Object.values(result);
return listaUrls;
})
.then(function(listaUrls){
listaUrls.forEach(function(link){
console.log('Pegando preços de ' + link);
getPrecos(link);
});
});
}catch(e){
console.error(e);
}
};
function getPrecos(endereco) {
console.log('Extraindo preços...');
const nightmare = new Nightmare({gotoTimeout: 999999999});
var p1 = '51030';
var p2 = '560';
try{
nightmare.goto(endereco).wait('input[id="edit-cep-part1"]')
.type('input[id="edit-cep-part1"]', p1)
.wait('input[id="edit-cep-part2"]')
.type('input[id="edit-cep-part2"]', p2)
.click('input[value="Confirmar"]')
.wait('#plans-tab').evaluate(function(){
return Array.from(document.querySelectorAll('tr.body')).map(element => element.innerText);
}).end()
.then(function(result){
var listaPrecos = Object.values(result);
console.log(listaPrecos);
});
}catch(e){
console.error(e);
}
};
getUrls();
它在大多數情況下都起作用。 一些請求成功了,我能夠獲取信息,但是一些請求在30秒后超時:
UnhandledPromiseRejectionWarning: Error: .wait() for #plans-tab timed out after 30000msec.
我必須等待,輸入並單擊,因為此特定網站在顯示數據之前要求提供郵政編碼。 如果我確實在getPrecos函數中顯示:true,則將彈出20個電子實例。 我在這里做錯了什么?
有沒有辦法僅在前一個請求完成后才觸發請求?
您正在使用forEach遍歷列表,如果希望它們一個接一個地獲取數據,則應使用for...of
和async await
或具有並發支持的Promise庫。
listaUrls.forEach(function(link) {
console.log("Pegando preços de " + link);
getPrecos(link);
});
可以使用異步等待和for循環打開以上代碼段,如下所示。
// other part of code
.then(async function(listaUrls) { // <-- async function
for(const link of listaUrls){
console.log("Pegando preços de " + link);
await getPrecos(link); // <-- go thru the link one by one
}
});
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.