使用 javascript 從 chrome 控制台抓取一個網站

Question

我正在嘗試抓取包含 1000 個元素的表格的網頁。 每當單擊表格中的元素時，網頁都會更新標簽。 從 chrome 控制台，我想點擊每個元素，等待標簽更新並下載標簽。 目前我正在做以下事情：

for(i = 0; i < 1000; i++){
  document.querySelectorAll('element_in table')[i].click()
  text = document.querySelector('tag_to_read_from').innerHTML
  // download text
}

問題是在單擊表中的元素后更新標簽有延遲。 結果，由於 javascript 的異步性質，腳本正在下載 1000 個空文件。

有沒有辦法在點擊一個元素后等待 X 秒，然后下載更新的標簽？

Answer 1

function scrape (index, max) {
  document.querySelectorAll('element_in table')[index].click();
  
  setTimeout(() => {
    // download text

    if (index < max) scrape(++index, max);
  }, 5000);
}

scrape(0, 1000);

您可以使用超時來延遲邏輯。 只要選擇一個足夠大的時間。