有沒有辦法從瀏覽器中安全地抓取單頁應用程序 (SPA)？

Question

我已經構建了一個小工具來使用DOMParser從 web 瀏覽器中的 web 頁面中抓取元數據。 這適用於很多網站，但有些頁面，如推文頁面，在附加的 JavaScript 加載數據之前不會添加它們的元數據。

我知道我可以設置某種運行Puppeteer的代理服務器，但我正在尋找一種可以直接在瀏覽器中運行的解決方案。

Answer 1

Protractor是一款非常棒的抓取工具。 它主要是用於各種 web 站點（包括 SPA）的端到端測試工具，但如果它不僅僅是花哨的 web 抓取，那么什么是端到端測試？

我過去曾使用 Protractor 抓取了數十個站點，並且運行良好。 易於安排，可以運行無頭 Chrome 或 phantomJS，因此您甚至看不到頁面加載。