使用 Node.js 監控第三方流量的最佳方式是什么？

Question

我正在嘗試使用 Node.js 識別對第三方站點上的資源的所有出站 http 請求。 我已經開始使用具有網絡監控功能的 Phantomjs（和 phantomjs-node），但我發現它對許多站點都不可靠。

我見過像 Charles 和 Fiddler 這樣的工具，但我正在嘗試將第三方 http 請求合並到我自己的 Node.js 應用程序中。

有沒有其他方法可以在不使用無頭瀏覽器的情況下解決這個問題？

Answer 1

我並不是很喜歡使用 Node.js 中的 phantomjs。 本質上，PhantomJS 有自己的事件循環，Node JS 有自己的，大多數在線提供的 npm 模塊（包括 phantomjs-node）將使用某種消息傳遞（Websocket 等）在兩者之間進行通信。

現在回到你原來的問題。

您有幾個選擇：

1. 如果您只想從網頁中捕獲請求進行幾次執行，您也可以使用 Chrome 或 Firefox 擴展程序。 在 Firefox 中，您可以使用 Firebug( http://getfirebug.com/ ) 來捕獲網絡和 XHR 請求。 在 Chrome 中，您可以使用 Chrome Dev Tools 捕獲請求並右鍵單擊將請求另存為 JSON。
2. 您可以編寫自己的 Firefox 擴展來捕獲網絡請求並記錄它們。
3. 如果您想使用 PhantomJS，我建議您使用 PhantomJS 2（因為它使用最新版本的 WebKit）。 我還建議直接使用它而不是 NodeJS 來降低復雜性。