Python 到 PHP 異步數據傳輸

Question

我需要構建一個網絡抓取工具。 抓取部分將用 python 編碼，結果將以 PHP 顯示。 當 python 抓取頁面時，結果應該在 PHP 中異步顯示。

客戶認為 python 是網絡抓取的快速且更好的選擇。 您認為混合使用 python 和 php 仍然可以快速獲得結果，還是堅持使用 php 進行網絡抓取更快/更好？

在這兩種語言之間異步交換數據的首選方法是什么？

謝謝！

Answer 1

您可以使用支持自定義項目導出器的Scrapy 。

通過繼承BaseItemExporter類，您可以創建一個導出器，它可能會打開一個 websocket 並將通過它抓取的每個項目發送到您的 PHP 應用程序。 您甚至可以只使用 HTTP 請求發送它們，或者您可以將它們發送到持久消息隊列（如RabbitMQ或Apache Kafka ）並讓 PHP 應用程序使用隊列中的項目。