在通過scrapy抓取數據的同時建立引薦來源網址鏈嗎？

Question

在抓取網址時，是否有任何刮板模塊可用於構建引薦來源鏈。

舉例來說，假設我從http://www.example.com開始抓取，然后移至http://www.new-example.com ，然后從http://www.new-example.com移至http：/ /very-new-example.com 。

我可以像這樣創建網址鏈（csv或json文件）：

 http://www.example.com, http://www.new-example.com
 http://www.example.com, http://www.new-example.com, http://very-new-example.com

依此類推，如果目前沒有可用的模塊或實現，那么我可以嘗試其他哪些選擇？

Answer 1

是的，您可以通過創建一個全局列表來跟蹤推薦，例如，所有方法都可以使用該列表。

referral_url_list = []

def call_back1(self, response):
    self.referral_url_list.append(response.url)

def call_back1(self, response):
    self.referral_url_list.append(response.url)

def call_back1(self, response):
    self.referral_url_list.append(response.url)

在蜘蛛完成后可以通過蜘蛛信號進行檢測。 您可以在信號功能中寫入csv或json文件