使用電子商務中的類別爬取產品數據

Question

我需要開發一個應用程序，該應用程序將一個電子商務網站的URL作為輸入，並用類別和子類別廢棄產品標題，價格。

Scrapy似乎是一種很好的抓取數據的解決方案，所以我的問題是，我知道網站具有不同的結構並且沒有真正使用相同的標簽時，如何告訴scrapy標題，價格，類別和子類別在哪里提取？

編輯：我要改變我的問題，我們不能編寫一個通用的蜘蛛，它以起始URL，允許的域以及xpath或css選擇器作為參數嗎？

Answer 1

類別和子類別通常位於面包屑中。

通常，這些選項的css選擇器將是.breadcrumb a ，並且可能適用於80％的現代電子商務網站。