如何 WEB 抓取 XML 站點地圖

Question

我試圖弄清楚是否可以抓取網站的站點地圖，並且每次站點地圖發生更改時，記錄/記錄更改的內容並將其發送到電子郵件地址或電報帳戶。

有誰知道這是否可行，如果可以，從哪里開始？

謝謝

Answer 1

我假設您已經抓取了站點地圖。

對的，這是可能的。 您需要安排在定期間隔后自動觸發的任務。

在此任務中，您需要讀取網站的站點地圖並將所有 URL 保存在數據庫中。 您必須添加 URL 是否已經在數據庫中的條件。 如果 URL 是新的並且在數據庫中不可用，那么您將將該 URL 發送到電子郵件/電報並將該 URL 添加到數據庫中。

每次調度程序任務運行時，它都會找到所有新的 URL，並將通過電子郵件發送給您並更新數據庫。 希望這是有幫助的。

如果您還沒有抓取站點地圖。 你可以通過 JSOUP/Scrapy 來做到這一點。