分布式爬蟲和一致性

Question

情況是，我們有多個服務器（40多個）來同時刮取一個相同的URL（以確保我們擁有最小的舊版）並將數據保存到數據庫（MySQL）中。

現在的問題是：數據來回切換。 例如，由於搜尋器/數據庫的遺留問題，其內容在幾秒鍾之內就是A <-> B <-> A <-> B <->A。

有預防的好方法嗎？ 我們正在用Perl編寫爬蟲程序，但是任何一種語言對我們都可以，因為我們可以借鑒這個想法。

任何提示將不勝感激。 Redis？ ZeroMQ？

謝謝

Answer 1

鎖定一行，以便其他進程無法更新它。