從MySQL bin日志並行處理

Question

我們正在進行從日志到其他dbs的bin日志流。

我們面臨的問題是事件序列，我們無法進行並行處理，即bin日志中寫入的事件是按時間排序的，我們不能輕易地在下游數據庫中進行並行查詢插入，並且在單個連接上插入非常因為下游數據庫是一個柱狀數據庫，所以速度很慢

無論如何，我們可以通過以下方式讀取事件：我們可以有效地並行化二級數據庫中的持久性。

Answer 1

由於binlog包含事件流而不是當時的數據快照，因此我們無法通過並行事件處理來構建狀態。

如果您確定，您的表彼此之間沒有依賴關系，那么運行N（假設您有N個表）binlog處理器與每個表名上的過濾條件並行。

另一種方法是將多個依賴表分組，並具有過濾條件，以便在單個binlog進程上處理特定的表集。 你可以擁有盡可能多的套裝。