Kafka多個制作人寫同一主題 - 消息和數據突發的排序

Question

我想了解卡夫卡。 假設我有多個制作人，每個人都寫同一個主題。 （由於設計和我們使用avro進行序列化，因此無法擁有更多主題）因為我們的信息太大，我們需要將其分成小部分並將其發送給kafka。

在這種情況下 - 來自不同生產者的消息可以混合嗎？ 我該如何避免這種情況？ 有任何想法嗎

此外，我們有巨大的數據庫，就像在2分鍾內會有1000條消息，然后在接下來的5到7分鍾內消息很少，在這種情況下我們可以做些什么

Answer 1

因為我們的信息太大，我們需要將其分成小部分，然后將其發送給kafka。

你呢？ 您運行了基本測試並遇到了一些問題？ 你試過調整緩沖區嗎？ 我很確定kafka可以毫不費力地處理相對較大的消息（數十兆字節）。 實際上，與大量微小消息相比，您可能會獲得更好的吞吐量。

此外，我們有巨大的數據庫，就像在2分鍾內會有1000條消息，然后在接下來的5到7分鍾內消息很少，在這種情況下我們可以做些什么

現代服務器機器上的單個kafka代理可以輕松處理每秒 ~20k-40k消息（批量處理1000條消息，每個2k大小，同步模式）。 我沒有看到問題。

來自不同生產者的消息可以混合嗎？

是的，他們可能是混合的。 實際上，kafka協議並沒有很好地定義這一時刻，特定的實現可能會改變這種行為，因此對於穩定的解決方案，請看下面的部分。

我該如何避免這種情況？

Kafka有一個分區的概念：每個主題默認都有1個分區，每個分區都可以被認為是並行的一個單元。 設置適當的分區程序，以便每個生成器以隔離的方式寫入它自己的分區。