在 Kafka 中調度作業

Question

我目前正在開發一個將任務安排為計時器的應用程序。 定時器可以根據用戶的配置在一周中的任何一天運行。 目前使用bullqueue和redis實現存儲。 一旦計時器執行，它將執行一個事件並進一步處理業務邏輯。 redis 中可以有數千條隊列消息。

我希望用 Kafa 替換 redis，因為我讀過它很容易擴展並且保證不會丟失消息。

問題是。 和卡法一起去是個好主意嗎？ 如果是，那么我們如何結合 bullqueue 在 kafka 中安排工作。 我是 Kafka 的新手，仍在嘗試了解我們如何安排 Kafka 中的作業，或者它是否是一個很好的架構設置。

我當前的應用程序設置是使用 nestjs、nodejs

Answer 1

Kafka 沒有任何內置的功能，因此您需要將它與其他一些計時器/隊列系統結合起來以安排KafkaProducer操作。

同樣，Kafka 消費者通常總是在運行，但您也可以定期啟動/暫停它們。