我們如何使用 confluent-kafka-go 客戶端確保可靠和低延遲的 kafka 編寫？

Question

https://github.com/confluentinc/confluent-kafka-go上的示例生產者代碼調用Producer.Produce(...)它將消息寫入發送緩沖區隊列並立即返回。 但是，寫入內部緩沖區隊列並不能保證消息傳遞成功。 我們如何確保在這里成功傳遞消息？

for idx, word := range []string{"Welcome", "to", "the", 
                                "Confluent", "Kafka", "Golang", "client"} {
    start_time := time.Now().UnixNano()
    p.Produce(&kafka.Message{
        TopicPartition: kafka.TopicPartition{Topic: &topic, 
                                             Partition: kafka.PartitionAny},
        Value:          []byte(word),
    }, nil)
}

Answer 1

要立即阻止和發送數據，您需要調用生產者的 Flush 方法

https://github.com/confluentinc/confluent-kafka-go/blob/master/kafka/producer.go#L335

為確保其寫入可靠，請設置 acks=all 生產者配置並確保將主題配置為具有最小同步副本為 2 或更多，主題復制因子為 3 或更多