將 UDP 消息推送到 Kafka 主題

Question

kafka 生產者是否可以偵聽某些端口（ UDP/TCP ），然后將該數據發送到指定的主題。

我是否需要開發一個單獨的守護進程來監聽端口，然后將數據發送到 kafka 主題？ （已經有幾個 github 項目可用）。 只是想確保我們已經有辦法做到這一點，以便它變得更加健壯和易於擴展。 基本上，將 UDP 數據包中繼到 Kafka

問候蘇尼爾

Answer 1

正如評論中提到的，是的，這是可能的——通過谷歌搜索可以找到幾種解決方案——這是一個項目，它可以讓你做你想做的事情——開箱即用：

https://github.com/agaoglu/udp-kafka-bridge

Answer 2

我更喜歡使用 rsyslogd：/etc/rsyslog.d/kafka.conf

module(load="imudp")
module(load="omkafka")

template(name="kafka_msg" type="string" string="%msg%")

ruleset(name="kafka") {
  :msg, !contains, "timestamp" ~
  action (
    type="omkafka"
    topic="nginx-accesslog"
    broker=["192.168.1.1:9092", "192.168.1.2:9092", "192.168.1.3:9092"]
    template="kafka_msg"
    confParam=["compression.codec=gzip"]
    partitions.auto="on"
  )
}

input(type="imudp" port="10514" Ruleset="kafka")