Kafka制作人從PORT生成主題數據

Question

我是Kafka的新手。

我有一台Linux計算機，其中端口號2552從外部服務器獲取數據流。

我想使用Kafka生產者來監聽該端口並將數據流傳遞到一個主題。

Answer 1

您沒有說端口2552上的流量是TCP還是UDP，但通常來說，您可以輕松編寫一個程序在該端口上偵聽，將接收到的數據解析為離散消息，然后將數據作為Kafka消息發布到Kafka Topic。 （帶有或不帶有密鑰）（使用Kafka Producer API）。

在某些情況下，現有的開源代碼可能已經為您完成了此操作，因此您無需從頭開始編寫它。 如果端口2552協議是眾所周知的協議，例如在IANA中注冊的TCP或UDP呼叫記錄協議（請參見ftp://www.iana.org/assignments/service-names-port-numbers/service-names- port-numbers.txt ），那么甚至可能存在支持它的現有Kafka連接器或代理。 在GitHub上搜索kafka-connect- [protocol]或在https://www.confluent.io/product/connectors/上查看指定的連接器列表。

甚至可能有一個通用的TCP或UDP連接器，您可以將其用作要嘗試攝取的特定協議的配置或構建您自己的參考。

Answer 2

這是一個完整的技巧，但可以用於沙箱示例：

nc -l 2552 | ./bin/kafka-console-producer --broker-list localhost:9092 --topic test_topic

它使用netcat偵聽TCP端口，並將接收到的任何內容通過管道傳遞給Kafka主題。

一個快速的谷歌也出現了這個https://github.com/dhanuka84/kafka-connect-tcp ，它看起來可以使用Kafka Connect API進行類似的操作，但功能更強大。