如何從Js和Go的不同框架配置Kafka環境下發JSON

Question

我正在構建幾個微服務和一個日志微服務。

日志微服務代碼將在其他微服務將其日志發送到 kafka 之后出現。 作為微服務記錄必須消耗從基於 JS 的微服務發送的所有日志數據，我必須在 GO 中接收 JSON。
不使用解析器還有其他方法嗎？ （就像 g-RPC 將整個數據更改為二進制以加快傳輸速度，並且對於每個環境都是可以理解的。）

在使用消息代理時，我對不同環境如何協同工作知之甚少。

Answer 1

您可以使用模式 (Protobuf, Avro, JSON Schema) ，因此它將被轉換為二進制，盡管要充分利用其優勢，您將需要一個模式注冊表，否則它會將模式嵌入到每條消息中。

Answer 2

我不確定我是否完全理解您的要求。

Kafka存儲字節，JS或Golang都有客戶端。 兩種語言/環境都需要有可用於序列化和反序列化的庫。 關於 golang，您不需要結構來讀取 JSON。

或者，您可以使用 Elasticsearch 或 Splunk 等工具來使用任何 Kafka 事件並在反序列化這些記錄后索引字段，而無需任何 Go 使用者。

但是，是的，在某個地方需要一個解析器來將您的數據索引為可搜索的格式。