如何在节点 js 中将 jsonArray 写入 kafka 主题

Question

如何在节点 js 中将数组（具有 json 字符串）写入 Kakfa 主题？

Answer 1

server.on('package:publish', async event => {
  try {
    const responses = await producer.send({
      topic: process.env.TOPIC,
      messages: [{
        // Name of the published package as key, to make sure that we process events in order
        key: event.name,

        // The message value is just bytes to Kafka, so we need to serialize our JavaScript
        // object to a JSON string. Other serialization methods like Avro are available.
        value: JSON.stringify(array)
      }]
    })

    console.log('Published message', { responses })
  } catch (error) {
    console.error('Error publishing message', error)
  }
})

消息值只是 Kafka 的字节，因此我们需要将 JavaScript object 序列化为 JSON 字符串。 其他序列化方法（如 Avro）也可用。

只需将您的数组数据包装为JSON.stringify(array)并将其发送为值，然后在消费者端您可以使用JSON.parse(message.value)对其进行解析

这里有一些帮助链接https://www.confluent.io/blog/getting-started-with-kafkajs/

https://www.npmjs.com/package/kafka-node#producer