如何将 Json 文件从 Python 发送到 kafka

Question

我有一个如下所示的 json 文件，我想将其从 python 发送到 kafka。

Json 文件

 filename = 'External_Risk_{}.json'.format(date.today().strftime("%Y%m%d"))
    d =df.to_json(filename, orient='records')

发送到卡夫卡

from kafka import SimpleProducer, KafkaClient
import json 
from kafka import KafkaProducer
producer =KafkaProducer(bootstrap_servers='xxx.xxx.xxx.xxx')
jd = json.dumps(d)
producer.send_messages(b'message1',jd)

但它不起作用。 将 json 文件发送到 Kafka 的正确方法是什么。

Answer 1

您应该询问如何将文件加载到字符串中，然后您只是将字符串发送到 Kafka

import json 
from kafka import KafkaProducer
producer =KafkaProducer(bootstrap_servers='xxx.xxx.xxx.xxx')

with open(filename) as f:
    data = json.load(f)
    producer.send_message(topic, data.encode('utf-8')

Answer 2

尝试这个

from confluent_kafka import Producer
import json

p = Producer({'bootstrap.servers': 'localhost:9092'})

p.produce('topic', json.dumps({"demo": "message"}))

Answer 3

您可以通过简单地执行以下操作来发送 dict：

producer = KafkaProducer(
    acks='all',
    bootstrap_servers=['localhost:9092'],
    value_serializer=lambda v: bytes(json.dumps(v, default=str).encode('utf-8'))
)

我在返回 lambda 中的 json 之前调用 bytes() 方法