Kafka 消息在消費者中拆分

Question

我是卡夫卡的新手。 我正在向 REST 服務器發送請求，並將請求的響應作為消息發送給 kafka 服務器。

當我使用來自消費者的數據時，消息被分成多個較小的消息。 我該如何避免這種情況。 響應是 JSON 行。 我希望每個 json 行都是一條消息。 任何幫助，將不勝感激。 Json 的大小也不是很大。 超過 1500 行的 json 大約 2 MB

例如

ConsumerRecord(topic='meetup_sample', partition=0, offset=445386, >timestamp=1530554568191, timestamp_type=0, >key=b'5fa4964b035c072a81fedb93cfca8f0ecb562cf913c69f63efbbf4e799871f05', >value=b'andtop-d'andrink_d:"食物名稱:"Food and Drink"},{"urlkey":"newintown","topic_name":"New In Town"},{"urlkey":"beer","topic_name"', >checksum=None, serialized_key_size=64 , serialized_value_size=128) ConsumerRecord(topic='meetup_sample', partition=0, offset=445387, >timestamp=1530554568192, timestamp_type=0, >key=b'1f170ceabf91335d332487ebb0890f0bd0ed69018c618ecc2c789a24b'},>{valueBeerf=60d56} "urlkey":"game-night","topic_name":"游戲之夜"},{"urlkey":"歡樂時光","topic_name":"歡樂時光"},{"urlkey":"water-s ', >checksum=None, serialized_key_size=64, serialized_value_size=128)

Answer 1

一旦在消費者端使用 fetch.message.max.bytes=2000000