无法使用Kafka使用大型邮件（超过1.3 MB）？

Question

我点击了链接如何使用Kafka（超过15MB）发送大型邮件？ 解决kafka msg限制问题。 但是没有运气

我尝试增加

A.）在经纪人上：

message.max.bytes=15728640 
replica.fetch.max.bytes=15728640

B.）消费者： fetch.message.max.bytes=15728640

仍然面临着同样的问题。 无法使用特定主题上超过1.3 MB的数据

在我的应用程序中，从python代码发送一个主题的msg，并在节点服务器上使用。

Answer 1

Kafka确实对数据大小有严格的限制； 默认值为1MB 。 我相信您错过了主题级别的配置。

在不同级别有多个配置：

您有一个代理设置message.max.bytes （默认为1000012） http://kafka.apache.org/documentation/#brokerconfigs

有一个主题级别的配置max.message.bytes （默认为1000012） http://kafka.apache.org/documentation/#topicconfigs

生产者具有max.request.size （默认为1048576） http://kafka.apache.org/documentation/#producerconfigs

使用者具有max.partition.fetch.bytes （默认值为1048576） http://kafka.apache.org/documentation/#consumerconfigs