[英]does kafka broker needs to commit to disk before consumer can read
生产者向代理发送消息后，代理是否需要刷新磁盘才能将其提供给消费者？ 还是可以在提交到磁盘之前直接从页面缓存中发送。
我们正在尝试将kafka用于股票市场数据，在这些数据中，短时间的消息速率可能非常高，因此在暴露给消费者之前对磁盘进行写/刷新操作会增加严重的延迟。
Kafka使用复制来保持数据的一致性。 系统将不一致，如果在写入/刷新之前将数据提供给使用者，然后在将数据刷新到磁盘之前丢失了分区的前导。
消息只有在被写入分区的特定段之后才对使用者可用。
仅允许从领导者分区读取消息，并且只能读取已复制到所有同步副本中的消息。如果尝试获取那些未在同步中复制的消息，我们将得到一个空响应。副本。
我们应该调整以下参数，以使同步副本与引导者同步，以便可以非常快速地获得数据以供使用者读取。
copy.lag.time.max.ms，copy.fetch.wait.max.ms和copy.fetch.min.bytes
Kafka 是否允许消费者将其最新消耗的偏移量提交（持久）到磁盘，因此不需要缓慢和阻塞的代理提交？
[英]Does Kafka allow a consumer to commit (persist) its latest consumed offset to disk, so no slow and blocking broker commit is needed?
消费者如何在从 Kafka 代理获取数据之前检查模式注册表是否可访问？
[英]How can consumer check if the schema registry is reachable before getting data from Kafka broker?
如何在消费者中读取和解析来自kafka代理的传入消息？
[英]How to read and parse incoming message from kafka broker in a consumer?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
