如何审核推与拉流系统
[英]How to audit Push vs Pull streaming systems
问题描述
这是一个非常通用的架构类型的问题。 我有一个源系统（Kafka），其中数据不断在一个主题中流动。 有一个对数据感兴趣的外部客户。 经过多次对话，我们决定实施一个基于拉取的系统，其中客户端通过反向代理从 kafka 主题中拉取数据。
如何进行微观审核，以确认源中的所有数据确实已交付给客户？ 这是一个高容量系统（大约 400 条信息/秒）。 我当然可以向客户端提供 Kafka 延迟，以通知客户端进度。 但是，如果任何消息在传输过程中丢失或丢失，这不会通知我们。
任何指针将不胜感激。
谢谢
0 个解决方案
spark-streaming-kafka-0-8和spark-streaming-kafka-0-10
[英]spark-streaming-kafka-0-8 vs spark-streaming-kafka-0-10
基于事件/流的系统中的 TCP 交付和处理保证和恰好一次保证
[英]TCP delivery and processing gurantees and exactly once guarantee in event / streaming based systems
使用Kafka进行Spark流式传输 - createDirectStream vs createStream
[英]Spark streaming with Kafka - createDirectStream vs createStream
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
如何使用客户端 golang 在 cloudwatch 中拉/推指标
Spark Kafka Streaming拉更多消息
将数据从 Spark Streaming 推送到 Kafka
spark-streaming-kafka-0-8和spark-streaming-kafka-0-10
基于事件/流的系统中的 TCP 交付和处理保证和恰好一次保证
Spark Streaming DStream元素与RDD
Kafka实时流与Micro服务
Spark Streaming - 批处理间隔与处理时间
使用Kafka进行Spark流式传输 - createDirectStream vs createStream
Spark流媒体+ Kafka vs Just Kafka
相关标签