堆栈内存溢出
cost 119 ms
使用 Kafka 作为 (CQRS) Eventstore。 好主意？

[英]Using Kafka as a (CQRS) Eventstore. Good idea?

虽然我之前遇到过Kafka ，但我最近才意识到 Kafka 可能被用作CQRS 、 eventstore的（基础）。 Kafka 支持的要点之一： 事件捕获/存储，当然都是 HA。 发布/订阅架构 能够重放事件日志，这允许新订阅者在事后向系统注册。 诚然，我不是 100% 精通 ...

了解 Kafka 主题和分区

[英]Understanding Kafka Topics and Partitions

我开始学习Kafka，在阅读的过程中，我想到了一些问题： 当生产者生成消息时 - 它会指定要将消息发送到的主题，对吗？ 它关心分区吗？ 当订阅者正在运行时 - 它是否指定了它的组 ID，以便它可以成为同一主题的一组消费者或该组消费者感兴趣的几个主题的一部分？ 每个消费者组在broker ...

有没有办法清除 Kafka 中的主题？

[英]Is there a way to purge the topic in Kafka?

我将一条太大的消息推送到本地计算机上的 kafka 消息主题中，现在出现错误： 增加fetch.size在这里并不理想，因为我实际上不想接受那么大的消息。 ...

什么决定了Kafka消费者偏移量？

[英]What determines Kafka consumer offset?

我对卡夫卡比较陌生。 我已经对它进行了一些试验，但是关于消费者抵消，我还不清楚一些事情。 据我目前所了解，当消费者启动时，它将开始读取的偏移量由配置设置auto.offset.reset （如果我错了，请纠正我）。 现在假设主题中有 10 条消息（偏移量 0 到 9），并且消费者在它关闭之前（或在 ...

使用 Kafka 进行数据建模？ 主题和分区

[英]Data Modeling with Kafka? Topics and Partitions

在使用新服务（例如非 RDBMS 数据存储或消息队列）时，我首先考虑的事情之一是：“我应该如何构建我的数据？”。 我阅读并观看了一些介绍性材料。 特别地，以Kafka: a Distributed Messaging System for Log Processing为例，它写道： “主题 ...

如何在linux中找到kafka版本

[英]How to find the kafka version in linux

如何在linux中找到kafka版本？ 除了在下载时提及版本之外，是否有其他方法可以找到已安装的 kafka 版本？ ...

如何使用 Kafka（超过 15MB）发送大消息？

[英]How can I send large messages with Kafka (over 15MB)?

我使用 Java Producer API 将字符串消息发送到 Kafka V. 0.8。 如果消息大小约为 15 MB，我会收到MessageSizeTooLargeException 。 我尝试将message.max.bytes设置为 40 MB，但仍然出现异常。 小消息没有问题。 （异常 ...

Kafka：消费者 API 与 Streams API

[英]Kafka: Consumer API vs Streams API

我最近开始学习 Kafka 并最终解决了这些问题。 消费者和流之间有什么区别？ 对我来说，如果任何工具/应用程序消费来自 Kafka 的消息，那么它就是 Kafka 世界中的消费者。 Stream 有什么不同，因为它也从 Kafka 消费或向 Kafka 生产消息？ 为什么需要它，因为我 ...

在 Kafka 0.8.1.1 中删除主题

[英]Delete topic in Kafka 0.8.1.1

我需要删除 Apache Kafka 0.8.1.1 中的主题test 。 如此处的文档中所述，我已执行： 但是，这会导致以下消息： 我怎样才能删除这个话题？ ...

是否可以将分区添加到 Kafka 0.8.2 中的现有主题

[英]Is it possible to add partitions to an existing topic in Kafka 0.8.2

我有一个运行 2 个分区的Kafka集群。 我正在寻找一种将分区数增加到 3 的方法。但是，我不想丢失有关该主题的现有消息。 我尝试停止Kafka ，修改server.properties文件以将分区数增加到 3 并重新启动 Kafka。 然而，这似乎并没有改变什么。 使用 Kafka Consum ...

Apache Kafka 与 Apache Storm

[英]Apache Kafka vs Apache Storm

Apache Kafka：分布式消息系统 Apache Storm：实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据？ 在实时数据管道方面，在我看来两者都做相同的工作。 我们如何在数据管道上使用这两种技术？ ...

stream处理与消息处理的区别

[英]Difference between stream processing and message processing

stream处理与传统消息处理的基本区别是什么？ 正如人们所说，kafka 是 stream 处理的不错选择，但本质上，kafka 是一个类似于 ActivMQ、RabbitMQ 等的消息传递框架。 为什么我们一般不说 ActiveMQ 也适合 stream 处理。 是消费者消费消息的速度决定了是 ...

如何查看kafka消息

[英]How to view kafka message

有什么方法可以查看针对给定主题发送到 kafka 的消息内容吗？ 如果可能的话，说一些类似查看该主题的最后 5 条消息的内容。 ...

有没有办法从主题中删除所有数据或在每次运行之前删除主题？

[英]Is there a way to delete all the data from a topic or delete the topic before every run?

有没有办法从主题中删除所有数据或在每次运行之前删除主题？ 我可以修改 KafkaConfig.scala 文件来更改logRetentionHours属性吗？ 有没有办法在消费者阅读后立即删除消息？ 我正在使用生产者从某处获取数据并将数据发送到消费者消费的特定主题，我可以在每次运行时从该主题中删除 ...

Kafka >= 0.10.1 的 session.timeout.ms 和 max.poll.interval.ms 之间的差异

[英]Difference between session.timeout.ms and max.poll.interval.ms for Kafka >= 0.10.1

我不清楚为什么我们同时需要session.timeout.ms和max.poll.interval.ms以及我们什么时候使用一个或另一个或两者？ 似乎这两种设置都表明协调器在假设消费者死亡之前等待从消费者那里获得心跳的时间上限。 此外，对于基于KIP-62 的0.10.1.0+ 版本，它的行为如何 ...

如何从命令提示符检查 ZooKeeper 是否正在运行或启动？

[英]How to check if ZooKeeper is running or up from command prompt?

我探索了一些设置 kafka 的选项，我知道 Zookeeper 必须启动并运行才能启动 kafka。 我想知道如何找到以下内容。 1）我的zookeeper实例的主机名和端口---我检查了zoo.cfg，我只能找到ClientPort而不是主机名，主机名会是我盒子的主机名吗？ 2) 检查 Z ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM