cost 82 ms
数据流 API - 高可用性 - Data streaming API- High availability

在我在 AWS 上的架构中,我有一个在 EC2 实例上运行的服务,它调用 Twitter 流式传输 API 用于数据摄取,即摄取实时推文。 我将此服务称为 TwitterClient。 Twitter API 使用一种基于 HTTP 协议的长轮询来传递流数据。 文档说——在您的应用程序(在我的例子 ...

检测事件时间会话窗口的结束(Apache Flink Java) - Detect end of event time session window (Apache Flink Java)

假设所有事件都准时到达并且不允许迟到,我如何仅在会话窗口结束时进行一些处理? 即水印已经通过( lastEventInWindowTimestamp + inactivityGap )。 我找不到发生这种情况时调用的任何 API 方法。 我可以使用自定义ProcessWindowFunction实现 ...

访问动态变化的 Apache Flink 中的每个键状态存储 - Accessing per-key state store in Apache Flink that changes dynamically

我有一个带有不同键的消息流。 对于每个键,我想创建一个事件时间会话窗口并仅在以下情况下对其进行一些处理: MIN_EVENTS窗口中已累积的事件数(本质上是键控状态) 对于每个键, MIN_EVENTS是不同的,并且可能会在运行时发生变化。 我很难实现这一点。 特别是,我正在像这样实现这 ...

是否可以使用 Apache Beam / Google Cloud Dataflow 从 Azure EventHub 主题中使用? - Is it possible to consume from an Azure EventHub topic using Apache Beam / Google Cloud Dataflow?

问题 我们想使用 Google Cloud 中的数据流管道从 Azure 中的 EventHub 主题进行消费。 题 是否知道 KafkaIO 是否允许在 Apache Beam/Google Cloud 数据流作业中直接从 EventHub 进行消费? (见这个帖子) 将 EventHub ...

比较 WSO2 Stream 处理器中的批次平均值 - Compare batches of average values with each other in WSO2 Stream Processor

我在 Siddhi 中编写了一些代码,用于记录/打印一批最后 100 个事件的平均值。 所以事件 0-100、101-200 等的平均值。我现在想将这些平均值相互比较以找到某种趋势。 首先,我只想看看对于一定数量的平均值是否存在一些简单的下降趋势。 例如,我想将所有平均值与所有即将到来的 1-10 ...

在 WSO2 stream 处理器中将字符串转换为双精度或浮点问题 - Converting string to double or float issue in WSO2 stream processor

我有一个 CSV 文件,我想加载到 WS02 stream 处理器中以模拟事件。 我有一个名为“结果”的列。 这是 CSV 文件中的字符串列。 在 WSO2 stream 处理器中,我尝试将传入的 Result 字符串转换为 double 或 float。 但这不起作用。 我还尝试以某种方式更改 C ...

U-sql:如何处理具有带有多个对象的多个JSON数组的Avro文件? - U-sql : How to process an Avro file with multiple JSON arrays with multiple objects?

我通过流分析和使用捕获的事件中心在Data Lake Store中收到一个Avro文件。 该文件的结构如下所示: [{ “ID”:1, “PID”: “ABC”, “值”: “1”, “utctimestamp”:1537805867},{ “ID”:6569, “PID”: “1E ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM