堆栈内存溢出
cost 94 ms
Flink在java中使用多种数据结构

[英]Flink using multiple structures of data in java

我正在从 Java 中的 kafka 读取数据，以在 Apache Flink 中执行一些处理并接收结果。 我有 kafka 主题topic_a ，其中有一些数据，例如 {name: "abc", age: 20} 和一些数据，例如 {pin: 111, number: 999999, addres ...

在 Flink 中使用正则表达式消费多个主题

[英]Using regular expression to consume multiple topic in Flink

我知道 flink 可以使用正则表达式作为输入链接描述来使用多个主题。 我有以下主题名称，例如 在这种情况下，当我使用正则表达式将值设置为sclee-[\\d+]时，它给了我异常。 在我的情况下，正则表达式的情况是否正确？ 还有，Flink 真的支持吗？ 错误如下。 ...

Apache Flink 将其结果下沉到 OpenSearch

[英]Apache Flink sinking its results into OpenSearch

我在服务器上运行 Apache Flink v1.14，它对从 Kafka 读取的数据进行一些预处理。 我需要它将结果写入 OpenSearch，然后我可以从 OpenSearch 获取结果。 但是，在查看 flink v1.14 连接器列表时，我没有看到 OpenSearch。 还有其他方法可以 ...

新的flink Kafka consumer（KafkaSource）能否从旧的FlinkKafkaConsumer的Savepoint/checkpoint开始？

[英]Can new flink Kafka consumer (KafkaSource) start from the old FlinkKafkaConsumer's Savepoint/checkpoint?

我有一份工作正在与旧的 flink Kafka 消费者 ( FlinkKafkaConsumer ) 一起运行，现在我想将它迁移到KafkaSource 。 但我不确定这次迁移会产生什么影响。 我希望我的工作从旧的 FlinkKafkaConsumer 最新成功的检查点开始，这可能吗？ 如果不可能 ...

由于领导选举正在进行，Flink 服务暂时不可用。 请刷新

[英]Flink Service temporarily unavailable due to an ongoing leader election. Please refresh

这是我第一次使用flink，我从官网上下载了https://dlcdn.apache.org/flink/flink-1.16.0/flink-1.16.0-bin-scala_2.12.tgz解压后，我运行这个命令来启动它。/bin/start-cluster.sh，但是当我想在 http://l ...

在 Flink 中使用 RichMap 比如 Scala MapPartition

[英]Use RichMap in Flink like Scala MapPartition

在 Spark 中，我们有 MapPartition function，它用于对一组条目进行一些初始化，比如一些 db 操作。 现在我想在 Flink 中做同样的事情。 经过一些研究，我发现我可以使用 RichMap 来实现相同的用途，但它有一个缺点，即该操作只能在流式作业开始时的 open 方法 ...

Flink：TaskManager 无法连接到 JobManager - 无法解析 ResourceManager 地址

[英]Flink: TaskManager cannot connect to the JobManager - Could not resolve ResourceManager address

我正在使用 Apache Flink Kube.netes 操作员在应用程序集群设置上部署独立作业。 我使用 Flink 官方文档设置了以下文件 - 链接 jobmanager-application-non-ha.yaml taskmanager-job-deployment.yaml fli ...

Flink Streaming File Sink 的 output 路径格式可以改吗？

[英]Can I change the output path format of Flink Streaming File Sink?

赏金将在 7 天后到期。 此问题的答案有资格获得+50声望赏金。 Rinze想让更多人关注这个问题。 我正在使用 Pyflink 和 Streaming API 将数据同步到文件系统中。 output 文件的路径如下： output 文件路径格式似乎是{year}-{month}-{day} ...

Flink window 什么时候发出？

[英]When does a Flink window get emitted?

“例如，使用基于事件时间的窗口策略，每 5 分钟创建一个非重叠（或翻滚）windows，并且允许延迟 1 分钟，Flink 将在 12:00 和 12:00 之间的间隔创建一个新的 window :05 当第一个时间戳落入此区间的元素到达时，当水印超过 12:06 时间戳时它将删除它。” 当水印 ...

在 Flink 中是否可以将 state 与非键控 stream 一起使用？

[英]In Flink is it possible to use state with a non keyed stream?

让我们假设我有一个输入 DataStream 并想实现一些需要“内存”的功能，所以我需要 ProcessFunction 让我可以访问 state。是否可以直接对 DataStream 进行操作，或者唯一的方法是通过初始 stream 进行键控并在键控上下文中工作？ 我认为一种解决方案是使用硬编码 ...

Flink 提交到 kafka 需要比检查点间隔更长的时间

[英]Flink committing to kafka takes longer than the checkpoint interval

我无法理解为什么我的 flink 工作提交给 kafka 消费者需要这么长时间。 我有一个 1s 的检查点，并出现以下警告。 我目前使用的是 1.14 版。 Committing offsets to Kafka takes longer than the checkpoint interval. ...

Docker无法启动Flink JobManager容器

[英]Unable to start Flink JobManager container in Docker

我无法在运行 Monterey 的 M1 MacBook 上启动 Flink JobManager Docker 容器。 下面是从 Flink 文档中提取的 docker 命令和生成的java.io.IOException 我的 docker 版本是： 为什么容器不允许创建所需的目录？ ...

Flink 触发触发多个 windows？

[英]Flink triggers firing for multiple windows?

假设我们有一个 EventTimeSlidingWindow 和一个基于某个水印的 EventTime 触发器。 如果水印生成的频率非常低，比如说每五分钟生成一次，而 window 大小是一分钟，那么当水印进行时，会同时触发五个 window 结果吗？ 即，在我的 output stream 中， ...

Flink sql api - 如何读取 kafka 事件，该事件又具有 s3 的位置

[英]Flink sql api - how to read kafka event which in turn has a location to s3

我正在尝试使用 flink sql 从 kafka 主题读取数据。 我们有一个模式，如果有效负载大小大于 1MB，我们将有效负载上传到 s3，并在 kafka 事件中将一个位置发送到 s3。 我有一个这样的 flink 表 这里的contentJson字段可以是实际的 json，例如 或者它可以是像 ...

用 Apache Flink 解决 Scheduled Processing

[英]Solving for Scheduled Processing with Apache Flink

我们在 12 个时区拥有约 5 亿司机。 我们会定期发送不同的信息，例如他们的收益报告、新促销、政策变更更新等。 我们希望在最适合他们的时间将这些通信传递给他们。 例如 - 当地时间上午 9 点。 我们希望尽早生成这些通信并将它们发布到 Flink 并安排它们在适当的时间交付。 消息将采用以下格式 ...

在 Flink 中是否可以有一个 DataStream<tuple> Tuple 是所有已知 Tulple（如 Tuple2、Tuple3 等）的基数 class 在哪里？</tuple>

[英]In Flink is it possible to have a DataStream<Tuple> where Tuple is the base class of all known Tulples like Tuple2, Tuple3 etc?

我正在创建一个 Flink 应用程序，它从 Kafka 主题中读取字符串，例如“2 5 9”是一个值。 然后用“”分隔符拆分字符串并将其创建 map 到一个元组。 在这种情况下， map function 的结果将是一个 DataStream&lt;Tuple3&lt;Integer,Intege ...

使用 Springboot API 获取 Flink 结果 Apache

[英]Fetching Apache Flink results using Springboot API

我创建了一个 springboot 代码来使用 API，这样我就可以在用户点击端点时获取 flink 结果。 static Map&lt;String, Long&gt; finalList = new HashMap&lt;String, Long&gt;(); 上面是main方法外的class ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM