堆棧內存溢出
cost 187 ms
Flink在java中使用多種數據結構

[英]Flink using multiple structures of data in java

我正在從 Java 中的 kafka 讀取數據，以在 Apache Flink 中執行一些處理並接收結果。 我有 kafka 主題topic_a ，其中有一些數據，例如 {name: "abc", age: 20} 和一些數據，例如 {pin: 111, number: 999999, addres ...

在 Flink 中使用正則表達式消費多個主題

[英]Using regular expression to consume multiple topic in Flink

我知道 flink 可以使用正則表達式作為輸入鏈接描述來使用多個主題。 我有以下主題名稱，例如 在這種情況下，當我使用正則表達式將值設置為sclee-[\\d+]時，它給了我異常。 在我的情況下，正則表達式的情況是否正確？ 還有，Flink 真的支持嗎？ 錯誤如下。 ...

Apache Flink 將其結果下沉到 OpenSearch

[英]Apache Flink sinking its results into OpenSearch

我在服務器上運行 Apache Flink v1.14，它對從 Kafka 讀取的數據進行一些預處理。 我需要它將結果寫入 OpenSearch，然后我可以從 OpenSearch 獲取結果。 但是，在查看 flink v1.14 連接器列表時，我沒有看到 OpenSearch。 還有其他方法可以 ...

新的flink Kafka consumer（KafkaSource）能否從舊的FlinkKafkaConsumer的Savepoint/checkpoint開始？

[英]Can new flink Kafka consumer (KafkaSource) start from the old FlinkKafkaConsumer's Savepoint/checkpoint?

我有一份工作正在與舊的 flink Kafka 消費者 ( FlinkKafkaConsumer ) 一起運行，現在我想將它遷移到KafkaSource 。 但我不確定這次遷移會產生什么影響。 我希望我的工作從舊的 FlinkKafkaConsumer 最新成功的檢查點開始，這可能嗎？ 如果不可能 ...

由於領導選舉正在進行，Flink 服務暫時不可用。 請刷新

[英]Flink Service temporarily unavailable due to an ongoing leader election. Please refresh

這是我第一次使用flink，我從官網上下載了https://dlcdn.apache.org/flink/flink-1.16.0/flink-1.16.0-bin-scala_2.12.tgz解壓后，我運行這個命令來啟動它。/bin/start-cluster.sh，但是當我想在 http://l ...

在 Flink 中使用 RichMap 比如 Scala MapPartition

[英]Use RichMap in Flink like Scala MapPartition

在 Spark 中，我們有 MapPartition function，它用於對一組條目進行一些初始化，比如一些 db 操作。 現在我想在 Flink 中做同樣的事情。 經過一些研究，我發現我可以使用 RichMap 來實現相同的用途，但它有一個缺點，即該操作只能在流式作業開始時的 open 方法 ...

Flink：TaskManager 無法連接到 JobManager - 無法解析 ResourceManager 地址

[英]Flink: TaskManager cannot connect to the JobManager - Could not resolve ResourceManager address

我正在使用 Apache Flink Kube.netes 操作員在應用程序集群設置上部署獨立作業。 我使用 Flink 官方文檔設置了以下文件 - 鏈接 jobmanager-application-non-ha.yaml taskmanager-job-deployment.yaml fli ...

Flink Streaming File Sink 的 output 路徑格式可以改嗎？

[英]Can I change the output path format of Flink Streaming File Sink?

賞金將在 7 天后到期。 此問題的答案有資格獲得+50聲望賞金。 Rinze想讓更多人關注這個問題。 我正在使用 Pyflink 和 Streaming API 將數據同步到文件系統中。 output 文件的路徑如下： output 文件路徑格式似乎是{year}-{month}-{day} ...

Flink window 什么時候發出？

[英]When does a Flink window get emitted?

“例如，使用基於事件時間的窗口策略，每 5 分鍾創建一個非重疊（或翻滾）windows，並且允許延遲 1 分鍾，Flink 將在 12:00 和 12:00 之間的間隔創建一個新的 window :05 當第一個時間戳落入此區間的元素到達時，當水印超過 12:06 時間戳時它將刪除它。” 當水印 ...

在 Flink 中是否可以將 state 與非鍵控 stream 一起使用？

[英]In Flink is it possible to use state with a non keyed stream?

讓我們假設我有一個輸入 DataStream 並想實現一些需要“內存”的功能，所以我需要 ProcessFunction 讓我可以訪問 state。是否可以直接對 DataStream 進行操作，或者唯一的方法是通過初始 stream 進行鍵控並在鍵控上下文中工作？ 我認為一種解決方案是使用硬編碼 ...

Flink 提交到 kafka 需要比檢查點間隔更長的時間

[英]Flink committing to kafka takes longer than the checkpoint interval

我無法理解為什么我的 flink 工作提交給 kafka 消費者需要這么長時間。 我有一個 1s 的檢查點，並出現以下警告。 我目前使用的是 1.14 版。 Committing offsets to Kafka takes longer than the checkpoint interval. ...

Docker無法啟動Flink JobManager容器

[英]Unable to start Flink JobManager container in Docker

我無法在運行 Monterey 的 M1 MacBook 上啟動 Flink JobManager Docker 容器。 下面是從 Flink 文檔中提取的 docker 命令和生成的java.io.IOException 我的 docker 版本是： 為什么容器不允許創建所需的目錄？ ...

Flink 觸發觸發多個 windows？

[英]Flink triggers firing for multiple windows?

假設我們有一個 EventTimeSlidingWindow 和一個基於某個水印的 EventTime 觸發器。 如果水印生成的頻率非常低，比如說每五分鍾生成一次，而 window 大小是一分鍾，那么當水印進行時，會同時觸發五個 window 結果嗎？ 即，在我的 output stream 中， ...

Flink sql api - 如何讀取 kafka 事件，該事件又具有 s3 的位置

[英]Flink sql api - how to read kafka event which in turn has a location to s3

我正在嘗試使用 flink sql 從 kafka 主題讀取數據。 我們有一個模式，如果有效負載大小大於 1MB，我們將有效負載上傳到 s3，並在 kafka 事件中將一個位置發送到 s3。 我有一個這樣的 flink 表 這里的contentJson字段可以是實際的 json，例如 或者它可以是像 ...

用 Apache Flink 解決 Scheduled Processing

[英]Solving for Scheduled Processing with Apache Flink

我們在 12 個時區擁有約 5 億司機。 我們會定期發送不同的信息，例如他們的收益報告、新促銷、政策變更更新等。 我們希望在最適合他們的時間將這些通信傳遞給他們。 例如 - 當地時間上午 9 點。 我們希望盡早生成這些通信並將它們發布到 Flink 並安排它們在適當的時間交付。 消息將采用以下格式 ...

在 Flink 中是否可以有一個 DataStream<tuple> Tuple 是所有已知 Tulple（如 Tuple2、Tuple3 等）的基數 class 在哪里？</tuple>

[英]In Flink is it possible to have a DataStream<Tuple> where Tuple is the base class of all known Tulples like Tuple2, Tuple3 etc?

我正在創建一個 Flink 應用程序，它從 Kafka 主題中讀取字符串，例如“2 5 9”是一個值。 然后用“”分隔符拆分字符串並將其創建 map 到一個元組。 在這種情況下， map function 的結果將是一個 DataStream&lt;Tuple3&lt;Integer,Intege ...

使用 Springboot API 獲取 Flink 結果 Apache

[英]Fetching Apache Flink results using Springboot API

我創建了一個 springboot 代碼來使用 API，這樣我就可以在用戶點擊端點時獲取 flink 結果。 static Map&lt;String, Long&gt; finalList = new HashMap&lt;String, Long&gt;(); 上面是main方法外的class ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM