堆棧內存溢出
cost 99 ms
MsK cloudwatch 數據中 SumOffsetLag 的含義？

[英]Meaning of SumOffsetLag in MsK cloudwatch data?

我們有 kafka，我們正在使用 aws cloud watch 提供的 grafana 儀表板進行監控。 從過去幾天開始，我們看到了一些異常情況。 我不太了解SumOffsetLag度量參數。 這個尖峰值如何降低性能以及我們如何改進它 ...

Kafka 代理刪除主題后的行為

[英]Kafka brokers behavior after deleting a topic

我是卡夫卡的新手，正在弄清楚它的行為。 我有一個 kafka 集群，其中包含三個代理。 我給了集群2GB，我的集群磁盤存儲達到了95%。 所以我所做的是刪除了我用於測試的主要主題。 （該主題的復制因子為 3，同步副本的最小值為 2、8 個分區和 3 天的保留時間）我刪除該主題的主要原因是我一直使用 ...

AWS MSK IAM - 身份驗證失敗訪問被拒絕 Spring 啟動

[英]AWS MSK IAM - Authentication Failure Access Denied Spring Boot

我在 AWS EKS POD 上部署了一個 spring 啟動應用程序，並為 AWS MSK 提供了 IAM 身份驗證，它們都在同一 VPC 下，並且已配置角色，並且在 MSK 入站規則中還添加了端口 9098。 為了測試 EKS 和 MSK 之間的連接，我使用代理名稱和端口 9098 做了 te. ...

kafkaconnect 備份到 s3 - 區域“us-east-1”錯誤； 期待'eu-north-1'

[英]kafkaconnect backup to s3 - the region 'us-east-1' is wrong; expecting 'eu-north-1'

我正在嘗試按照本指南將我的 kafka 主題備份到 s3。 我已經填寫了配置的所有空白並指定了 aws.region eu-north-1 。 存儲桶是這樣創建的： 由於以下錯誤消息，連接器失敗： 我該如何進一步解決這個問題？ ...

如何使用 Cloud Formation 創建 MSK 集群配置？

[英]How to create MSK Cluster configuration with Cloud Formation?

我正在使用 Cloud Formation 創建 MSK。 順便說一句，我在 Cloud Formation 文檔中找不到如何創建 MSK 集群配置。 那么如何使用 Cloud Formation 創建 MSK 集群配置，或者我不能使用 Cloud Formation 創建 MSK 集群配置？ 如 ...

如何在 Amazon MSK 上運行 Kafka Camel 連接器

[英]How To Run Kafka Camel Connectors On Amazon MSK

上下文：我按照這個鏈接設置 AWS MSK 並測試生產者和消費者，它已設置並正常工作。 我能夠通過 2 個單獨的 EC2 實例發送和接收消息，它們都使用相同的 Kafka 集群（我的 MSK 集群）。 現在，我想建立一個從 Eventhubs 到 AWS Firehose 的數據管道，其形式如下： ...

MSK 觸發器的 AWS Lambda 事件負載

[英]AWS Lambda Event Payload for MSK trigger

我正在嘗試反序列化值以恢復 Kafka 消息值。 但我找不到合適的反序列化器。 我收到以下值： 但是當我試圖通過以下方式獲取反序列化消息的字符串表示時： 而且它只能部分反序列化它。 帶有額外的符號。 我找不到任何關於它如何序列化的文檔，也看不到它的結構。 有沒有人在使用帶有 MSK 觸發器 for. ...

如何使用 KafkaConsumer java SDK 從 AWS MSK 集群消費事件形式？

[英]How to consume events form from AWS MSK cluster using KafkaConsumer java SDK?

我在 AWS MSK 中創建了一個集群並創建了一個主題。 我可以在與集群相同的 VPC 中生成和使用來自 EC2 實例的事件。 具體用例是我想使用 Java 來消費事件。 KafkaClient AWS SDK 沒有任何事件消費的方法，所以這里不能使用。 在創建KafkaConsumer時，我無 ...

AWS MSK lambda 並發消費者

[英]AWS MSK lambda concurrent consumers

AWS Lambda 支持 Kinesis 和 DynamoDB 事件源的並行化因子。 但它不支持 MSK。 我們可以創建 Lambda function 的保留並發嗎？它有助於同時從 MSK 主題消費嗎 ...

Kafka：動物園管理員和引導服務器之間的主題列表差異

[英]Kafka: Topic list discrepancy between zookeeper and bootstrap-server

在我的幾個集群上，我看到 zookeeper 返回的主題列表與代理相比存在差異，即以下命令返回不同的（在代理的情況下更少）結果 我已經在多個客戶端版本中看到了這種行為，這讓我認為問題出在服務器端，但我不知道根本原因是什么或如何解決它。 這給我帶來了一個問題，因為我正在使用一些代碼，這些代碼使用代理進 ...

本地訪問amazon msk集群

[英]Access to amazon msk cluster locally

我在 vpc 中有一個亞馬遜 msk 集群（kafka），我可以通過同一 vpc 中的客戶端（EC2 實例）訪問它。 我的問題是..我可以從本地計算機上的客戶端訪問我的集群嗎？ 我該如何做這個配置？ 我嘗試更改 vpc 和子網絡的路由表，但仍然無法。 ...

Sarama 無法為 Amazon MSK 版本 2.3.1 生成消息

[英]Sarama unable to produce message for Amazon MSK version 2.3.1

我正在使用sarama golang 庫將消息推送到Amazon MSK 。 直到現在我使用的是 msk 2.2.1 版，我的代碼運行良好，但現在 msk 版本已更改為 2.3.1。 現在，我無法將消息推送到主題。 錯誤： 分區-1 偏移量 -1 請求是針對此代理上不存在的主題或分 ...

kafka 在 kafka MSK 上連接 mongo

[英]kafka connect mongo on kafka MSK

我在 AWS 中使用 Kafka MSK。 因此，我們沒有像 confluent 那樣將本地 kafka 與所有必需的連接器連接起來。 實際上，我使用 kakfa mongo 連接器，我想找到一種方法將 kafka mongo 連接器 jar 推送到 kafka MSK 集群實例上。 jar 將被 ...

使用 AWS MSK NOT_ENOUGH_REPLICAS 的 Debezium

[英]Debezium with AWS MSK NOT_ENOUGH_REPLICAS

我在 AWS 中有一個正在運行的 debezium 集群，沒有問題。 我想嘗試一下 AWS MSK。 所以我啟動了一個集群。 然后我啟動了一個 EC2 來運行我的連接器。 然后安裝 confluent-kafka 默認情況下，AWS MSK 沒有架構注冊表，所以我從連接器 EC2 架構注冊表 ...

無法使用 aws lambda 函數將消息生成到 kafka 主題中

[英]Not able to produce message into kafka topic using aws lambda function

所以我試圖在 S3 事件上編寫一個 lambda 函數，它將消息放入 kafka 主題。 我的 aws lambda 函數正在觸發並且也沒有收到任何錯誤。 但是我無法在 Kafka 主題中看到這些消息。 這是我的 lambda 函數 我的 lambda 函數一直運行到 for 循環，但無法看到 ...

可以與 Zookeeper 對話，但不能與消息代理對話

[英]Can talk to Zookeeper but not to the message brokers

我正在使用 kafka-python 為 Kafka 2.2.1 集群（來自 AWS 的 MSK 服務的托管集群實例）生成消息。 我能夠檢索引導服務器並與它們建立網絡連接，但沒有消息通過。 相反，在A型的每條消息之后，我立即收到B型中的一個 ... 並最終收到C類型： 是什么導致代理節點接受來自有希 ...

AWS Managed Kafka 的 HTTP 端點？

[英]HTTP endpoint for AWS Managed Kafka?

是否可以使用 AWS 的 Apache Kafka (MSK) 托管流設置 HTTP 端點？ 我們可以使用 HTTP POST 發送數據嗎？ 我們不能使用 AWS SDK，因為客戶端非常瘦（實際上是我們的 CDN），它只能執行簡單的 HTTP 請求，如 cURL/wget。 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM