堆棧內存溢出
cost 486 ms
在 AWS CDK 堆棧中指定 MSK 憑證

[英]Specifying MSK credentials in an AWS CDK stack

我有似乎“幾乎”部署的代碼。 它將失敗並出現以下錯誤： 我從多個教程中拼湊了 cdk 堆棧，試圖學習 CDK。 我已經達到可以部署 lambda、為 lambda 指定一個（或多個）層，甚至為觸發器指定幾個不同源中的任何一個的程度。 但是我們的生產 Kafka 需要憑據......我無法弄清楚如何提 ...

Filebeat Kafka 客戶端與 AWS MSK 的 SSL 握手失敗

[英]Filebeat Kafka client failing SSL handshake with AWS MSK

我們正在嘗試使用可用的 kafka 配置將使用 Filebeat 的日志發送到 AWS MSK（已配置）。 我們將 mTLS 身份驗證與 Root CA 和帶 Vault 的中間 CA 的設置一起使用。 中間 CA 在 AWS PCA 中可用，它被分配給 AWS MSK 集群，后者又將證書頒發給 A ...

Spring 的 AWS MSK 配置問題

[英]AWS MSK configuration issue with Spring

我們最近從自我管理的 Kafka 實例遷移到完全托管的 AWS MSK 集群。 我們僅啟用了基於 IAM 的角色身份驗證以從本地系統連接到 MSK 集群。 當我對集群的公共 url 執行 te.net 時，我得到了成功的響應，但是當嘗試啟動我的 java 應用程序時，它由於不同的錯誤而失敗。 下面是 ...

分區和復制因子

[英]partitions and replication_factor

我在 3 個不同的 AWS 可用區中有一個由 3 個節點組成的 kafka 集群。 所以每個區域 1 個經紀人。 我每天一次由 32 個生產者突發生成 7000 萬條消息。 都是同一個話題。 我有一個消費者消費這個並完成工作。 目前我天真地將它設置為 1 個分區和 1 個復制因子。 我看到只有 1 ...

Spring Kafka MSK：無法找到登錄模塊 class：

[英]Spring Kafka MSK : Unable to find LoginModule class:

我正在嘗試在 spring 引導項目中使用 SASL 協議連接到 AWS MSK。 我正在使用 spring-kafka 進行連接。 我得到的錯誤是 org.apache.kafka.common.KafkaException：javax.security.auth.LoginException： ...

Kafkajs 中的 Producer.send() 記錄“錯誤：[連接] 連接超時”但仍寫入流

[英]Producer.send() in Kafkajs logs "ERROR: [Connection] Connection timeout" but still writes to stream

我對在 AWS 中使用 Kafka 和 MSK 還很陌生。 我正在使用 kafkajs 從 lambda 寫入 MSK 集群。 我的記錄已成功寫入我的 Kafka 集群，但我的客戶端也將連接超時錯誤記錄到 CloudWatch 中。 我很好奇我是否可以在我的代碼中做一些不同的事情來避免出現錯誤日志。 ...

MsK cloudwatch 數據中 SumOffsetLag 的含義？

[英]Meaning of SumOffsetLag in MsK cloudwatch data?

我們有 kafka，我們正在使用 aws cloud watch 提供的 grafana 儀表板進行監控。 從過去幾天開始，我們看到了一些異常情況。 我不太了解SumOffsetLag度量參數。 這個尖峰值如何降低性能以及我們如何改進它 ...

如何保護可公開訪問的 MSK（kafka）經紀人？

[英]How to protect publically accessable MSK (kafka) broker?

保護（增強安全性）可公開訪問的代理的最佳方法是什么？ AWS 上只有少數帖子和文檔討論了身份驗證、加密和身份驗證，但是關於結合 WAF 等內容來保護代理免受 inte.net 攻擊的信息卻很少。 ...

MSK Java 生產者/消費者在 AVRO 中具有鍵和值並使用膠合模式注冊表

[英]MSK Java producer/consumer with both key and value in AVRO and using glue schema registry

我正在嘗試將 MSK connect Mysql CDC 連接器與鍵和值一起用作使用 Glue Schema 注冊表 (GSR) 的 AVRO 模式。 當我使用融合架構注冊表執行此操作時，鍵和值的架構名稱將類似於 serverName.schemaName.tableName_key 和 serve ...

AWS MSK 錯誤：無法在分配的時間內查找偏移后備存儲主題的分區元數據

[英]AWS MSK Error : Could not look up partition metadata for offset backing store topic in allotted period

我正在嘗試使用 AWS MSK connect with lenses 插件將數據從“由第 3 方管理”的 Kafka 集群接收到 amazon s3。 並且得到： 我嘗試設置 ec2 服務器並使用 Kafka-consul-consumer，我能夠從 Kafka 獲取數據。 任何建議，為什么使用 ...

AWS MSK IAM - 身份驗證失敗訪問被拒絕 Spring 啟動

[英]AWS MSK IAM - Authentication Failure Access Denied Spring Boot

我在 AWS EKS POD 上部署了一個 spring 啟動應用程序，並為 AWS MSK 提供了 IAM 身份驗證，它們都在同一 VPC 下，並且已配置角色，並且在 MSK 入站規則中還添加了端口 9098。 為了測試 EKS 和 MSK 之間的連接，我使用代理名稱和端口 9098 做了 te. ...

將 AWS IoT 規則連接到單獨 AWS 賬戶中的 MSK Kafka 實例時出現問題

[英]Issue with connecting AWS IoT Rule to a MSK Kafka instance in a separate AWS account

預先感謝您的任何幫助！ 我的公司使用多個 AWS 賬戶來分隔區域和“全球”功能/存儲。 我們最近改用 MQTT IoT 規則，並針對我們處理數據的方式對區域 Kafka 與全球 Kafka 實例進行了測試，確定全球 Kafka 最有意義。 我已經能夠正確設置一個區域 Kafka，並將區域 IoT 推 ...

在 CloudFormation 中獲取 AWS::MSK::Configuration 的最新版本

[英]Get latest revision of AWS::MSK::Configuration in CloudFormation

我正在嘗試使用 MSK 配置創建 cloudFormation 堆棧並將 MSK 配置與 MSK 集群相關聯。 創建 AWS::MSK::Configuration 僅返回 ARN，而我需要 ARN 和修訂號來將 MSK 配置關聯到 MSK 集群。 有什么辦法可以做到這一點？ 目前我將其硬編碼為 1 ...

AWS Glue output 到 stream

[英]AWS Glue output to stream

我剛剛開始熟悉 AWS 及其工具，並且一直在研究 Glue/DataBrew。 我試圖了解它是否適合我想到的流式用例，並且我可以清楚地看到大量有關將流式數據消耗到 Glue 中的文檔，但是我找不到與從膠水作業中發布流式數據相關的任何內容。 我想做的是從某個來源獲取一個文件，使用 Glue 將其撕成 ...

AWS MSK 連接 IAM - 超時異常

[英]AWS MSK Connect with IAM - Timeout Exception

我有一個帶有 MSK Cluster 和 MSK Connect Connector 的設置（這是一個 postgres 數據庫的源連接器，但這在這里無關緊要）。 在我設置的第一步中，它在沒有身份驗證的情況下進行了所有設置。 它運作良好。 現在，下一步，我介紹了基於 TLS 和 IAM 的身份驗證。 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM