標簽[aws-msk-connect] - 堆棧內存溢出

[英]MSK Java producer/consumer with both key and value in AVRO and using glue schema registry

我正在嘗試將 MSK connect Mysql CDC 連接器與鍵和值一起用作使用 Glue Schema 注冊表 (GSR) 的 AVRO 模式。當我使用融合架構注冊表執行此操作時，鍵和值的架構名稱將類似於 serverName.schemaName.tableName_key 和 serve ...

AWS MSK 連接 IAM - 超時異常

[英]AWS MSK Connect with IAM - Timeout Exception

我有一個帶有 MSK Cluster 和 MSK Connect Connector 的設置（這是一個 postgres 數據庫的源連接器，但這在這里無關緊要）。在我設置的第一步中，它在沒有身份驗證的情況下進行了所有設置。它運作良好。現在，下一步，我介紹了基於 TLS 和 IAM 的身份驗證。 ...

如何使用 AWS_MSK CDK 創建連接器 CustomPlugin？

[英]How to create Connector CustomPlugin using AWS_MSK CDK?

我正在使用 CfnConnector（如下面的文檔參考鏈接狀態）來創建 MSK 連接器，它需要 customPluginArn。如何使用 CDK 創建自定義插件，以便獲得 CustomPluginArn 和修訂號？沒有任何關於它的文檔。謝謝參考 class CfnConnector 文檔： ...

AWS MSK Kafka Connect S3 接收器連接器

[英]AWS MSK Kafka Connect S3 Sink Connector

我們正在使用 S3 Sink 連接器從我們的 aws MSK 接收 S3 存儲桶中的數據。我們已經在 AWS EKS(Kubernetes) 上部署了 Kafka S3 Sink 連接器當我們在 S3 存儲桶上進行分段上傳時，當我們啟動連接器時出現錯誤。我們對 S3 存儲桶有政策限制 ...

如何在生產區以分布式方式運行 Kafka 連接

[英]How to Run Kafka connect in distributed manner in production area

根據關於融合https://docs.confluent.io/platform/current/connect/references/restapi.html的文檔，我們可以使用 connect rest api 來啟動/停止/管理 kafka 連接 - 只是想了解什么是更可取的方式當我們在限制 ...

Kafka 連接器無法連接 AWS MSK

[英]Kafka connector Failing to connect AWS MSK

我正在嘗試在 AWS 中配置 MSK 連接，以下是配置。根據https://aws.amazon.com/premiumsupport/knowledge-center/msk-connector-connect-errors/我已經打開了 MSK 連接器的所有流量，以便能夠訪問 msk 集 ...

將 Glue 模式注冊表與 MSK 連接器結合使用

[英]Using Glue schema registry with MSK Connector

我一直在嘗試創建一個 MSK 連接器並使用 Glue 模式注冊表。配置如下。首先，我使用在 EC2 上運行的融合架構注冊表，我在“key/value.converter.schema.registry.url”字段中添加了 ip，它工作正常。現在我正在嘗試使用 Glue Schema Regi ...

Amazon MSK 未能為集群關聯 1 個密鑰。提供的機密具有無效架構

[英]Amazon MSK failed to associate 1 secret for cluster. The provided secret has an invalid schema

我們想根據文檔使用 AWS Secrets Manager 設置用戶名和密碼身份驗證。我們在 MSK 中創建了一個集群還創建了一個名稱為AmazonMSK_testmsk2的密鑰，密鑰為Password ，值為{ "username": "alice", "password": "alice-se ...

有沒有辦法使用 MSK-connect API 更新連接器配置？

[英]Is there a way to update connector configuration using MSK-connect API?

我在 MSK Connect 上部署了一個 s3 連接器，在 github 上部署了一個存儲庫，其中包含json連接器配置文件。我想通過 MSK 的 REST API 按需更新連接器配置。我已經檢查了API 文檔，但似乎UpdateConnector API 只允許修改容量配置。 Create ...

如何在 AWS MSK Connect 上刪除 Worker 和插件？

[英]How to delete a Worker and a plugin on AWS MSK Connect?

在 Amazon MSK 服務 UI 中找不到刪除工作線程配置和自定義插件的方法。 ...

使用 AWS MSK 連接器連接到 AWS VPC 內的 MongoDB 地圖集

[英]Connect to MongoDB atlas within AWS VPC using AWS MSK connector

我正在嘗試使用MongoDB更改 stream 使用Kafka 。我選擇 AWS MSK 是因為我的整個基礎設施都在 AWS 內，而且很容易與其他 AWS 服務集成。我在 VPC 中創建了一個 AWS MSK 集群，並使用mongodb Kafka connector創建了一個 AWS MSK ...