RDS（動態架構）-> 使用 AWS Glue 的 AWS opensearch

Question

我正在使用 AWS RDS(MySQL)，我想將這些數據實時同步到 AWS elasticsearch。

我認為最好的解決方案是 AWS Glue，但我不確定我能否實現我想要的。

這是我的 RDS 數據庫的信息：
■ RDS
・我想同步多個表（MySQL）以打開搜索（1 表到 1 索引）。
・表的架構將動態更改。
・自上次同步以來，將添加新列或刪除現有列。
（所以我還必須同步這個架構更改）

您能大概教我一下我是否可以通過 AWS Glue 來做這些事情嗎？

我想知道 AWS Glue 是否可以（近）實時處理動態架構更改和同步。
先感謝您。

Answer 1

Glue 現在有 OpenSearch 連接器，但 Glue 就像一個 ETL 工具，可以很好地執行批處理操作，但基於事件或非常頻繁地加載到彈性搜索可能不是最合適的，而且成本也可能很高。 https://docs.aws.amazon.com/glue/latest/ug/tutorial-elastisearch-connector.html

正如您提到的模式不斷變化，DMS 不能完全提供幫助。

Logstash 解決方案

從Elasticsearch 1.5開始，Elasticsearch在Logstash中添加了jdbc輸入插件，將MySQL數據同步到Elasticsearch中。

AWS 原生解決方案

您可以在 MySQL 事件上有一個 lambda function 從 Amazon Aurora MySQL 數據庫集群調用 Lambda function

lambda 將寫入 json 中的 Kinesis Firehouse，並且 kinesis 可以加載到 OpenSearch 中。