標簽[aws-dms] - 堆棧內存溢出

[英]Syntax for DMS Transformation Rule For Arithmetic Expression

我的 DMS 遷移需要一些幫助。基本上，我有一個源數據庫和目標數據庫，條件是將新列添加到目標表，我們在目標表上對源列進行一些算術計算。但是在 AWS 上，我只能找到連接字符串的示例，而沒有找到數字計算。有人可以分享他們關於如何對數字數據進行算術運算的經驗嗎？我看到的字符串連接示例：https ...

用於創建新列但使用現有數據存儲值的 DMS 轉換

[英]DMS Transformation For Creating New Column But Storing Value With Pre Existing Data

我有一個關於 Amazon DMS 轉換功能的快速問題。所以基本上，我有一個源數據庫 (MySQL)，我需要將其遷移到目標數據庫 (Aurora)。在此遷移期間，我們有一個名為id的主鍵，需要在 Aurora 中作為source_id傳輸，並且我們在 aurora 中有另一個ID字段，其值是對源 ...

使用 aws dms 跨賬戶同步 2 個 s3 桶

[英]Using aws dms to sync 2 s3 buckets cross account

我想使用 AWS DMS 將一個賬戶中的 S3 存儲桶同步到屬於另一個賬戶的另一個 S3 存儲桶。我可以將其設置為自動執行嗎？我試圖查看文檔，但沒有找到有關將實時 S3 同步到 S3 跨帳戶的任何解釋。 ...

在 AWS DMS 中測試端點時查詢設置錯誤

[英]Query Setup Error when Testing Endpoint in AWS DMS

嘗試使用 AWS DMS 工具測試與 Redshift 數據庫的目標連接時出現以下錯誤： redshift 集群與復制實例位於相同的 VPC、su.net 組和安全組中。安全組允許所有來自其自身的入站流量。有沒有我可以獲取端點測試的完整日志或有關此錯誤的更多詳細信息的位置？ ...

AWS DMS 刪除 LOB 列

[英]AWS DMS Removing LOB Columns

我正在嘗試使用 DMS 將 Postgresql 遷移設置為 s3 作為目標。但是在運行之后我注意到有些表缺少一些列。檢查日志后，我注意到這條消息：在任務遷移的設置中，我嘗試將最大 LOB 大小選項中的 lob 限制增加到 2000000 但仍然得到相同的結果。有誰知道這個問題的解決方法？ ...

AWS DMS - PostgreSQL enum 和 daterange 的無效輸入值

[英]AWS DMS - PostgreSQL invalid input value for enum and daterange

我正在使用數據庫遷移工具 (DMS) 執行從我們的 PostgreSQL 服務器到 AWS RDS 的邏輯復制。大多數表都已成功遷移，但我在處理幾個表時遇到了問題。當我運行加載表的任務時，我在 RDS 的日志中收到此錯誤：列property_type的類型是一個可為 null 的enum ，它 ...

AWS DMS 過期令牌

[英]AWS DMS ExpiredToken

我正在使用 DMS 遷移任務將數據從我的 postgres 推送到 redshift。我遇到的問題是遷移在某些時候進行得很好，但后來失敗了。我在日志中看到的唯一內容是： ExpiredToken: Unable to parse ExceptionName: ExpiredToken Messa ...

通過 DMS AWS 服務將數據從 RDS Postgres DB 遷移到 s3

[英]Migrating data from RDS Postgres DB to s3 via the DMS AWS service

我正在通過 DMS AWS 服務將數據從 RDS Postgres DB 遷移到 s3。 DMS任務的類型是滿載和CDC。假設現在我在名為 employee 的 postgres 表中有一些數據。例如： emp_id 雇員名稱 1個約翰 2個天使初始創建任務時，將完成完整加載，並在 s3 ...

我們可以將 RDS MYSQL/POSTGRES 只讀副本視為 AWS DMS 的源端點嗎？

[英]can we consider RDS MYSQL/POSTGRES read replica's as source endpoint for AWS DMS?

我們可以將 RDS MYSQL/POSTGRES 只讀副本視為 AWS DMS 的源端點嗎？我有一個要求，我必須使用 RDS MYSQL 和 RDS POSTGRES 的副本作為 AWS DMS 中的源端點，使用 REDSHIFT 集群作為 AWS DMS 的目標端點（我們必須使用 CDC 的 ...

如果 CDC 在表級別啟用 AWS DMS on go repliation，是否需要啟用 mssql 數據庫的完整恢復模式

[英]Is it required to enable FULL recovery mode of mssql database if CDC enable in the table level for AWS DMS on going repliation

AWS DMS 建議為正在進行的復制任務啟用完整、批量記錄的恢復模式（先決條件）但是如果表啟用了 CDC，是否需要這樣做？我的數據庫當前的恢復模式是簡單的，由於多種原因我無法更改它。所以我很好奇是否為表啟用了 CDC，是否需要啟用完全恢復？ ...

用於數據遷移的 AWS 設置

[英]AWS setup for Migration of Data

當前設置：我們在數據庫clientdb1（RDS）中有用戶表我們在數據庫clientdb2（RDS）中有用戶表我們在數據庫 clientdb3 (RDS) 中有 users_profile 表細節： clientdb2 中的 users 表與 clientdb1 中的 users 表具有不同的結 ...

AWS RDS 上的 RDS 存儲已滿

[英]RDS storage is full on AWS RDS

我正在使用 AWS DMS 任務將表從oOn-Prem遷移到 AWS。我的本地 SQL 服務器總數據庫大小低於 1TB 但是我的 RDS 存儲（PostgreSQL）占用了 8TB 的更多空間。仍然在增加。我在 DMS 任務中啟用了持續復制。如何克服這些問題？安克斯 ...

將表從一個 RDS Postgres 模式遷移到同一數據庫實例中的另一個

[英]Migrate Tables from one one RDS Postgres schema to another within the same DB Instance

我有一個用例，我將一項服務拆分為多個服務，並希望將表（包含大量數據）從一個 RDS Postgres 架構遷移到同一個數據庫實例中的另一個，並且持續復制且停機時間為零，我正在探索 AWS DMS 服務，我可以看到可以遷移整個數據庫，是否可以僅遷移特定模式以及如何遷移？使用更改表查詢不是一種選擇，因 ...

如何銷毀特定的 Terraform 托管資源？

[英]How can I destroy a specific Terraform managed resource?

我有一個 DMS 任務失敗並且沒有恢復或重新啟動。不幸的是，根據 AWS Support 的說法，唯一的辦法就是銷毀並重新創建它。我有一個大型基礎設施，需要幾個小時才能使用 Terraform 銷毀和重建。我正在使用 AWS 提供商版本 4.17.0 運行 Terraform 版本 1.2. ...

AWS Database Migration Service 中如何使用 MapBooleanAsBoolean？

[英]How to use MapBooleanAsBoolean in AWS Database Migration Service?

在最新版本中，AWS DMS 引入了 MapBooleanAsBoolean 連接參數，以允許在從 Postgres 遷移到 Redshift 時將布爾值保留為布爾值。不幸的是，文檔對如何使用它非常不精確。我測試了將它作為額外的連接參數添加到源端點和目標端點以及 mapBooleanAsBoo ...

使用 AWS DMS 將 DocumentDB 表遷移到另一個 DocumentDB 表時如何在目標表中自動生成新的 _id

[英]How to autogenerate new _id in target table when migrating a DocumentDB table using AWS DMS to another DocumentDB table

我有一個 AWS DocumentDB，其模式my-schema和名為my-table ，其結構類似於{ "_id": { "FIELD_1" : "001", "FIELD_2" : "A1" }, "FIELD_1": "001", "FILED_2": "A1", ...

Amazon DMS 未完全復制已刪除的 CDC 記錄

[英]Amazon DMS not fully replicating Deleted CDC records

我已經按照官方亞馬遜用戶指南中關於在此處設置 DMS 任務的所有說明進行操作我的特定用例，即將數據從 Amazon RDS postgres 獲取到 s3，用於初始加載 + 持續更改。指南中的特定說明位於“使用 AWS 管理的 PostgreSQL 數據庫作為 DMS 源”下這是新記錄的 cdc ...

Oracle UNUSABLE 索引問題與批量插入

[英]Oracle UNUSABLE Index Problem With Bulk Insertion

我有一個 postgresql 數據庫，我有1TB數據。我想將此數據從 postgresql 遷移到 Oracle。我可以通過 DMS（數據庫遷移服務）處理它。當我遷移我的數據時，Oracle 索引看起來像UNUSABLE然后我嘗試重建它我收到錯誤，因為數據太大。你有什么建議嗎？ ...

從 DMS 導出的鑲木地板文件創建 pyspark dataframe

[英]Creating pyspark dataframe from parquet file exported from DMS

我們正在嘗試使用 DMS 從 RDS 中的 mysql 數據庫讀取數據。 DMS 將 parquet 文件格式的數據輸出到 s3 存儲桶中。從那里它被讀入 dataframe 以創建 hudi 數據集以使用 pyspark 檢查數據中的增量：代碼但是，當我們嘗試使用 spark sql 從 ...

AWS DMS 批量加載與 CDC 中的數據不匹配

[英]Data mismatch in AWS DMS Bulk load vs CDC

我有一個 postgis 數據庫（源），我已經完成了 DMS 並將其移動到鑲木地板文件中的 S3 存儲桶（目標）。源中有一個 datatype-geometry(point, 4326) 的列名點，它在 dms 之后轉換為字符串，在目標中看起來像這樣- - 在批量加載中它就像 - point": ...