Hudi-Glue-與EMR集群集成
[英]Hudi-Glue-Integration with EMR cluster
問題描述
我希望借助 AWS 中的 S3、Hudi 和 Glue 實現 SCD2 邏輯。 誰能建議如何在沒有 EMR 的情況下實施？ 還有沒有在 AWS 中安裝/部署沒有 EMR 的 hudi 的方法。
謝謝
1 個解決方案
解決方案1
0 2022-04-09 15:37:00
查看下面的 AWS 博客，了解如何將 Glue 與 Hudi 結合使用，無需 EMR
https://aws.amazon.com/blogs/big-data/writing-to-apache-hudi-tables-using-aws-glue-connector/
如何將Hudi Package添加到本地AWS Glue Interactive Notebook
[英]How to add Hudi Package to local AWS Glue Interactive Notebook
從 Apache Hudi 表中刪除記錄，這是使用 AWS Glue Job 和 Kinesis 創建的 Glue 表的一部分
[英]Deleting records from Apache Hudi Table which is part of Glue Tables created using AWS Glue Job and Kinesis
Apache Iceberg 表無法在 AWS EMR 中使用 AWS Glue
[英]Apache Iceberg tables not working with AWS Glue in AWS EMR
帶有 AWS Glue 表分區的 EMR Notebook 出現 Spark SQL 錯誤
[英]Spark SQL error from EMR notebook with AWS Glue table partition
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
有沒有辦法在 AWS 膠水上使用 Apache Hudi？
如何將Hudi Package添加到本地AWS Glue Interactive Notebook
從 Apache Hudi 表中刪除記錄，這是使用 AWS Glue Job 和 Kinesis 創建的 Glue 表的一部分
限制 EMR 集群歷史記錄？
創建EMR集群出錯，EMR服務角色無效
Apache Iceberg 表無法在 AWS EMR 中使用 AWS Glue
帶有 AWS Glue 表分區的 EMR Notebook 出現 Spark SQL 錯誤
AWS Glue ETL 作業和 AWS EMR 有什么區別？
AWS EMR：主節點是否在EMR集群中存儲hdfs數據？
將 AWS Glue 連接到 Mongodb Atlas 集群
相關標簽