Hudi-Glue-与EMR集群集成
[英]Hudi-Glue-Integration with EMR cluster
问题描述
我希望借助 AWS 中的 S3、Hudi 和 Glue 实现 SCD2 逻辑。 谁能建议如何在没有 EMR 的情况下实施？ 还有没有在 AWS 中安装/部署没有 EMR 的 hudi 的方法。
谢谢
1 个解决方案
解决方案1
0 2022-04-09 15:37:00
查看下面的 AWS 博客，了解如何将 Glue 与 Hudi 结合使用，无需 EMR
https://aws.amazon.com/blogs/big-data/writing-to-apache-hudi-tables-using-aws-glue-connector/
如何将Hudi Package添加到本地AWS Glue Interactive Notebook
[英]How to add Hudi Package to local AWS Glue Interactive Notebook
从 Apache Hudi 表中删除记录，这是使用 AWS Glue Job 和 Kinesis 创建的 Glue 表的一部分
[英]Deleting records from Apache Hudi Table which is part of Glue Tables created using AWS Glue Job and Kinesis
Apache Iceberg 表无法在 AWS EMR 中使用 AWS Glue
[英]Apache Iceberg tables not working with AWS Glue in AWS EMR
带有 AWS Glue 表分区的 EMR Notebook 出现 Spark SQL 错误
[英]Spark SQL error from EMR notebook with AWS Glue table partition
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
有没有办法在 AWS 胶水上使用 Apache Hudi？
如何将Hudi Package添加到本地AWS Glue Interactive Notebook
从 Apache Hudi 表中删除记录，这是使用 AWS Glue Job 和 Kinesis 创建的 Glue 表的一部分
限制 EMR 集群历史记录？
创建EMR集群出错，EMR服务角色无效
Apache Iceberg 表无法在 AWS EMR 中使用 AWS Glue
带有 AWS Glue 表分区的 EMR Notebook 出现 Spark SQL 错误
AWS Glue ETL 作业和 AWS EMR 有什么区别？
AWS EMR：主节点是否在EMR集群中存储hdfs数据？
将 AWS Glue 连接到 Mongodb Atlas 集群
相关标签