"为什么我们在每个阶段都创建 aws 数据目录？"
[英]Why do we create aws data catalog at each stage?
问题描述
我是 aws 新手，对数据湖创建有疑问
在 AWS 数据湖创建示例中（链接如下）。 它说我们需要在每个阶段（原始和处理）创建一个数据目录。 在该示例中，我们有许多原始数据源，例如 CSV 和 JSON，我们将所有这些数据源转换为 Parque 格式并将它们存储到转换后的存储桶中。 为什么我们需要创建 2 个数据目录，一个用于原始数据目录，一个用于转换后的数据目录，当它们具有相同的数据和相同的存储桶结构时？
链接： https<\/a> :\/\/aws.amazon.com\/blogs\/big-data\/build-a-data-lake-foundation-with-aws-glue-and-amazon-s3\/
0 个解决方案
尝试创建 AWS Service Catalog 产品时“提供的数据不足”
[英]“Insufficient Data Provided” when trying to create an AWS Service Catalog product
在 AWS 中，为什么我们将 RDS 实例保留在 Private su.net 中？
[英]In AWS, why do we keep RDS instance in Private subnet?
无法使用 create_dynamic_frame.from_catalog 从 AWS 粘合作业访问使用分区投影配置的表中的数据
[英]Unable to access data in tables configured using Partition Projection from AWS glue jobs using create_dynamic_frame.from_catalog
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
无法创建新的 AWS Athena 数据目录
尝试创建 AWS Service Catalog 产品时“提供的数据不足”
AWS Glue 数据目录的缺点是什么？
AWS Glue 数据目录的头文件
同步两个AWS Glue数据目录
AWS Glue 数据目录存储在哪里？
无法在 AWS API Gateway 中创建阶段
在 AWS 中，为什么我们将 RDS 实例保留在 Private su.net 中？
AWS 胶水作业 (Pyspark) 到 AWS 胶水数据目录
无法使用 create_dynamic_frame.from_catalog 从 AWS 粘合作业访问使用分区投影配置的表中的数据
相关标签