将大量数据从 Snowflake 数据库提取到 AWS SageMaker 的最快方法是什么？
[英]What is the fastest way to pull massive amounts of data from Snowflake Database into AWS SageMaker?
问题描述
将非常大的数据集从 Snowflake 拉入我在 AWS 中的 SageMaker 实例的最快方法是什么？ 雪花 python 连接器（我目前使用的）与雪花的火花连接器相比如何？
1 个解决方案
解决方案1
1 2022-04-08 00:30:30
SageMaker 培训作业，如 S3 作为输入源，但您也可以使用 EFS (NFS) 或 FSx for Lustre，以获得更高的性能
对于 S3，我会使用 AWS Glue 从 Snowflake 读取数据或在 EMR 上使用 Spark，并将数据存储在 S3 的分区中。 如果您的算法支持，分区将允许您将训练分布在多台机器上
Snowflake中也有copy into
理想情况下，您将以 Parquet 格式存储，但 [gzipped] CSV 是 SageMaker 内置算法的通用格式。 如果您使用自己的算法，那么可能是 go 和 Parquet
如果您正在做预测，您也可以使用Amazon Forecast ，但它可能会变得昂贵
在 AWS 的 linux 中的两个卷之间复制文件 (db) 的最快方法是什么？
[英]What is the fastest way to copy files(db) between two volumes in linux in AWS?
无法将数据从 S3 存储桶访问到 aws sagemaker 的 jupyter 笔记本
[英]Unable to access data from S3 bucket to jupyter notebook of aws sagemaker
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
AWS SageMaker 上的数据预处理
AWS | 从 SFTP 拉取数据
将 S3 数据加载到 AWS SageMaker Notebook
将整个文件夹从 AWS sagemaker 下载到笔记本电脑
在 AWS 的 linux 中的两个卷之间复制文件 (db) 的最快方法是什么？
AWS Sagemaker 在线特征存储数据存储
从 Glue 作业调用 AWS Sagemaker 终端节点
无法将数据从 S3 存储桶访问到 aws sagemaker 的 jupyter 笔记本
有没有最好的方法将数据从雪花获取到 s3
如何使用调度程序从 AWS Security Hub 中提取数据？
相关标签