如何在 AWS S3 中生成 1 TB 的 TPC-DS 基准测试数据？
[英]How to generate the TPC-DS benchmarking data 1 TB in AWS S3?
问题描述
我想直接在 AWS S3 中生成 TPC-DS 数据（1 TB 和 10 TB），而不是从本地机器传输到 s3。 最简单的方法是什么？
1 个解决方案
解决方案1
1 2019-11-13 14:04:25
几个月前我做了类似的工作， hive-testbench可以是一个选项。 查看README.md以了解如何实现它。
您需要将$HADOOP_HOME/etc/hadoop/core-site.xml中的fs.defaultFS配置到您的 AWS S3 存储桶中，数据将直接在 AWS 中生成。
将数据比例参数传递给./tpcds-setup.sh以生成具有不同比例的日期。
AWS 节点 SDK：如何生成不包含 AccessKeyId 的签名 S3 getObject URL
[英]AWS Node SDK: How to generate a signed S3 getObject URL that doesn't include AccessKeyId
如何对aws sqs中的iot数据进行批处理，然后将数据存储到aws s3中
[英]How to batch the iot data in aws sqs and then store data in aws s3
AWS mirgate 数据从 MongoDB 到 DynamoDB/S3/Redshift
[英]AWS mirgate data from MongoDB to DynamoDB/S3/Redshift
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
如何将数据提取到 AWS S3
AWS 节点 SDK：如何生成不包含 AccessKeyId 的签名 S3 getObject URL
如何对aws sqs中的iot数据进行批处理，然后将数据存储到aws s3中
如何使用 boto3 访问 AWS S3 数据
如何使用 AWS SQS 队列将数据存储到 s3 存储桶中
如何将 Azure Blob 流式传输到 AWS S3？
更新存储在 AWS S3 中的数据的模式/数据的策略
将 S3 数据加载到 AWS SageMaker Notebook
将不同来源的数据流式传输到 AWS S3
AWS mirgate 数据从 MongoDB 到 DynamoDB/S3/Redshift
相关标签