復制並從S3解壓縮到HDFS
[英]Copy and unzip from S3 to HDFS
問題描述
我在S3上有一些大的zip文件。 這些zip文件中的每一個都包含幾個gz文件，其中包含JSON格式的數據。 我需要（i）將gz文件復制到HDFS和（ii）優選地通過Apache Spark / Impala / Hive處理文件。 最簡單/最好的方法是什么？
1 個解決方案
解決方案1
0 2016-07-20 06:36:32
1）嘗試使用distcp將文件從s3復制到HDFS
2）對於處理，使用“ org.apache.spark.sql.hive.HiveContext ”的read.json從HDFS讀取JSON數據並創建數據幀。 然后對它進行任何操作。
請點擊此鏈接， http：//spark.apache.org/docs/latest/sql-programming-guide.html#creating-dataframes
Redshift / S3-將Redshift表的內容作為JSON復制到S3嗎？
[英]Redshift/S3 - Copy the contents of a Redshift table to S3 as JSON?
使用python boto將json文件從我的本地計算機復制到Amazon S3
[英]using python boto to copy json file from my local machine to amazon S3
使用 CLI 將 JSON 文件從 windows 系統中的 AWS S3 存儲桶復制到本地
[英]Copy JSON files to local from AWS S3 bucket in windows system using CLI
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.