将文件从s3：//复制到本地文件系统

Question

我是aws新手。 我创建了一个集群，并将其切入主节点。 当我尝试使用以下命令将文件从s3：// my-bucket-name /复制到pig的本地file：// home / hadoop文件夹中时：

cp s3://my-bucket-name/path/to/file file://home/hadoop

我得到错误：

2013-06-08 18：59：00,267 [main]错误org.apache.pig.tools.grunt.Grunt-错误29 99：意外的内部错误。 必须将AWS Access Key ID和Secret Access Key分别指定为s3 URL的用户名或密码，或者分别设置fs.s3.awsAccessKeyId或fs.s3.awsSecretAccessKey属性。

我什至无法进入我的s3存储桶。 我设置AWS_ACCESS_KEY和AWS_SECRET_KEY没有成功。 我也找不到猪的配置文件来设置适当的字段。

有什么帮助吗？

编辑：我试图使用完整的s3n：// uri在Pig中加载文件

grunt> raw_logs = LOAD 's3://XXXXX/input/access_log_1' USING TextLoader a
s (line:chararray);
grunt> illustrate raw_logs;

我收到以下错误：

2013-06-08 19：28：33,342 [main]信息org.apache.pig.backend.hadoop.executionengi ne.HExecutionEngine-在以下位置连接到hadoop文件系统：file：/// 2013-06-08 19:28： 33,404 [main] INFO org.apache.pig.backend.hadoop.executionengi ne.mapReduceLayer.MRCompiler-文件串联阈值：100乐观吗？ fal se 2013-06-08 19：28：33,404 [main]信息org.apache.pig.backend.hadoop.executionengi ne.mapReduceLayer.MultiQueryOptimizer-优化前的MR计划大小：1 2013-06-08 19：28：33,405 [main] INFO org.apache.pig.backend.hadoop.executionengi ne.mapReduceLayer.MultiQueryOptimizer-优化后的MR计划大小：1 2013-06-08 19：28：33,405 [main] INFO org.apache.pig.tools。 pigstats.ScriptState-猪脚本设置已添加到作业中2013-06-08 19：28：33,429 [main] INFO org.apache.pig.backend.hadoop.executionengi ne.mapReduceLayer.JobControlCompiler-mapred.job.reduce.markreset未设置.buffer.percen t，设置为默认值0.3 2013-06-08 19：28：33,430 [main]错误org.apache.pig.pen.ExampleGenerator-读取数据时出错。 内部错误创建作业配置。 java.lang.RuntimeException：创建作业配置时发生内部错误。 在org.apache.pig.PigServer.getExamples（PigServer.java:1244）在org.apache.pig.PigServer.getExamples（PigServer.java:1244）在org.apache.pig.tools.grunt.GruntParser.processIllustrate （GruntParser.java:722）在org.apache.pig.tools.pigscript.parser.PigScriptParser.Illustrate（PigS criptParser.java:591）在org.apache.pig.tools.pigscript.parser.PigScriptParser.parse（PigScript Parser .java：306），位于org.apache.pig.tools.grunt.GruntParser.parseStopOnError（GruntParser.j ava：189），位于org.apache.pig.tools.grunt.GruntParser.parseStopOnError（GruntParser.j ava：165）， org.apache.pig.Main.main（Main.org上的org.apache.pig.Main.run（Main.java:500）上的org.apache.pig.tools.grunt.Grunt.run（Grunt.java:69） java：114）在sun.reflect.NativeMethodAccessorImpl.invoke0（自然方法）在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:39）在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAcces sorImpl.java:25）在Java。 lang.reflect.Method.invoke（Method.java:597）a t org.apache.hadoop.util.RunJar.main（RunJar.java:187）2013-06-08 19：28：33,432 [main]错误org.apache.pig.tools.grunt.Grunt-错误29 97：遇到IOException。 例外：内部错误创建作业配置。 日志文件中的详细信息：/home/hadoop/pig_1370719069857.log

Answer 1

首先，您应该使用s3n协议（除非您使用s3协议将文件存储在s3上）-s3用于块存储（即类似于hdfs，仅在s3上），而s3n用于本机s3文件系统（即您得到那里看到的东西）。

您可以使用distcp或从s3n进行的简单加载。 您可以根据获得的异常中的说明在hadoop-site.xml中提供访问权限和秘密（请参阅此处以获取更多信息： http : //wiki.apache.org/hadoop/AmazonS3 ），也可以将它们添加到uri：

raw_logs = LOAD 's3n://access:secret@XXXXX/input/access_log_1' USING TextLoader AS (line:chararray);

确保您的密码不包含反斜杠-否则它将不起作用。

Answer 2

cp in

cp s3://my-bucket-name/path/to/file file://home/hadoop

不知道S3。

您可能要使用：

s3cmd get s3://some-s3-bucket/some-s3-folder/local_file.ext ~/local_dir/ 

不知道为什么s3cmd cp ...不执行所需的操作，但是s3cmd get ...可以工作。 man s3cmd具有：

   s3cmd get s3://BUCKET/OBJECT LOCAL_FILE
          Get file from bucket

Answer 3

我遇到了这个完全相同的错误，并最终找到了解决方案。 但是，我一次更改了两件事，所以不确定是否同时需要（肯定是其中之一）。

首先，我确保我的S3数据和EMR系统位于同一区域。 当我遇到这个问题时，我的数据在美国东部，而EMR在美国西部。 我对美国东部（弗吉尼亚州），又名us-east-1（又名美国标准，又名DEFAULT，又名弗吉尼亚北部）进行了标准化。 可能不需要这样做，但是并没有造成伤害。

其次，当我收到错误消息时，我按照其中一个视频中的步骤启动了Pig，并给了它“ -x local”选项。 事实证明，“-x local”似乎可以确保阻止对s3的访问（请参见下文）。

解决的方法是不带参数的启动猪。

我希望这有帮助。

吉尔

---

hadoop@domU-12-31-39-09-24-66:~$ pig -x local
2013-07-03 00:27:15,321 [main] INFO  org.apache.pig.Main - Apache Pig version 0.11.1-amzn (rexported) compiled Jun 24 2013, 18:37:44
2013-07-03 00:27:15,321 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/hadoop/pig_1372811235317.log
2013-07-03 00:27:15,379 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/hadoop/.pigbootup not found
2013-07-03 00:27:15,793 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - 
Connecting to hadoop file system at: file:///

grunt>  ls s3://xxxxxx.xx.rawdata
2013-07-03 00:27:23,463 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2999: Unexpected internal error. AWS Access Key ID and
Secret Access Key must be specified as the username or password (respectively) of a s3 URL, or by setting the fs.s3.awsAccessKeyId
or fs.s3.awsSecretAccessKey properties (respectively).
Details at logfile: /home/hadoop/pig_1372811235317.log

grunt> quit

hadoop@domU-12-31-39-09-24-66:~$ pig
2013-07-03 00:28:04,769 [main] INFO  org.apache.pig.Main - Apache Pig version 0.11.1-amzn (rexported) compiled Jun 24 2013, 18:37:44
2013-07-03 00:28:04,771 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/hadoop/pig_1372811284764.log
2013-07-03 00:28:04,873 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/hadoop/.pigbootup not found
2013-07-03 00:28:05,639 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - 
Connecting to hadoop file system at: hdfs://10.210.43.148:9000
2013-07-03 00:28:08,765 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: 10.210.43.148:9001

grunt>  ls s3://xxxxxx.xx.rawdata
s3://xxxxxx.xx.rawdata/rawdata<r 1>  19813
s3://xxxxxx.xx.rawdata/rawdata.csv<r 1> 19813
grunt>