Pig脚本上的多个AWS账户

Question

我想从EMR的PIG脚本访问我拥有aws_access_key和aws_secret_key的一个帐户的s3存储桶，并且希望将结果文件存储在另一个aws帐户中。 有什么办法可以做到这一点？ 我已经尝试过使用凭据的s3n路径，但是它不起作用。

谢谢

Answer 1

我解决了此问题，改变了PigStorage函数，将结果存储在hdfs中，并在cleanUpWithSucess方法上调用了一种方法，该方法使用凭证将hdfs文件上传到s3。 这样，我可以将凭据用于存储时将其传递给PigStorageFunction，当然，我也更改了PigStorage的构造函数以接收这些参数。