如何在没有 EMR 的情况下使用经 EMRFS S3 优化的提交程序？
[英]How to use EMRFS S3-optimized committer without EMR?
问题描述
I want to use EMRFS S3-optimized committer locally without EMR cluster.
我想在没有 EMR 集群的情况下在本地使用经 EMRFS S3 优化的提交程序。 I have set "fs.s3a.impl" = "com.amazon.ws.emr.hadoop.fs.EmrFileSystem" instead of "org.apache.hadoop.fs.s3a.S3AFileSystem" and following exception raised:我设置了“fs.s3a.impl”=“com.amazon.ws.emr.hadoop.fs.EmrFileSystem”而不是“org.apache.hadoop.fs.s3a.S3AFileSystem”并引发了以下异常：
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.emr.hadoop.fs.EmrFileSystem not found
Tried to use following packages from maven without any success:尝试使用 maven 中的以下软件包但没有成功：
- com.amazonaws:aws-java-sdk:1.12.71 com.amazonaws:aws-java-sdk:1.12.71
- com.amazonaws:aws-java-sdk-emr:1.12.70 com.amazonaws:aws-java-sdk-emr:1.12.70
1 个解决方案
解决方案1
1 已采纳 2021-09-29 22:34:25
Sorry, but using EMRFS, including the S3-optimized committer, is not possible off of EMR.抱歉，但是在 EMR 之外无法使用 EMRFS，包括 S3 优化提交器。
EMRFS is not an open source package, nor is the library available in Maven Central. EMRFS 不是开源的 package，也不是 Maven Central 中可用的库。 This is why the class is not found when you try to add aws-java-sdk-emr as a dependency;这就是当您尝试将 aws-java-sdk-emr 添加为依赖项时找不到 class 的原因； that package is solely for the AWS Java SDK client package used when interfacing with the EMR service (eg, to create clusters). package 仅供 AWS Java SDK 客户端 package 在与 EMR 服务交互时使用（例如，创建集群）。
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.