S3 NoSuchKey错误，访问Apache Ambari 2.5.1的yum存储库

Question

我已经在CentOS 6.9中构建并安装了Apache Ambari 2.5.1。 （根据Ambari 2.5.1安装指南 ）。

启动“ ambari-server”和“ ambari-agent”后，我打开了Ambari UI。 默认的Apache Ambari 2.5.1公共存储库为“ http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63 ”和“ http：// s3 .amazonaws.com / dev.hortonworks.com / HDP-UTILS-1.1.0.21 / repos / centos6 “。 我打开浏览器并输入URL，浏览器显示指定的键不存在。 因此，我认为Apache Ambari 2.5.1公共存储库不存在。

<Error>
  <Code>NoSuchKey</Code>
  <Message>The specified key does not exist.   </Message>
  <Key>HDP/centos6/2.x/BUILDS/2.6.3.0-63</Key>       
  <RequestId>81EA7B258C7ACDB4</RequestId>
  <HostId>
    3DEhVcTN7/LxCsa8doX8LNm1ltXGEvUI/5o4hOtKAooNU9iC58NeT8SwJPdE2ZbvXEGb4Hk7mIc=
  </HostId>
</Error>

您能帮我解决这个问题吗？ 谢谢！

Answer 1

这些实际上是有效的yum存储库。 可以通过HTTP提供yum仓库。 Ambari使用AWS S3存储桶作为通过HTTP作为yum存储库提供文件的便捷方式。

导航到URL时，您无法在浏览器中轻松看到任何内容的原因是，S3并未像传统的提供静态内容的Web服务器那样真正维护目录层次结构中的文件。 相反，它提供了键到对象的映射，并且应用程序通常使用尾随/的约定来模拟目录。

即使您问题中的URL不能为浏览器提供有意义的内容，我们也可以使用AWS Command Line Interface检查存储桶。 （为简洁起见，以下输出被修剪。）

> aws s3 ls s3://dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/
                           PRE RPM-GPG-KEY/
                           PRE accumulo/
                           PRE atlas/
                           ...
                           PRE hadoop/
                           ...
                           PRE hive/
                           PRE hive2/
                           ...
2017-07-17 18:03:01       2630 HDP-2.6.3.0-63.xml
2017-07-17 18:03:01      20366 artifacts.txt
2017-07-17 18:03:01        542 build.id
2017-07-17 18:03:01       8473 build_metadata.txt
2017-07-17 18:03:01        908 hdp-canary.repo
2017-07-17 18:03:01        602 hdp.repo
2017-07-17 18:03:01        578 hdp_private.repo
2017-07-17 18:03:01        574 hdp_public.repo
2017-07-17 18:03:01        612 hdpbn.repo
2017-07-17 18:03:09        497 hotfix_index.html
2017-07-17 18:03:06        502 index.html
2017-07-17 18:03:08        494 private_index.html
2017-07-17 18:03:07        493 public_index.html

我们可以看到Apache Hadoop生态系统中组件的各个子目录。 我们还可以看到存在index.html文件，因此该URL在浏览器中有效：

http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/index.html

我们还会看到.repo文件，这些文件将其定义为有效的yum repo：

> curl http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/hdp.repo
#VERSION_NUMBER=2.6.3.0-63
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0
gpgcheck=1
gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://s3.amazonaws.com/dev.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6
gpgcheck=1
gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1