将数据从Google Cloud Storage复制到本地Hadoop集群

Question

我正在尝试将数据从Google Cloud Storage中的存储桶复制到本地Hadoop集群（已在Mac中安装）。 遵循本链接中的指示; 将50TB数据从本地Hadoop集群迁移到Google Cloud Storage，但是在执行hdfs命令hdfs dfs -ls gs://tempuserstorage时遇到以下错误。

17/04/28 15:42:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/04/28 15:42:14 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.6.0-hadoop2
    -ls: Google Cloud Storage bucket name must not contain '/' character.
    Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]

我也尝试过hadoop fs -ls gs://tempuserstorage但是却遇到相同的错误

我在这里想念什么吗？

Answer 1

在为fs.gs.system.bucket提供值时，我似乎犯了一个错误。 除了存储桶名称（例如mybucket ）之外； 我还添加了存储桶中的目录（ mybucket/mydir ），这似乎引起了问题