遠程連接到fiware-cosmos返回身份驗證錯誤

Question

我們在cosmos.lab.fi-ware.org上有一個COSMOS帳戶，可以將文件本地加載到集群上。

但是，我們無法遠程加載，我們在指南網站上遵循的說明顯示如下：

但是，使用WebHDFS / HttpFS RESTful API將允許您上傳FI-LAB中全局Cosmos實例之外的文件。 以下示例使用HttpFS而不是WebHDFS（使用TCP / 14000端口而不是TCP / 50070），curl用作HTTP客戶端（但您的應用程序應該實現您自己的HTTP客戶端）：

 [remote-vm]$ curl -i -X PUT "http://cosmos.lab.fi-ware.org:14000/webhdfs/v1/user/$COSMOS_USER/input_data?op=MKDIRS&user.name=$COSMOS_USER" [remote-vm]$ curl -i -X PUT ..etc [remote-vm]$ curl -i -X PUT -T etc.. 

如您所見，數據上傳是一個兩步操作，如WebHDFS規范中所述：API的第一次調用直接與Head節點對話，指定新文件創建及其名稱; 然后，頭節點發送臨時重定向響應，在集群中必須存儲數據的所有現有節點中指定數據節點，這是第二步的端點。 然而，HttpFS網關實現了相同的API，但其內部行為發生了變化，使重定向指向頭節點本身。

但是，當我們運行這些命令時，我們會收到服務器錯誤，例如：

~ kari$ -bash: user.name=kdempsey: command not found
HTTP/1.1 100 Continue

HTTP/1.1 401 Unauthorized
Server: Apache-Coyote/1.1
Set-Cookie: hadoop.auth=""; Expires=Thu, 01-Jan-1970 00:00:10 GMT; Path=/
Content-Type: text/html;charset=utf-8
Content-Length: 1275
Date: Fri, 05 Jun 2015 12:58:20 GMT

Apache Tomcat/6.0.32 - Error report<!--H1 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:22px;} H2 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:16px;} H3 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:14px;} BODY {font-family:Tahoma,Arial,sans-serif;color:black;background-color:white;} B {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;} P {font-family:Tahoma,Arial,sans-serif;background:white;color:black;font-size:12px;}A {color : black;}A.name {color : black;}HR {color : #525D76;}-->

HTTP Status 401 - org.apache.hadoop.security.authentication.client.AuthenticationException: Anonymous requests are disallowed

type Status report

message org.apache.hadoop.security.authentication.client.AuthenticationException: Anonymous requests are disallowed

description This request requires HTTP authentication (org.apache.hadoop.security.authentication.client.AuthenticationException: Anonymous requests are disallowed).

Apache Tomcat/6.0.32

另一個是500服務器錯誤。 請提供用於將文件遠程加載到COSMOS共享資源的命令。

最終我們想從我們的InfluxDB中獲取數據並加載到COSMOS中，如果可能的話我們希望通過REST調用（否則是python）。

非常感謝，Kari

Answer 1

作為roor用戶，我已經測試了您的帳戶，它完美運行：

$ curl -i -X PUT "http://cosmos.lab.fi-ware.org:14000/webhdfs/v1/user/kdempsey/frbtest_deleteme?op=MKDIRS&user.name=kdempsey"
HTTP/1.1 200 OK
Server: Apache-Coyote/1.1
Set-Cookie: hadoop.auth="u=kdempsey&p=kdempsey&t=simple&e=1434045807412&s=iFdK86PWTbJykXymYLS9qZcIE2g="; Version=1; Path=/
Content-Type: application/json
Transfer-Encoding: chunked
Date: Thu, 11 Jun 2015 08:03:27 GMT

{"boolean":true}
$ curl -i -X GET "http://cosmos.lab.fi-ware.org:14000/webhdfs/v1/user/kdempsey/?op=LISTSTATUS&user.name=kdempsey"
HTTP/1.1 200 OK
Server: Apache-Coyote/1.1
Set-Cookie: hadoop.auth="u=kdempsey&p=kdempsey&t=simple&e=1434045881826&s=GkLYQ/BqnBNPFBNL3ZPwkxcwbx8="; Version=1; Path=/
Content-Type: application/json
Transfer-Encoding: chunked
Date: Thu, 11 Jun 2015 08:04:41 GMT

{"FileStatuses":{"FileStatus":[{"pathSuffix":"frbtest_deleteme","type":"DIRECTORY","length":0,"owner":"kdempsey","group":"kdempsey","permission":"755","accessTime":0,"modificationTime":1434009807428,"blockSize":0,"replication":0},{"pathSuffix":"input","type":"DIRECTORY","length":0,"owner":"kdempsey","group":"kdempsey","permission":"755","accessTime":0,"modificationTime":1433508554303,"blockSize":0,"replication":0},{"pathSuffix":"input_data","type":"DIRECTORY","length":0,"owner":"kdempsey","group":"kdempsey","permission":"755","accessTime":0,"modificationTime":1433508958231,"blockSize":0,"replication":0}]}}

如您所見，我創建了一個frbtest_deleteme文件夾，然后我列出了您的HDFS用戶空間（ /user/kdempsey ）以獲取子目錄列表; 其中，你會發現frbtest_deleteme 。