堆棧內存溢出
cost 135 ms
無法訪問 hadoop 集群中的文件

[英]Not able to access files in hadoop cluster

我試圖通過以下代碼讀取 hadoop 集群中存在的文件。 使用的默認端口是 9000。（因為在 50700，它沒有連接） 集群看起來像：hadoop fs -ls -R / 2022-12-21 10:52:30,393 WARN util.NativeCodeLoader: Unable to l ...

如何設置 webhdfs hadoop

[英]How to setup webhdfs hadoop

我正在嘗試在啟用 WebHDFS 的情況下配置 Hadoop，然后我還想在其上啟用 SSL。 我的 hdfs-site.xml 看起來像這樣： 但是我無法進行 curl 調用： 我錯過了什么？ 我正在使用 Hadoop 3.3.4。 ...

Erreur: HTTPConnectionPool(host='dnode2', port=9864): Max retries exceeded with url: /webhdfs

[英]Erreur: HTTPConnectionPool(host='dnode2', port=9864): Max retries exceeded with url: /webhdfs

我正在嘗試在部署了 docker 的 python 應用程序中讀取 hdfs 服務器上的文件，在開發期間，我沒有遇到任何問題，但在生產過程中出現此錯誤： Erreur: HTTPConnectionPool(host='dnode2', port=9864): Max retries excee ...

Azure 數據工廠 HDFS 數據集預覽錯誤

[英]Azure Data Factory HDFS dataset preview error

我正在嘗試從 ADF 連接到 HDFS。 我創建了一個文件夾和示例文件（orc 格式）並將其放在新建的文件夾中。 然后在 ADF 中，我使用我的 Windows 憑據（用於創建示例文件的同一用戶）為 HDFS 創建了成功的鏈接服務： 但是當試圖通過數據集瀏覽數據時： 我收到一個錯誤：來自數據存儲 ...

在 webhdfs 中，length 和 spaceConsumed 有什么區別？

[英]In webhdfs, what is the difference between length and spaceConsumed?

使用webhdfs 我們可以獲得目錄/文件的內容摘要。 但是，我不清楚以下屬性： 它們之間到底有什么區別？ spaceConsumed是否包括磁盤復制所占用的大小？ 內部方法文檔沒有提供額外的細節。 ...

當datanode作業被殺死時，為什么datanode不會在hadoop web站點中消失？

[英]Why does a datanode doesn´t disappear in the hadoop web site when the datanode job is killed?

我在 CentOS 8 VM 中有一個 3 節點 HA 集群。 我正在使用 ZK 3.7.0 和 Hadoop 3.3.1。 在我的集群中，我有 2 個名稱節點，節點 1 是活動名稱節點，節點 2 是備用名稱節點，以防節點 1 下降。 另一個節點是datanode我只是用命令開始 在 node1 ...

webhdfs 傳感器-氣流

[英]webhdfs sensor-Airflow

我想使用傳感器來檢查 hdfs 中文件的到達。 我使用了hdfs 傳感器，但我無法安裝蛇咬，因為它需要 python2 並且我在 python3 上運行。 作為替代，我使用webhdfs sensor 。 當我嘗試實施時，出現以下錯誤 [2021-07-15 12:01:30,948] {tas ...

無法通過 Hadoop UI 上傳文件或創建目錄

[英]Unable to upload file or create directory via Hadoop UI

我已經在 Ubuntu 18.04 中安裝了 hadoop-3.2.1 和 Java-8。 我可以通過終端使用hadoop fs -put命令將文件發送到 HDFS。 但是當我嘗試通過 UI 上傳文件或創建目錄時，我收到以下錯誤： 上傳文件時： 無法上傳文件 temp.txt 創建目錄時： 權限被拒 ...

如何從終端上傳文件到 hdfs web 頁面？

[英]How to upload files to hdfs web page from terminal?

我剛剛開始 hadoop 並進行 hdfs 配置。 我已完成所有步驟，但上傳文件的最后一部分不起作用。 我用它來制作我的目錄，它可以工作 但是當我這樣做時： 或者 或者 或者 或者 它只創建一個空的“輸入”目錄，當我指定“file.txt”時它什么也沒有。 這正在終端上顯示： copyFromL ...

高可用 HDFS 客戶端 python

[英]High availability HDFS client python

在 HDFSCLI 文檔中，它說可以通過添加用分號分隔的 url 來將其配置為連接到多個主機; （ https://hdfscli.readthedocs.io/en/latest/quickstart.html#configuration ）。 我使用 kerberos 客戶端，這是我的代碼 ...

如何使用 HDFS API 返回文件列表 HDFS

[英]How return the list of file form HDFS using the HDFS API

我創建了一個 java function 在 HDFS 中打開一個文件。 function 僅用於 API HDFS。 我的代碼中沒有使用任何 Hadoop 依賴項。 我的 function 運行良好： 我正在做一個新的 function 以返回 HDFS 中的文件列表。 第二個 functio ...

如何在 PowerShell 中將文件從 EFS (WinSCP) 上傳到 WebHDFS (Hue/Cloudera)？

[英]How Upload file from EFS (WinSCP) to WebHDFS (Hue/Cloudera) in PowerShell?

我一直在嘗試將這個問題分成兩部分來實現自動化： PowerShell：將文件從本地桌面傳輸到 EFS（通過 WinSCP）- 確定 PowerShell：在 EFS 上（通過 WinSCP）獲取相同的文件並將其放入 Cloudera WebHDFS（我們使用 Hue 界面）- NOK 在部分 ( ...

使用 powershell 連接到 WebHDFS：如何設置不同的憑據

[英]Connect to WebHDFS using powershell: How to set the Different Credentials

我正在嘗試通過 powershell 連接 te WebHDFS，並且一直在檢索一些錯誤。 我認為 401 錯誤是因為憑證。 我一直在使用的代碼是： 如何在“Invoke-RestMethod”下的憑據中設置不同的參數？ 我一直在檢索的錯誤是： ...

可以禁用 WebHDFS UI 刪除功能嗎？

[英]Can WebHDFS UI delete functionality be disabled?

從 HDP 3.0 開始，WebHDFS UI（即端口 50070 上的 namenode UI 文件瀏覽器）現在包含一個 bin 圖標，可用於刪除 HDFS 文件。 它似乎是通過調用 rest api DELETE 鈎子來做到這一點的，但這樣做似乎也繞過了任何文件或文件夾權限。 換句話說，任何可以 ...

如何僅使用 Azure Ad 用戶名和密碼連接和訪問 Azure Datalake Gen1 存儲 - c#

[英]How to connect and access Azure Datalake Gen1 storage using Azure Ad username and password only - c#

我只想使用 Azure Ad 用戶名和密碼連接和訪問 Azure Datalake Gen1 存儲。 我有一個可以訪問 Azure Datalake Gen1 存儲的服務帳戶。 我能夠通過 Microsoft Azure 存儲資源管理器使用憑據連接和下載文件。 此外，我可以通過 ADLS 連接管理 ...

如何在 pywebhfds 中傳遞連接錯誤？

[英]How can I get passed Connection error in pywebhfds?

我有一個本地單節點托管hadoop。我的名字和datanode是一樣的。 我正在嘗試使用 python 庫創建一個文件。 該文件存在並且 make_dir 工作正常。 但是我的創建文件不斷拋出錯誤我得到的異常是這樣的： 我已經允許 9000、9870 和 9864 的防火牆。在此先感謝。 幫助將不 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM