創建 HDFS 文件

[英]Create HDFS file

我知道可以使用蛇咬創建目錄 HDFS 和 python 但我希望在 HDFS 目錄上創建一個文件 ...

在集群失敗的情況下，snakebite 是否會處理重試？

[英]Does snakebite handle retry in case of cluster failure?

蛇咬最近成為 hdfs cli 的替代品。 據我了解，如果由於集群問題導致命令失敗，hdfs 不會重試命令。 我的問題是，在集群失敗的情況下， snakebite是否會處理重試。 通過重試，我的意思是如果命令失敗，它會多次嘗試命令。 ...

如何在Python 3中導入“Security_pb2”包？

[英]How to import “Security_pb2” package in Python 3?

我正在嘗試在python 3中導入'Security_pb2'包。但它顯示錯誤。 任何人都可以告訴我如何導入它或任何其他方式來完成它。 我甚至嘗試使用“ pip ”來安裝它，但是 找不到滿足要求security_pb2的版本（來自版本:)未找到security_pb2的匹配分發 ...

如何在 Python 3 中導入 `snakebite` 包？

[英]How to import `snakebite` package in Python 3?

我正在嘗試使用 Python 連接到 Hadoop (HDFS)。 我正在使用snakebite包來建立連接。 我成功安裝了它，但是當我嘗試導入它時，它給出了如下錯誤： 錯誤： 文件“C:\\pythonNJ\\lib\\site-packages\\snakebite\\client.p ...

HDFS：使用 Python3 從 HDFS 讀取數據以解析 HDFS 中的 XML 文件

[英]HDFS: Read data from HDFS to parse XML files in HDFS using Python3

我在 HDFS 中有大約 1500 個 XML 文件，每個文件大約 2-3Gb。 我需要編寫一個 python 腳本來解析 XML 文件以執行 MapReduce。 但是，我在使用 python 訪問 HDFS 中的文件時遇到了問題。 我嘗試了以下腳本，但收到錯誤消息。 以下是錯誤： 使用 ...

如何使用蛇咬python客戶端訪問kerberized集群

[英]How to access kerberized cluster using snakebite python client

我一直在努力如何將必要的參數傳遞給snakebite實用程序，以便它能夠訪問以kerberized的集群。 我嘗試在/ usr / local / etc / hadoop路徑中設置必要的conf目錄，以及使用kinit初始化和獲取票證。 在這方面的任何幫助或工作示例將不勝感激。 ...

無法使用蛇咬來獲取和顯示文件

[英]Unable to fetch and display files using snakebite

我在試snakebite 。 我啟動了以下客戶端： 首先，我嘗試列出用戶目錄： 這很好用，並打印了幾本詞典。 目錄中的每個項目一個。 其中一項是我想要查看的文件foobar.txt 。 為此，我相信我應該使用Client.cat ： 但是，這沒有用。 我收到以下 ...

蛇咬HDFS touchz無法正常工作

[英]Snakebite HDFS touchz not working

我想使用snakebite檢查hdfs目錄中是否存在文件，並創建它是否不存在。 我在這里關注touchz上的文檔，並像這樣使用它： 但是當我檢查時，在remote_host:/user/test/中看不到sample.txt，但是當我使用hadoop fs -touchz remote ...

Python HDFS Snakebite：方法僅適用於打印

[英]Python HDFS Snakebite : Methods work only with print

我正在使用來自的蛇咬客戶端 https://github.com/spotify/snakebite 當我嘗試在hdfs中建立目錄或移動文件時，我注意到一種奇怪的行為。 這是我的代碼。 它所做的全部將源目錄的內容移動到目標目錄。 最后，顯示目標目錄的內容 這是目標不存在 ...

在HDFS中移動和合並目錄

[英]Moving and merging directories in hdfs

我正在更改hdfs目錄結構。 當前的內容如下： 我想擺脫顧客（1-7）： 我以為使用了蛇咬的python hdfs庫，但出現了許多極端情況：1.同一日期可能會發生多次。 2. csv的名稱可能多次出現，但其數據不同，因此也必須移動。 您如何以最干凈的方式實現它？ ...

如何重置 luigi 任務狀態？

[英]How to reset luigi task status?

目前，我有一堆 luigi 任務排在一起，有一個簡單的依賴鏈（ a -> b -> c -> d ）。 d首先執行，最后執行a 。 a是被觸發的任務。 除返回luigi.LocalTarget()對象外a所有目標都有一個通用的luigi.Parameter() ，它是一個字符 ...

配置SnakeBite HDFS客戶端以使用高可用性模式

[英]Configure SnakeBite HDFS clients to work with high availability mode

我正在使用snakebite庫從我的氣流dags訪問HDFS。 我的HDFS群集已升級到高可用性模式。 現在，這意味着當該namenode不是活動節點時，配置為僅指向一個名稱節點的客戶端將失敗。 我可以使用哪些策略來實現高可用性高可用性模式？ 我可以配置snakebite客戶端以 ...