標簽[hdfs] - 堆棧內存溢出

[英]Unexpected duration for v3io content delete

當我通過標准命令行實用程序刪除 MLRun/v3io 中 NoSqlTarget（鍵值存儲）的內容時，例如：花了大約。 100 萬個文件需要 1 小時，而 2000 萬個文件則接近一天。你有提示/技巧，如何使用更快的刪除？ ...

[英]New datanode not tranferring data from existing hadoop cluster

我遵循了 tutriolpoint 指南並完成了將新節點設置到現有 hadoop 集群的每一步。但是我很難弄清楚為什么沒有傳輸數據。我完成了檢查主機文件和與授權密鑰相關的文件，這些文件應該位於正常運行的從屬節點中。數據節點已經包含有關與主節點連接的信息，但不會從主節點傳輸數據。當我嘗試從新數 ...

當我們有 S3 時，為什么我們在 EMR 上需要 HDFS

[英]Why do we need HDFS on EMR when we have S3

在我們這里，我們使用 AWS 服務來滿足我們所有的數據基礎設施和服務需求。我們的 hive 表是外部表，實際數據文件存儲在 S3 中。我們使用 Apache Spark 進行數據攝取和轉換。我們有 EMR 永遠運行的集群，有 1 個主節點（始終運行）和 1 個核心節點（始終運行），每當數據處 ...

使用 saveAsTable 創建的表與使用 spark.sql("CREATE TABLE....) 創建的表的行為不同

[英]Table created with saveAsTable behaves differently than a table created with spark.sql("CREATE TABLE....)

我定期運行的進程將數據寫入鑲木地板文件上的表，配置為"spark.sql.sources.partitionOverwriteMode" = "dynamic" ，代碼如下：如果該表不存在並且是在第一個子句中創建的，它可以正常工作，並且在下一次運行時表確實存在並且 else 子句運行時它按預期工作 ...

直接使用 HDFS 中的數據訓練 ML model 的好策略

[英]Good strategy training a ML model directly using data from a HDFS

我想在計算節點上訓練一個 model，但使用來自存儲集群 (HDFS) 的數據（parquet 格式）。而且我無法將整個數據集從 HDFS 復制粘貼到我的計算節點上。什么是可行的解決方案（我使用 python）？我做了一些研究，似乎Petastorm是一個很有前途的解決方案。但是，我看到另一 ...

hadoop 從 hdfs 中現有的存檔文件中獲取文件

[英]hadoop get files from existing archived file in hdfs

我有一個包含 8 個文件的目錄“SmallFiles”，我使用“hadoop archive -archiveName myArch.har -p /Files/SmallFiles /Files”將它們存檔，然后刪除了原始文件。我想知道如何再次提取文件？當我下載它時，我得到這 3 個文件“in ...

我無法在我的 Hadoop Grid5000 集群中運行 start-dfs.sh（權限被拒絕）

[英]I can't run start-dfs.sh in my Hadoop Grid5000 cluster (Permission denied)

我可以使用 ssh 連接從一個節點導航到另一個節點，沒有任何問題，例如從 parasilo-1 到 parasilo-10。 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys不幸的是沒有任何改變。我在 SSH 中連接到我在 Grid50 ...

使用 PySpark 在現有表格數據文件（CSV、鑲木地板）上連續添加數據

[英]Continous appending of data on existing tabular data file (CSV, parquet) using PySpark

對於一個項目，我需要經常在一個現有的 CSV 或 Hadoop/HDFS（master=yarn）中具有相同模式的 parquet 文件上以非周期性方式訪問 append 大約一千個或更多數據文件（表格數據）。最后，我需要能夠對結果文件進行一些過濾——提取數據的子集。一個虛擬文件可能如下所示（非 ...

Flink FlatMapFunction 讀取文件的方法

[英]How to Read Files in Flink FlatMapFunction

我正在構建一個 Flink 管道，並且基於實時輸入數據需要從 RichFlatMapFunction 中的存檔文件中讀取記錄（例如，我每天都想讀取前一天和前一周的文件）。我想知道最好的方法是什么？我可以直接使用 Hadoop API，這就是我接下來要嘗試的。那將是這樣的：import org. ...

AWS EMR 集群 - 擴展沒有將 dfs.replication 值從 1 更新為 2

[英]AWS EMR cluster - scale up didn't update dfs.replication value from 1 to 2

我配置了一個AWS EMR HBASE集群，其中包含1 master節點和1 core node (m5.xLarge)。我的集群沒有任何“任務”節點，因為我計划僅將此集群用於存儲。兩個盒子上的hdfs-site.xml文件都將dfs.replication設置為 1，這是有道理的。然后我手 ...

在 spark 中從 hdfs（也嘗試使用 s3）提取 kafka jks 證書時出錯

[英]Error while pulling kafka jks certificates from hdfs (trying with s3 as well) in spark

我在集群模式下運行 spark，它給出了錯誤我運行了以下命令並驗證了該位置是否存在 jks 文件。我寫了下面的代碼來連接到 spark 項目中的 kafka。火花代碼：請建議缺少什么？如何在 s3 中使用 jks 文件實現相同的目的？ ...

Hadoop 復制目錄內容

[英]Hadoop copying directory with contents

我是 Hadoop 的新手，正在為大學做一個項目。我有一個名為“docs”的文件夾，里面有幾個文本文件。當我在本地查看它時，我可以看到那里有各種文本文件。當我復制到Hadoop時，目錄是空的。下面的屏幕截圖顯示了本地目錄中的文件。我使用 copyFromLocal 將目錄復制到 HDFS。 ...

Alter Hive partition column name NOT changed in HDFS

[英]Alter Hive partition column name NOT changed in HDFS

當改變分區表的分區列名（名為partitioned_table）時，HDFS中對應的目錄不變。但是，可以在HDFS中更改分區的刪除和移動。使用“show partitioin partitioned_table”更改列名。 Hive 版本為 4.0.0-alpha-2。使用以下語句更改分區列 ...

hdfs 如何在特定目錄路徑中遞歸 output 大小為零的文件

[英]hdfs how to recursively output size zero file in a specific directory path

例如，我想在遞歸時間戳目錄中遞歸 output 大小為零的文件路徑，如下所示hdfs://<DIRECTORY>/<TIMESTAMP> <TIMESTAMP>是從20220501到20221231 感謝預付款。 ...

hdfs 如何在特定目錄路徑中將 output 大小為零的文件

[英]hdfs how to output size zero file in a specific directory path

例如，我想要 output 特定目錄中的所有零文件路徑，如hdfs://<DIRECTORY> 。我想使用hdfs -ls或hdfs -du和awk ，但我不熟悉awk 。如何實施。感謝預付款。更新：還有一個問題，如果我想在特定目錄hdfs://<DIRECTORY> ...

如何確保 spark.write.parquet() 將數據幀寫入使用相對路徑指定的文件，而不是在 EMR 上的 HDFS 中？

[英]How to make sure that spark.write.parquet() writes the data frame on to the file specified using relative path and not in HDFS, on EMR?

我的問題如下：在本地機器和 EC2 上完美運行的 pyspark 腳本被移植到 EMR 上以進行擴展。有一個配置文件，其中包含提到的輸出的相對位置。一個例子：配置 feature_outputs=/輸出/特征/ 文件結構：代碼讀取配置，生成功能並將它們寫入上述路徑。在 EMR 上，這被 ...

namenode默認寫入數據如何選擇datanode

[英]namenode default write data How do I select a datanode

namenode默認寫入數據如何選擇datanode datanode(a,b,c,d,e,f) hdfs client (z) -> wirte data -> put->hello.txt nn->(? How to choose First datanode no ...

我們可以在 Hadoop 集群的名稱節點（主節點）中安裝 Sqoop、Hive 和 MySQL 嗎？

[英]Can we install Sqoop, Hive & MySQL in Name Node (Master) of a Hadoop Cluster?

我有一個多節點 Hadoop 集群作為 1 個主節點和 2 個從節點。我想嘗試從 MySQL 導入並加載到 HDFS。我想讓 Hive 在 HDFS 上編寫配置單元查詢。要執行上述任務，我可以在我的 Hadoop 集群的名稱節點（主節點）上安裝 Hive、Sqoop、MySQL 嗎？還是必 ...

無法訪問 hadoop 集群中的文件

[英]Not able to access files in hadoop cluster

我試圖通過以下代碼讀取 hadoop 集群中存在的文件。使用的默認端口是 9000。（因為在 50700，它沒有連接）集群看起來像：hadoop fs -ls -R / 2022-12-21 10:52:30,393 WARN util.NativeCodeLoader: Unable to l ...

數據節點未出現在 Hadoop 集群中

[英]Data Nodes not Appearing in Hadoop Cluster

我正在嘗試創建一個 hadoop 集群。 `hdfs' 正常啟動，我也可以通過網絡界面訪問它。但是，數據節點沒有顯示。這是我通過運行 jps 命令得到的結果。 node1是master-node 。但是運行“yarn node -list”不會返回工作節點列表。 hdfs 和 yar ...