什么是hadoop hdfs中的/ tmp目錄？
[英]what is /tmp directory in hadoop hdfs?
問題描述
我有4個數據節點集群，每個節點上的hdfs結構如下所示
我面臨磁盤空間問題，因為你可以看到hdfs中的/ tmp文件夾占用了更多的空間（217GB）。 所以我試圖調查/ tmp文件夾中的數據。 我找到了以下臨時文件。 我訪問了這些臨時文件夾，每個文件夾包含一些10gb到20GB大小的部分文件。 我想清除這個/ tmp目錄。 任何人都可以讓我知道刪除這些tmp文件夾或部分文件的后果。 它會影響我的集群嗎？
1 個解決方案
解決方案1
16 已采納 2014-07-22 12:59:43
HDFS / tmp目錄主要用作mapreduce操作期間的臨時存儲。 Mapreduce工件，中間數據等將保存在此目錄下。 mapreduce作業執行完成后，這些文件將自動清除。 如果刪除此臨時文件，則會影響當前運行的mapreduce作業。
臨時文件由pig創建。 臨時文件刪除最后發生。 如果腳本執行失敗或被殺死，Pig不會處理臨時文件刪除。 然后你必須處理這種情況。 您最好在腳本本身處理此臨時文件清理活動。
以下文章為您提供了很好的理解
http://www.lopakalogic.com/articles/hadoop-articles/pig-keeps-temp-files/
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException：目錄/ tmp / hadoop / dfs / name處於不一致狀態
[英]org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop/dfs/name is in an inconsistent state
在偽分布式模式下運行Hadoop時，我應該為hadoop.tmp.dir使用哪個目錄？
[英]When running Hadoop in pseudo-distributed mode, what directory should I use for hadoop.tmp.dir?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
清除hdfs中的/ tmp目錄
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException：目錄/ tmp / hadoop / dfs / name處於不一致狀態
Hadoop \ HDFS：“沒有這樣的文件或目錄”
Hadoop tmp目錄變得巨大
什么是Hadoop上的HDFS位置？
在偽分布式模式下運行Hadoop時，我應該為hadoop.tmp.dir使用哪個目錄？
hadoop hdfs目錄大小顯示為0
無法在hadoop的hdfs上創建目錄
hadoop 2.7.2 HDFS：無此類文件或目錄
Hadoop HDFS命令-重命名目錄
相關標簽