在亚马逊EMR上运行HBase时，为什么/ tmp文件夹与实际数据相比很大？
[英]When running HBase on amazon EMR, why does /tmp folder is huge compared to the actual data?
问题描述
我们在Amazon EMR上具有默认配置的hadoop + hbase集群，因此mapred.child.tmp和hbase.tmp.dir指向/tmp 。 我们的集群已经运行了一段时间，现在/tmp为500Gb，而实际的/hbase数据为/hbase 。
这种差异似乎太大了，我们是否应该定期删除一些/tmp数据？
1 个解决方案
解决方案1
1 已采纳 2012-10-01 06:15:29
经过一番调查，我发现/tmp数据的最大部分是由Amazon将Hbase自动备份到S3时失败的mapreduce任务创建的。 我们成功的mapreduce任务不会在/tmp留下很多数据。
我们已决定禁用Amazon的自动备份，并使用Hbase工具导入/导出表来实施自己的备份脚本。
Amazon EMR框架在MapReduce作业中使用之前是否从S3复制数据
[英]Does Amazon EMR framework copy data from S3 before consumption in MapReduce jobs
当我在Amazon EMR上使用Hive引擎从Presto导出数据时发生FileAlreadyExistsException
[英]FileAlreadyExistsException occurred when I was exporting data from Presto with Hive engine on Amazon EMR
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
在Amazon EMR上使用java中的hbase时出现问题
在Amazon EMR中运行hadoop jar
使用自定义AMI运行Amazon EMR？
为什么HDFS默认将数据存储在/ tmp中？
Amazon EMR：在本地文件系统上运行的配置
从Amazon HBase读取数据
在Amazon EMR中的Hadoop的所有节点上运行脚本
Amazon EMR：在数据节点上配置存储
Amazon EMR框架在MapReduce作业中使用之前是否从S3复制数据
当我在Amazon EMR上使用Hive引擎从Presto导出数据时发生FileAlreadyExistsException
相关标签