[英]Is it possible to create a Hadoop cluster that includes Hbase, Hive and Pig on EC2 using Whirr
[英]Installing Hbase / Hadoop on EC2 cluster
我知道我可以拆分安裝了Hadoop的EC2集群(除非我錯了)。 Hbase怎么樣 ? 我可以預先制作Hadoop和Hbase嗎? 或者我需要弄臟手。 如果不是一種選擇,最佳選擇是什么? Cloudera顯然有兩個包。 這是要走的路嗎?
謝謝您的幫助。
hbase有一套ec2腳本,可以讓你快速安裝並准備好。 它允許您配置zk服務器和從屬節點的數量,但我不確定它們可用的版本。 我正在使用0.20.6。 設置完一些S3 / EC2信息后,您可以執行以下操作:
/usr/local/hbase-0.20.6/contrib/ec2/bin/launch-hbase-cluster CLUSTERNAME SLAVES ZKSERVERS
快速開始使用群集。 這很好,因為它也會為你安裝LZO信息。
以下是bin目錄中環境文件中可能有用的一些參數(如果需要20.6 AMI):
# The version of HBase to use.
HBASE_VERSION=0.20.6
# The version of Hadoop to use.
HADOOP_VERSION=0.20.2
# The Amazon S3 bucket where the HBase AMI is stored.
# Change this value only if you are creating your own (private) AMI
# so you can store it in a bucket you own.
#S3_BUCKET=apache-hbase-images
S3_BUCKET=720040977164
# Enable public access web interfaces
ENABLE_WEB_PORTS=false
# Extra packages
# Allows you to add a private Yum repo and pull packages from it as your
# instances boot up. Format is <repo-descriptor-URL> <pkg1> ... <pkgN>
# The repository descriptor will be fetched into /etc/yum/repos.d.
EXTRA_PACKAGES=
# Use only c1.xlarge unless you know what you are doing
MASTER_INSTANCE_TYPE=${MASTER_INSTANCE_TYPE:-c1.xlarge}
# Use only c1.xlarge unless you know what you are doing
SLAVE_INSTANCE_TYPE=${SLAVE_INSTANCE_TYPE:-c1.xlarge}
# Use only c1.medium unless you know what you are doing
ZOO_INSTANCE_TYPE=${ZOO_INSTANCE_TYPE:-c1.medium}
如果未在ami中設置JAVA_HOME,您可能還需要設置java版本(我不認為)。 較新版本的hbase可能在S3存儲桶中可用,只需執行描述實例,並使用greo for hadoop / hbase來縮小結果范圍。
根據我的意見,在EC2上運行hbase的最簡單,最快捷的方法是使用apache whirr 。
您是否了解Amazon Elastic MapReduce? 它不提供HBase的,但它提供了簡單的“醇的Hadoop,Hive和Pig(在相當最新版本)。 最大的好處是,他們不會開始向你收費,直到90%的節點都在運行,不利的是每小時比普通的EC2略高。
如果你真的需要/想要使用HBase那么你可能最好自己動手。 有關Hive和Hbase集成的討論,請參閱以下Cloudera博客文章: http ://www.cloudera.com/blog/2010/06/integrating-hive-and-hbase/
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.