BigData環境中在哪里創建登台數據表？
[英]Where to create staging data table in BigData environment?
問題描述
我目前正在使用Hadoop-2，PIG，HIVE和HBASE。 我有一個輸入數據。 我已經將該數據加載到HDFS中。 我想在此環境中創建暫存數據。
我的查詢是-
我應該在哪個BigData組件中創建登台表（Pig / HIVE / HBASE）； 這將根據條件輸入數據嗎？ 稍后，我們可能要運行帶有復雜邏輯的MapReduce作業。
請協助
2 個解決方案
解決方案1
0 2015-07-15 15:31:58
任何你想的地點都可以。 Pig沒有選項，因為它沒有Metastore。 如果需要SQL Like查詢，請配置。 HBase基於您的訪問模式。
當您在數據之上運行Hive查詢時，它將轉換為MR。
在Hive中創建它時，請使用Hive查詢而不是MR。 如果您正在使用MR，請使用Pig。 在數據之上創建Hive表將無濟於事。
解決方案2
0 已采納 2015-07-16 10:43:37
Hive:如果您有OLAP類型的工作量，並且不需要實時讀取/寫入。
HBase:如果您有OLTP類的工作負載。 您需要進行實時/流式讀/寫。 使用MapReduce可以完成一些批處理或OLAP處理。 使用Apache Phoenix可以進行類似SQL的查詢。
您可以在HIVE和HBase上同時運行MapReduce作業。
創建托管表不指定LOCATION時，表數據的數據位置在哪里？
[英]Where is the data location of table data when I create a managed table without specifying LOCATION?
將數據從臨時表移至登台表時，獲取GC開銷限制超出錯誤
[英]Getting GC overhead limit exceeded error while moving data from temp table to staging table
當我們創建沒有位置屬性的配置單元外部表時，將在哪里存儲數據
[英]where data will be stored when we create hive external table without location properties
使用Hive進行表數據從一個Hadoop環境到另一個Hadoop環境的傳輸並使用oozie進行調度
[英]Table data transfer from one Hadoop environment to another Hadoop environment using Hive and schedule it using oozie
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.