繁体   English   中英

hdfs和hive有何关系?

[英]how hdfs and hive are related?

我有psudeo分布式hadoop环境,并使用sqoop和hive进行数据导入和分析。

我使用了sqoop从mysql到hive导入数据,它起作用了,我在hive的位置( /user/hive/warehouse/获得了数据,并且我能够在hive表中看到数据。

我的怀疑是:

  1. 当我从mysql导入到hive(在hadoop之上构建)时,数据将存储在hadoop中吗?
  2. 为什么要在我的hdfs中创建/user/hive/warehouse
  3. 蜂巢将如何在数据之上工作?
  4. 如果我在mysql中更新数据,则可以使用sqoop增量导入来更新hdfs中的数据,但是如果我直接使用hive导入,它将在hive表中反映而不在hdfs中反映,我的理解正确吗?

使用sqoop和hdfs概念执行数据提取时,我感到困惑

有人可以帮我吗?

答案

1-数据仅存储在HDFS中。

2- hive-default.xml值处的属性“ hive.metastore.warehouse.dir”告诉数据将存储在哪里,默认值为“ / user / hive / warehouse”

3-在MapReduse作业上转换用户查询的更多详细信息

4-您可以使用SQOOP进行增量数据加载,并且所有数据都将存储在HDFS上,如果在其上创建了表,它将反映出来。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM