REST API与Squoop
[英]Rest api vs sqoop
问题描述
我试图将数据从mysql导入到hdfs 。 我可以用sqoop做到这一点，但这也可以通过从api获取数据来完成。
我的问题是关于何时使用rest api将数据加载到hdfs中而不是sqoop ？
请说明一些用例的区别！
2 个解决方案
解决方案1
0 2018-09-04 16:19:33
Sqoop （SQL <=> Hadoop）基本上用于将数据从RDBMS加载到HDFS 。
它是与数据库的直接连接，如果未正确定义用户从sqoop访问db的特权，则可以使用sqoop eval命令在其中添加/修改/删除表中的数据。
但是使用Rest Web服务api，我们可以从通过代码内部连接的各种数据库（ 可以是NoSQL或RDBMS两者 ）中获取数据。
考虑您正在使用curl命令调用getUsersData宁静的Web服务，该命令专门设计用于提供用户数据，并且不允许附加/修改/更新db的任何组件，而与数据库无关（RDBMS / NoSQL）
解决方案2
0 2018-09-05 03:02:12
您可以使用Sqoop将数据从Mysql提取到Hbase中，然后将REST API放在Hbase之上（在Hadoop上）……与通过Mysql的REST API没什么不同。
基本上，您是在比较两个不同的东西。 Hadoop并不是要取代传统的数据库或N层面向用户的应用程序，它只是一个分布更广，容错能力强的地方，用于存储大量数据。
通常，您通常不使用REST API与数据库进行通信，然后将这些值放入Hadoop，因为它将不会被分发，并且所有数据库结果都将通过单个过程进行处理
Sqoop2 Rest API链接创建
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.