REST API與Squoop
[英]Rest api vs sqoop
問題描述
我試圖將數據從mysql導入到hdfs 。 我可以用sqoop做到這一點，但這也可以通過從api獲取數據來完成。
我的問題是關於何時使用rest api將數據加載到hdfs中而不是sqoop ？
請說明一些用例的區別！
2 個解決方案
解決方案1
0 2018-09-04 16:19:33
Sqoop （SQL <=> Hadoop）基本上用於將數據從RDBMS加載到HDFS 。
它是與數據庫的直接連接，如果未正確定義用戶從sqoop訪問db的特權，則可以使用sqoop eval命令在其中添加/修改/刪除表中的數據。
但是使用Rest Web服務api，我們可以從通過代碼內部連接的各種數據庫（ 可以是NoSQL或RDBMS兩者 ）中獲取數據。
考慮您正在使用curl命令調用getUsersData寧靜的Web服務，該命令專門設計用於提供用戶數據，並且不允許附加/修改/更新db的任何組件，而與數據庫無關（RDBMS / NoSQL）
解決方案2
0 2018-09-05 03:02:12
您可以使用Sqoop將數據從Mysql提取到Hbase中，然后將REST API放在Hbase之上（在Hadoop上）……與通過Mysql的REST API沒什么不同。
基本上，您是在比較兩個不同的東西。 Hadoop並不是要取代傳統的數據庫或N層面向用戶的應用程序，它只是一個分布更廣，容錯能力強的地方，用於存儲大量數據。
通常，您通常不使用REST API與數據庫進行通信，然后將這些值放入Hadoop，因為它將不會被分發，並且所有數據庫結果都將通過單個過程進行處理
Sqoop2 Rest API鏈接創建
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.