Sqoop-將所有表從mysql導入到配置單元

Question

我的mysql數據庫中有三個表：

具有兩個parent_table表的parent_table ： foo ， bar ，其中parent_table具有許多foo和bar以及foo ， bar屬於parent_table 。

如何使用sqoop或另一種方法將這些表導入要查詢的配置單元中。

Answer 1

這是示例：

sqoop import-all-tables \
  --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \
  --username=retail_dba \
  --password=cloudera \
  --warehouse-dir=/user/hive/warehouse/retail_stage.db

--connect子句中的retail_db是mysql數據庫–username子句中的mysql_retail_dba是有權訪問retail_db下的表的mysql用戶–password子句中的mysqldatabase cloudera是mysql用戶的密碼retail_dba /user/hive/warehouse/retail_stage.db --warehouse-dir中的hadoop目錄（在本例中為hive數據庫，可以有任何有效的hadoop目錄）。 上面的腳本將在/user/hive/warehouse/retail_stage.db下為每個mysql表創建目錄。

您可以像在Cloudera Quickstart VM中一樣運行此腳本。

Answer 2

您可以先閱讀《 Sqoop用戶指南》 ，其中介紹了如何使用Sqoop或更多面向用例的書Apache Sqoop Cookbook 。 兩種資源都應該能夠幫助您了解這種情況下需要做什么。