多個mysql表中的數據到hadoop map-reduce

Question

我們有以下情形：

我們有一系列用Java實現的map-reduce processes 。當前我們正在從mysql表讀取數據並將輸出保存到另一個mysql table 。現在我們可能需要來自另一個表的數據作為map / reduce進程的輸入。

可能的解決方案：

a）我們可以有一個聯接查詢以輸入到映射過程，或者

b）我們可以通過建立簡單的jdbc connection並一次又一次地請求數據來讀取所需的數據（盡管我不喜歡它）。

問題：

在這種情況下的最佳做法是什么？ 我們mongoDB可能會遷移到mongoDB 。在這種情況下，最佳做法是什么？

Answer 1

我認為目前不可能。

Answer 2

可以使用SQOOP和HIVE 。

您可以使用SQOOP將數據從mysql表傳輸到HDFS，然后傳輸到HIVE 。 從HIVE（操作后），您可以將表導出回Mysql。

范例：

• 首先下載mysql-connector-java-5.0.8並將jar放到Sqoop的lib和bin文件夾中
• 在Hive中創建表定義，並使用與mysql中相同的字段名稱和類型

sqoop import --verbose --fields-terminate-by'，'--connect jdbc：mysql：// localhost / test --table employee --hive-import --warehouse-dir / user / hive / warehouse --fields -以'，'結尾-以id為分隔-hive-table員工

請點擊此鏈接以供參考