多个mysql表中的数据到hadoop map-reduce

Question

我们有以下情形：

我们有一系列用Java实现的map-reduce processes 。当前我们正在从mysql表读取数据并将输出保存到另一个mysql table 。现在我们可能需要来自另一个表的数据作为map / reduce进程的输入。

可能的解决方案：

a）我们可以有一个联接查询以输入到映射过程，或者

b）我们可以通过建立简单的jdbc connection并一次又一次地请求数据来读取所需的数据（尽管我不喜欢它）。

问题：

在这种情况下的最佳做法是什么？ 我们mongoDB可能会迁移到mongoDB 。在这种情况下，最佳做法是什么？

Answer 1

我认为目前不可能。

Answer 2

可以使用SQOOP和HIVE 。

您可以使用SQOOP将数据从mysql表传输到HDFS，然后传输到HIVE 。 从HIVE（操作后），您可以将表导出回Mysql。

范例：

• 首先下载mysql-connector-java-5.0.8并将jar放到Sqoop的lib和bin文件夹中
• 在Hive中创建表定义，并使用与mysql中相同的字段名称和类型

sqoop import --verbose --fields-terminate-by'，'--connect jdbc：mysql：// localhost / test --table employee --hive-import --warehouse-dir / user / hive / warehouse --fields -以'，'结尾-以id为分隔-hive-table员工

请点击此链接以供参考