将Hadoop MapReduce作业中的数据写入MySQL

Question

我一直在使用MapReduce解析日志文件，但是它总是输出一个名为“ part-00000”的文本文件来存储我的结果，然后我必须手动将part--00000导入到mysql中。

有没有一种简单的方法可以将MapReduce结果直接存储在MySQL中？ 例如，如何将经典的“字数统计” MapReduce程序的结果直接存储在MySQL中？

我正在使用Hadoop 1.2.1，以及mapred库（即org.apache.hadoop.mapred.*而不是org.apache.hadoop.mapreduce.* ，据我所知，这两者是不兼容的。 ）我无权访问Sqoop。

Answer 1

通过使用DBOutputFormat，我们可以将MapReduce输出写入直接数据库。

这是一些示例 ，请仔细阅读。

我个人建议Sqoop进行数据导入（从DB到HDFS）和导出（从hdfs到DB）。