Apache Flume中是否有本地SQL源？

Question

我需要创建一个简单的数据仓库。 数据仓库的数据源是异构的，因此我正在尝试使用Apache Flume之类的框架进行数据收集。 我浏览了文档，但没有找到有关SQL的任何信息。 （ http://flume.apache.org/FlumeDeveloperGuide.html和http://flume.apache.org/FlumeUserGuide.html#flume-sources ）

问题：是否有（本机）将Apache Flume源连接到SQL Server的可能性？

Answer 1

查看这个项目flume-ng-sql-source 。 这里也有一些例子。

1. http://www.toadworld.com/platforms/oracle/w/wiki/11093.streaming-oracle-database-logs-to-hdfs-with-flume

2. http://www.toadworld.com/platforms/oracle/w/wiki/11100.streaming-mysql-table-data-to-oracle-nosql-database-with-flume

Answer 2

Apache Flume旨在收集，聚合日志数据并将其移动到HDFS。

如果您正在考虑从SQL数据库中移动大量数据，请查看Apache Sqoop： http ://sqoop.apache.org/