您可以轻松地将AWS RDS Postgres日志发送到AWS Hadoop集群吗？

Question

特别是，我想将Postgres日志中的所有INSERT，UPDATE和DELETE语句推送到AWS Hadoop集群，并提供一种很好的搜索方式来查看一行或多行的历史记录。

我无论如何都不是Hadoop专家，所以让我知道这是不是一个红鲱鱼。

谢谢！

Answer 1

使用flume将日志从RDS实例发送到Hadoop集群。 使用flume，您可以使用正则表达式拦截器来过滤事件，并仅发送INSERT，UPDATE和DELETE语句。 Hadoop无法使您的数据可搜索，因此您必须使用诸如Solr之类的东西。

您可以先将数据获取到Hadoop，然后运行一堆MapReduce作业以将数据插入Solr。 或者，您可以直接配置水槽将数据写入Solr，请参见下面的链接。

链接：

1. 使用水槽水槽
2. Flume Regex过滤拦截器

编辑：

似乎RDS实例没有SSH访问权限，这意味着您不能在RDS实例本身上本地运行flume，但必须定期将RDS实例的日志手动获取到计算机（这可能是EC2实例），已配置水槽。