如何从Kinesis - > Redshift批量复制数据

Question

当我读到有关AWS数据管道的想法时，这个想法立刻就出现了 - 为kinesis生成统计数据并在管道中创建一个将消耗kinesis数据并将其复制到每小时红移的工作。 一气呵成。

但似乎管道中没有可以消耗运动的节点。 所以现在我有两个可能的行动计划：

1. 创建实例，其中Kinesis的数据将被消耗并以小时为单位发送到S3。 管道将从那里复制到Redshift。
2. 从Kinesis消费并当场直接生成COPY到Redshift。

我该怎么办？ 没有自定义代码，是否无法仅使用AWS服务将Kinesis连接到红移？

Answer 1

现在可以通过名为Kinesis Firehose的新托管服务在没有用户代码的情况下这样做。 它管理所需的缓冲间隔，临时上传到s3，上传到Redshift，错误处理和自动吞吐量管理。

Answer 2

这已经为你完成了！ 如果使用Kinesis Connector Library，则会有Redshift的内置连接器

https://github.com/awslabs/amazon-kinesis-connectors

根据逻辑，您必须处理连接器可以非常容易实现。

Answer 3

您可以使用InstantStack创建和编排完整的管道，以从Kinesis读取数据，转换它并将其推送到任何Redshift或S3。