在 AWS Kinesis 上從外部 API 推送數據

Question

我是 AWS 生態系統的新手。 我正在構建一個（近乎）實時系統，其中數據來自外部 API。 API 每 10 秒更新一次，所以我想在新數據出現后立即使用和填充我的 Kinesis 管道。 但是，我不確定使用哪種工具。 我做了一個小的研究，我認為，我有兩個選擇：

• AWS lambda 每 10 秒觸發一次，並將數據放在 Kinesis 上
• AWS StepFunction

給定用例的標准方法是什么？

Answer 1

AWS Step 函數由 Lambda 函數創建。 也就是說，工作流中的每一步實際上都是一個 Lambda function。 您可以將 AWS Step Functions 創建的工作流視為 Lambda 函數鏈。

如果您不熟悉如何創建工作流程，請參閱此 AWS 教程：

使用適用於 Java 的 AWS SDK 創建 AWS 無服務器工作流

（您可以使用任何支持的編程語言創建 Lambda function。這個恰好使用 Java）。

現在，要回答您的問題，可以使用工作流填充 Kinesis 數據 stream。 You can build a Lambda function that gathers data (using logic in your Lambda function), and then invoke the putRecord operation of Kinesis to populate the data stream. 您可以創建一個基於 CRON 表達式每 x 分鍾觸發一次的計划事件。

如果您確實使用 CRON 表達式，則可以使用 AWS Step Functions API 來啟動工作流。 也就是說，創建另一個 Lambda function 計划每 10 分鍾觸發一次。 然后在此 Lambda 函數中，使用 Step Functions API 調用工作流。 現在，工作流可以使用數據填充 Kinesis 數據 stream。