Spring Cloud DataFlow 在 AWS S3 存储桶源中的新文件后使用启动任务

Question

我正在尝试创建由 AWS S3 中的新文件启动的批处理。

所以流程是：

1 - A new file is uploaded to AWS S3 Bucket
2 - SCDF detects
3 - SCDF launch the task (Spring Batch application)
4 - Spring Batch application process the file and stores in a DB.

与此类似，但使用 S3 存储桶： https://dataflow.spring.io/docs/recipes/batch/sftp-to-jdbc/

也许是对这个概念的误解，但在 SFTP 源中我可以设置端口、主机、用户和密码，但在 S3 源中我没有区域和凭据属性。

我在哪里设置 AWS 属性？

Answer 1

自述文件中有一个Amazon AWS common options部分（请参阅： old-app / new-app ），其中包括可以覆盖的常见 AWS 特定属性。

您可以在 stream 定义中或在部署 stream 时按照部署程序属性约定将它们作为内联属性传递。

Answer 2

我在此处提供了此用例的详细示例（使用 Minio S3）。 这适用于最新版本的 stream 应用程序，开箱即用，但如果您使用以前的版本，则需要进行一些自定义。