如何将数据提取到 AWS S3

Question

我正在开展一个项目，通过从我们的企业数据管理平台 (Foundry Palantir) 提取数据来自动化我们的仪表板刷新。

我们的工作流程是：第三方工具的数据 -> AWS S3 -> Foundry Palantir -> PowerBI 抓取数据构建仪表盘。

我们的分析师目前每天从第三方工具的网站手动下载 csv 次导出，以刷新仪表板。

我要解决的问题是将我们第三方应用程序的数据提取到 AWS S3 中，然后再提取到我们的数据平台中。

我从哪里开始？

我想需要构建一个 ETL。 这个第三方工具有 REST API 参考： https://developers.arcgis.com/survey123/api-reference/rest/encode-url-params/

Answer 1

S3 是一个存储层，您不需要它在 Foundry 之上进行分析，因为您可以使用外部转换将数据直接导入到 Foundry。