私有云数据融合可以连接到互联网吗？

Question

我们的应用程序由一个通过“cloud run”部署的spring-bot应用服务器和一个“cloud sql postgres”数据库组成。

该数据库是私有的，并连接到私有 VPC 。
应用服务器可以通过“云运行”配置提供的此私有 VPC 的网关连接到数据库。

我们希望定期向这个数据库提供“云数据融合”（CDF）。 CDF 应该从 AWS S3 获取数据并将其推送到我们的数据库中。

我们为此目的设计并验证了一个管道，但我们正面临一个网络悖论：

• CDF 是公共的，可以通过 Internet 从 S3 读取，但无法访问云数据库
• 或者 CDF 是私有的，可以访问我们的数据库，但无法访问 Internet 进行 S3 获取...

CDF 如何既可以写入私有数据库又可以从 Internet读取数据？
我很惊讶 CDF 实例，即使是私有的，也无法建立与 Internet 资源的 EGRES 连接。

Answer 1

Cloud Data fusion 是一个帮助您构建管道的工具（基于CDAP ）。 如果您将 Data Fusion 设置为私有，则对工具的访问是私有的，而不是运行时，在 Google Cloud 上，管道在Dataproc cluster上运行。

所以现在的问题是：您的 Dataproc 集群能否访问互联网和您的数据库？

1. 如果您的集群与您的云在同一 VPC 中运行 SQL 数据库私有 IP 连接，并且没有阻止通信的防火墙规则，则可以
2. 如果组成集群的 Compute Engine 具有公共 IP，没问题，您可以访问公共 URL。 否则，正如 John Hanley 所说，您可以创建一个 Cloud NAT 以允许您的 Compute Engine 发起对外部 URL 的调用。