私有雲數據融合可以連接到互聯網嗎？

Question

我們的應用程序由一個通過“cloud run”部署的spring-bot應用服務器和一個“cloud sql postgres”數據庫組成。

該數據庫是私有的，並連接到私有 VPC 。
應用服務器可以通過“雲運行”配置提供的此私有 VPC 的網關連接到數據庫。

我們希望定期向這個數據庫提供“雲數據融合”（CDF）。 CDF 應該從 AWS S3 獲取數據並將其推送到我們的數據庫中。

我們為此目的設計並驗證了一個管道，但我們正面臨一個網絡悖論：

• CDF 是公共的，可以通過 Internet 從 S3 讀取，但無法訪問雲數據庫
• 或者 CDF 是私有的，可以訪問我們的數據庫，但無法訪問 Internet 進行 S3 獲取...

CDF 如何既可以寫入私有數據庫又可以從 Internet讀取數據？
我很驚訝 CDF 實例，即使是私有的，也無法建立與 Internet 資源的 EGRES 連接。

Answer 1

Cloud Data fusion 是一個幫助您構建管道的工具（基於CDAP ）。 如果您將 Data Fusion 設置為私有，則對工具的訪問是私有的，而不是運行時，在 Google Cloud 上，管道在Dataproc cluster上運行。

所以現在的問題是：您的 Dataproc 集群能否訪問互聯網和您的數據庫？

1. 如果您的集群與您的雲在同一 VPC 中運行 SQL 數據庫私有 IP 連接，並且沒有阻止通信的防火牆規則，則可以
2. 如果組成集群的 Compute Engine 具有公共 IP，沒問題，您可以訪問公共 URL。 否則，正如 John Hanley 所說，您可以創建一個 Cloud NAT 以允許您的 Compute Engine 發起對外部 URL 的調用。