将 AWS Redshift 上的 Azure Databricks Spark 集群列入白名单

Question

嗨，我不确定以前是否有人遇到过这种情况。 我有 Azure 和 AWS 环境。 我有一个 Spark 集群在 Azure Databricks 上运行。 我有一个要在 Azure Databricks Spark 集群上运行的 python/pyspark 脚本。 在这个脚本中，我想将一些数据写入我计划使用 psycopg2 库的 AWS Redshift 集群。 我在哪里可以找到Azure Databricks Spark集群的IP地址，以便我可以将它列入AWS Redshift集群的安全组。 我认为目前我无法写入 AWS Redshift 集群，因为该脚本在 Azure Databricks Spark 集群上运行，并且 AWS Redshift 集群无法识别来自 Azure Databricks Spark 集群的此请求。

Answer 1

我有类似的用例从 Azure Databricks 连接到 AWS RDS。 需要将连接到 RDS 的 AWS 安全组中的 Azure Databricks IP 列入白名单。 Databricks 将集群与动态 Ip 相关联，因此每次重新启动集群时它都会更改。

我正在尝试获得此解决方案

1. 在 Azure 门户中创建公共 IP 地址
2. 将公共 IP 地址关联到虚拟机

https://docs.microsoft.com/en-us/azure/virtual-network/associate-public-ip-address-vm#azure-portal

当前出现错误，我无权更新与 VNet 关联的数据块。

这是我能想到的最简单的解决方案。 如果这不起作用，下一个选项是尝试站点到站点连接以在 Azure 和 AWS 之间建立隧道。 这将允许授权所有动态 IP 在 AWS 上进行读写操作。