从云数据融合管道连接到谷歌云 sql 用于 postgres 的问题

Question

背景：我们在连接到 postgres cloudsql 的数据融合实例（版本 6.4.1 并在 dataproc 集群上运行）中有工作管道。 在这种情况下一切正常。

问题：我们在新创建的 dataproc 集群上创建了一个新的数据融合实例（版本 6.7.1）。 我们安装了必要的工件（CloudSQL PostgreSQL JDBC Driver, CloudSQL PostgreSQL Plugins），并在命名空间管理页面添加数据库连接（CDF GUI）并成功测试连接。） 但是当部署管道（使用与连接中使用的相同的凭据）并运行它时，我们会遇到以下错误：

Exception while trying to validate schema of database table "<table_name>" for connection jdbc:postgresql:///<db_name>?cloudSqlInstance=<cloud-sql-instance-name>&socketFactory=com.google.cloud.sql.postgres.SocketFactory.

这是来自原始日志的错误：

PSQLException : “Connection to :5432 refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections.”

旧的（6.4.1）和新的（6.7.1）DF实例几乎相同（使用相同的服务帐户，dataproc服务帐户，指向相同的云sql实例）

任何建议表示赞赏

Answer 1

也许值得检查一些事情

1. 检查是否已将自定义端口配置为访问 CloudSql Postgres，即它可能不是默认的 5432
2. 看起来您正在使用 static 数据处理集群。 可能值得用早期的 dataproc 集群测试新的 6.7.1 实例。 创建指向早期 static dataproc 集群的计算配置文件。 如果它有效，那么显然问题出在新 dataproc 集群的配置上。

对于新集群的设置，请确保遵循https://datafusion.atlassian.net/wiki/spaces/KB/pages/32276578/Configurations+for+a+static+Dataproc+cluster