如何从 Azure Databricks 访问本地 Teradata

Question

我们需要从 Azure Databricks 连接到本地 Teradata。

这可能吗？

如果是，请告诉我如何。

Answer 1

我也在寻找这些信息，最近我能够从 Databricks 访问我们的 Teradata 实例。 这是我能够做到的。

第 1 步。检查您的云连接。
%sh nc -vz 'jdbcHostname' 'jdbcPort'
- 'jdbcHostName' 是您的 Teradata 服务器。
- 'jdbcPort' 是您的 Teradata 服务器侦听端口。 默认情况下，Teradata 侦听 TCP 端口 1025

另请查看Databrick 关于连接到另一个基础设施的最佳实践。

步骤 2. 安装 Teradata JDBC 驱动程序。
Teradata 下载页面按版本和存档类型提供 JDBC 个驱动程序。 您还可以查看Teradata JDBC Driver Supported Platforms页面以确保您选择了正确版本的驱动程序。

Databricks 提供了多种方式来安装 JDBC 库 JAR 用于 Databricks 中没有驱动程序的数据库。 请参阅Databricks 库以了解更多信息并选择适合您的库。 安装后，您应该会在“库”选项卡下的“集群详细信息”页面中看到它。

Terajdbc4.jar dbfs:/workspace/libs/terajdbc4.jar

第 3 步。从 Databricks 连接到 Teradata。
您可以定义一些变量，让我们以编程方式创建这些连接。 由于我的实例需要 LDAP，我在 URL 中添加了 LOGMECH=LDAP。如果没有 LOGMECH=LDAP，它会返回“用户名或密码无效”错误消息。
（将斜体文本替换为您环境中的值） driver = “com.teradata.jdbc.TeraDriver”
url = “jdbc:teradata://Teradata_database_server/Database=Teradata_database_name,LOGMECH=LDAP”
表 = “Teradata_schema.Teradata.tablename_or_viewname”
user = “你的用户名”
密码 = “你的密码”

现在指定了连接变量，您可以创建一个 DataFrame。您还可以将其显式设置为特定模式（如果已有模式）。 更多信息请参考Spark SQL 指南。

现在，让我们在 Python 中创建一个 DataFrame。

My_remote_table = spark.read.format(“jdbc”)\
.option(“driver”, driver)\
.option(“url”, url)\
.option(“dbtable”, table)\
.option(“user”, user)\
.option(“password”, password)\
.load()

现在创建了DataFrame，可以查询了。 例如，您可以将某些特定列 select 转换为 select 并在 Databricks 中显示。

display(My_remote_table.select(“EXAMPLE_COLUMN”))

步骤 4. 创建临时视图或永久表。

My_remote_table.createOrReplaceTempView(“YOUR_TEMP_VIEW_NAME”)
or
My_remote_table.write.format(“parquet”).saveAsTable(“MY_PERMANENT_TABLE_NAME”)

如果打算简单地从 Teradata 在 Databricks 中创建一个表，则也可以合并步骤 3 和 4。 查看 Databricks 文档 SQL Databases Using JDBC 了解其他选项。

这是我发表的有关该主题的文章的链接。
从 Databricks 访问 Teradata 以在数据科学和分析项目中进行快速实验

Answer 2

如果您创建了一个可以连接到本地的虚拟网络，那么您可以将您的 databricks 实例部署到该 vnet 中。 请参阅https://docs.azuredatabricks.net/administration-guide/cloud-configurations/azure/vnet-inject.html 。

我假设 terradata 有一个火花连接器。 我自己没有使用过，但我确定存在一个。

Answer 3

你不能。 如果你运行Azure Databricks，所有的数据都需要存储在Azure中。但是你可以使用REST API从Teradata中调用数据，然后将数据保存在Azure中。