使用 Databricks (JDBC) 将（本地）SQL 数据迁移到 Azure

Question

是否可以使用 JDBC 连接器https://docs.databricks.com/data/data-sources/sql-databases.html从本地 SQL 服务器获取数据。 （并将其导出到三角洲湖）

使用：

jdbcUrl = "jdbc:mysql://{0}:{1}/{2}".format(jdbcHostname, jdbcPort, jdbcDatabase)
connectionProperties = {
  "user" : jdbcUsername,
  "password" : jdbcPassword,
  "driver" : "com.mysql.jdbc.Driver"
}

Answer 1

无论您使用的是 MySql 还是 SQL Server，Databricks 驱动程序都支持您链接的文章中概述的两者。 从访问本地的角度来看 - 答案是肯定的，但是 Databricks 必须能够连接到它。 通常这意味着将 Databricks 集群部署到可以访问本地资源的 VNET 中，例如遵循此处的指南

或者，您可以使用 Azure 数据工厂自承载集成运行时将数据移动到云中的暂存/“青铜”存储，并使用 Databricks 任务将其提取以将其移动到增量表。