Azure 数据块外部 hive 元存储创建

Question

我正在 azure 数据块中为 azure sql 创建一个元存储。我已经使用 7.3 运行时向集群配置提供了以下命令。 如文档https://docs.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore#spark-options中所述

spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver
spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://xxx.database.windows.net:1433;database=hivemetastore
spark.hadoop.javax.jdo.option.ConnectionUserName xxxx
datanucleus.fixedDatastore false
spark.hadoop.javax.jdo.option.ConnectionPassword xxxx
datanucleus.autoCreateSchema true
spark.sql.hive.metastore.jars builtin
spark.sql.hive.metastore.version 1.2.1
hive.metastore.schema.verification.record.version false 
hive.metastore.schema.verification false

--

在此之后，当我尝试创建数据库元存储时，我将自动取消。 我在数据块中的数据部分出现错误，我也无法复制。

集群设置

命令

Answer 1

您是否使用 azure 门户中的完整连接字符串：

spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://server-name.database.windows.net:1433;database=db-name;user=username@servername;password={your_password_here};encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;

另外，由于您提到使用 7.3 运行时。 希望你已经遵循了这一点。

笔记

Hive 1.2.0 和 1.2.1 不是 Databricks Runtime 7.0 及更高版本上的内置元存储。 如果您想将 Hive 1.2.0 或 1.2.1 与 Databricks Runtime 7.0 及更高版本一起使用，请按照下载元存储 jars 中描述的过程并指向它们。