简体   繁体   English

Azure 数据块外部 hive 元存储创建

[英]Azure data bricks external hive metastore creation

I am creating a metastore in azure databricks for azure sql.I have given below commands to cluster config using 7.3 runtime.我正在 azure 数据块中为 azure sql 创建一个元存储。我已经使用 7.3 运行时向集群配置提供了以下命令。 As mentioned in the documentation https://docs.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore#spark-options如文档https://docs.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore#spark-options中所述

spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver
spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://xxx.database.windows.net:1433;database=hivemetastore
spark.hadoop.javax.jdo.option.ConnectionUserName xxxx
datanucleus.fixedDatastore false
spark.hadoop.javax.jdo.option.ConnectionPassword xxxx
datanucleus.autoCreateSchema true
spark.sql.hive.metastore.jars builtin
spark.sql.hive.metastore.version 1.2.1
hive.metastore.schema.verification.record.version false 
hive.metastore.schema.verification false

-- --

After this when I tried to create database metastore I will get cancelled automatically.在此之后,当我尝试创建数据库元存储时,我将自动取消。 Error I am getting in Data section in databricks which I am not able to copy also.我在数据块中的数据部分出现错误,我也无法复制。

在此处输入图像描述

Cluster setting集群设置在此处输入图像描述

Command命令

在此处输入图像描述

Are you using the complete connection string found in azure portal:您是否使用 azure 门户中的完整连接字符串:

spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://server-name.database.windows.net:1433;database=db-name;user=username@servername;password={your_password_here};encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;

Also, since you mention of using 7.3 runtime.另外,由于您提到使用 7.3 运行时。 Hope you have followed this.希望你已经遵循了这一点。

Note 笔记

Hive 1.2.0 and 1.2.1 are not the built-in metastore on Databricks Runtime 7.0 and above. Hive 1.2.0 和 1.2.1 不是 Databricks Runtime 7.0 及更高版本上的内置元存储。 If you want to use Hive 1.2.0 or 1.2.1 with Databricks Runtime 7.0 and above, follow the procedure described in Download the metastore jars and point to them .如果您想将 Hive 1.2.0 或 1.2.1 与 Databricks Runtime 7.0 及更高版本一起使用,请按照下载元存储 jars 中描述的过程并指向它们

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM