对于 blob 存储上的以下文件夹结构，我有 Azure 个增量表。 我想为单个数据库下的所有上述表创建 Hive Metastore 表链接所以我使用以下命令创建了数据库 我目前正在使用以下命令链接表 Tablename = [dynamically generates the tablename ...
我初始化了 hive 并且它起作用了，后来我给出了 SHOW DATABASES 命令，但是我得到了以下错误。 我使用 mysql 作为元数据。 ...
我无法找到以下错误的原因，因为它指向 hive-site.xml 到目前为止我配置的是完全正确的。 仅供参考，我将 hadoop 3.1.1 和 hive 3.1.1 和 mysql 用于 hive 元存储。 下面给出的是 hive-site.xml 文件，我在其中进行了所需的更改。 hive-s ...
我计划在 Hadoop 3.1.1 多节点集群之上安装 Hive。 这种情况下支持哪个Hive版本？ ...
我正在使用dbx在 Databricks 上的临时集群上部署和启动作业。 我已经初始化了cicd-sample-project并连接到一个新的空 Databricks 免费试用环境并且一切正常（这意味着我可以使用此命令成功部署 python 包python -m dbx deploy cicd-s ...
我在 Trino 设置中有一个 HIVE 连接器..文件在 S3 中，我可以开始创建表来查询数据..但是我收到一个错误..我怀疑它可能是压缩方法..是我的TABLE创建步骤看起来还行。。 这是我用来创建表格的行 当我在 pycharm 中使用查看器时，这些文件可以在本地工作，所以……我猜我的 TR ...
我已经设置了 Hive MetaStore，最终目标是将它与 TRINO 连接，这样我就可以在 S3 中查询我的镶木地板文件了。我现在在trino CLI 中，可以看到我的hive.<schema_name> ...现在想要创建一个简单的表，所以我可以查询..但遇到异常 我确实手动测试 ...
我正在尝试为我的 azure 突触火花池配置一个外部 hive 元存储。 使用外部元存储的理由是跨数据块和突触工作区共享表定义。 但是，我想知道是否可以通过元存储访问后端数据。 例如，像 PowerBI、tableau 这样的客户端是否可以连接到外部元存储并不仅检索元数据，还检索基础表中的业务数据？ ...
我正在运行一些 pyspark 工作流程。 当他们完成后，我调用 sc.stop() 并在日志中看到打印了以下内容： 但是，当我运行 sparkctl list 时，我仍然看到 sparkApplication 为“正在运行”，并且它永远不会变成“已完成” 我已经追踪到这与我使用 hive 元存储 ...
我是 Hive 的新手。 我使用 Oracle DB 作为元存储。 在此之前一切都运行良好。 每当我现在运行这个命令hive --service metastore我得到这个错误 我在这里检查了类似的错误，我还没有看到解决这个问题的错误。 这是hive-site.xml的配置部分 谁有过这种经历？ ...
我为 dataproc 元存储创建了一项服务（与作曲家在同一个项目中）并尝试使用它而不是我的配置单元仓库。 我可以使用 gcloud 命令成功运行它，但是当我尝试使用任何气流操作符（如 DataprocClusterCreateOperator 或 DataprocCreateClusterOper ...
我有两个分桶表，它们分桶在同一个列名上。 spark executors 如何将具有相同 id 分布的文件挑选到同一台机器中？metastore 有什么帮助？ ...
一直在寻找 JSON 格式的集群配置以创建具有 Dataproc Metastore 服务和 Spark-BQ 依赖项 jars 的 dataproc 集群（GCE），找不到任何指定如何使用这些 JSON 配置的参考文档。 我查看了以下链接： https://airflow.apache.org/ ...
当我使用show create table mydb.mytable中显示的命令在 spark 中重新创建表时，我无法使用 Hive 中的表。 这只是发生在几个表上，我重新创建的其他表仍然可以从 hive 访问。 我正在将评论元数据添加到我的 spark 表中。 我通过重新创建一个加载的表来做到这 ...
并行运行 30 个查询（有时更少，10 个）时，我不断收到PAGE_TRANSPORT_ERROR ： 我之前得到了同样的错误，并且由于系统不足memory而导致节点崩溃jvm.maxHeapSize设置高和低memory保留在系统进程中。 解决方案是将jvm.maxHeapSize设置为小于工作 ...
我在 DBR 10.X 上的 azure sql 数据库中配置了 Hive 版本 2.3.0。 我可以在 dbo.TBLS 中看到所有增量表的条目，但是 [dbo].[COLUMNS_V2] 每个表只显示一个条目，如下所示。 CD_ID 评论 COLUMN_NAME TYPE_NAME INT ...
是否建议使用 spark._jsparkSession.catalog().tableExists() 检查 pyspark 中 databricks delta-table 的表是否存在于 spark 中。 问题出现是因为 _jsparkSession 是 pyspark 中的内部属性？ 用户不应 ...
我正在 azure 数据块中为 azure sql 创建一个元存储。我已经使用 7.3 运行时向集群配置提供了以下命令。 如文档https://docs.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metast ...
我是 Java 新手。 我想删除 hiveTable 中的分区。 我想使用 SparkSession.ExternalCatalog().listPartitions 和 SparkSession.ExternalCatalog().dropPartitions。 我在 scala 如何使用 Spa ...
在 HIVE 中，我们可以将不同的 RDBM 设置为元存储，并让 HIVE 将所有元数据存储在其中。 除此之外，通过 hiveserver2，我们可以让 HIVE 监听请求并提供服务。 同样，有很多文档说 Spark-SQL 也可以以类似的方式使用。 我们可以将 Oracle（示例）设置为 Spar ...