标签[hive]

Hive是建立在Hadoop之上的数据库,可简化数据汇总,即席查询以及对存储在Hadoop兼容分布式文件系统中的大型数据集的分析。 Hive提供了一种将结构投影到此数据上并使用类似于SQL的语言称为HiveQL查询数据的机制。

0
0回复
04

有没有办法将数据预加载到PowerBI报表服务器中的报表中?

我对 PowerBI 还很陌生,所以我会尽力解释: 我正在使用 PowerBI Desktop 设计仪表板。 我正在使用 ODBC 连接到 HIVE。 最终文件的重量略低于 1GB。 将 .pbix 文件加载到报表服务器没有任何问题。 但是,当我打开报告时,加载表格和报告本身大约需要 5 分钟。 因
0
0回复
07

HIVE上的Spark-SQL插件

HIVE 有一个 Metastore,HIVESERVER2 监听 SQL 请求; 在 Metastore 的帮助下,执行查询并将结果传回。 Thrift 框架实际上是定制为HIVESERVER2。 通过这种方式,HIVE 充当了一种服务。 通过编程语言,我们可以使用 HIVE 作为数据库。
0
0回复
05

针对Hive-JDBC依赖项的Mule4应用程序执行错误

我在执行过程中遇到以下错误。 原因:我刚刚为 DB 连接添加了 Hive-jdbc 依赖项。 此外,如果我删除此依赖项应用程序运行良好。 有人能帮忙吗 无法在 hive-db-poc 项目上执行目标 org.mule.tools.maven:mule-maven-plugin:3.3.5:proce
-1
0回复
27

由parquet制作的hive表时Sparksql发生错误

蜂巢表CREATE EXTERNAL TABLE db.test_table1 ( id STRING, result INT)PARTITIONED BY (dt STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '|'LINES TERMINAT
0
0回复
27

在合并查询中使用不匹配时,配置单元中的多个case语句

在 hive ACID 表中使用合并语句时,我想在不匹配 case 时有多个 case 语句。像这样
0
2回复
13

删除具有1个ID的多个DAT值的“全部”DAT值行,其中之一是“全部”

如何删除具有 1 个 ID 的多个 DAT 值的“全部”DAT 值行,其中之一是“全部”。 但是,如果 val 只有 'All' 作为 DAT 值,我们应该包括这些行: 样本输入: 示例输出: 任何帮助,将不胜感激。 提前致谢!
0
1回复
19

使用SparksaveAsTable+overwrite模式最大限度地减少hive表的停机时间

我正在尝试将 pyspark dataframewriter 的 saveAsTable 与覆盖模式一起用于 hive 全表刷新用例。 我想最大限度地减少我的 impala 用户的表可用性停机时间,我的 impala 用户可以查询旧数据,直到 spark 加载作业完成。 从我使用 spark 2.4
0
0回复
03

Hive错误无法实例化org.apache.hadoop.hive.ql.metadata.sessionhivemetastoreclient

我正在使用单节点集群,并且已经启动了 Hadoop 服务并启动了 Hive,但是当我尝试执行任何查询(如“show datases”或任何其他查询)时,出现如下错误: 无法实例化“org.apache.hadoop.hive.ql.metadata.sessionhivemetastoreclien
0
1回复
32

如何使用cli从hive表中获取最小和最大分区值?

我在配置单元中有各种表,最少 0 到最多 4 个分区列。 下面是几个分区范围从 0 到 4 的表的 HDFS 表示。 以下是我尝试过的。 正如我们在上面看到的,我得到以下格式的输出。 同样上面的方法我只在有 2 个分区的表上测试过,是否有任何通用的bash hack 给我以下格式,而不管有多少分区?
0
0回复
15

安装具有hive3.1.2的Spark

我有版本 3.1.2 的自定义 hive-metastore,我想用 Spark 运行它,但是 spark 中的 Hive jars 是 2.7 版本。 我们如何安装具有 hive 3.1.2 jars/兼容性的 Spark。 谢谢
0
0回复
03

FlywayHive架构历史记录表问题

我正在研究 Flyway Hive 架构存储集成。 Flyway 修复命令在历史表上运行删除和更新查询。 但是,Hive 外部架构历史记录表不支持它(除了 Hive ACID ORC 表)。 除了 Hive 之外,是否还支持存储历史表?
0
0回复
17

无法在spark中配置自定义hive-metastore-client

我们在使用 spark 和 hive 时面临一些挑战。 我们需要从 spark 连接到 hive-metastore,我们必须在 spark 中使用自定义的 hive-metastore-client。 代码片段: 上面的代码与内置的 hive-metastore-client 一起工作,但因自定义
-2
0回复
06

试图以正确的格式获得结果

我正在尝试以正确的格式获取输出。 我的查询如下: select icm.CLNT_NBR, case whn cm.CLNT_NBR is not null then 1 else 0 end as f_ultima from int_clnt_master icm left outer join
0
1回复
29

Hive过滤器并从字符串中提取数字[关闭]

关闭。 这个问题需要细节或清晰。 它目前不接受答案。 想改善这个问题吗? 通过编辑此帖子添加详细信息并澄清
0
0回复
21

在Databricks中执行“显示创建表”OpenCSVSerdeHive表时出错

我在 DDL 下面的 Databricks 中使用 OpenCSV Serde 创建了一个表:- 创建表没有任何问题,但在尝试运行以下命令时:- 我收到以下错误消息:- 请提出解决方案。 在 Databricks 版本 6.4、7.1 和 8.4 上进行了尝试。
0
0回复
15

无法从HiveMetaStoreClient检索现有数据库或表名

我有一些 Java 代码试图使用 Trino JDBC 连接器和org.apache.hadoop.hive.metastore.HiveMetaStoreClient对象将外部表写入 Hive 元存储。 此代码的调试输出如下: 您可以看到该table似乎在第一次尝试时成功创建 - 没有抛出异常,第
1
1回复
18

HiveSQL嵌套查询使用相似的列

我有一个查询,其中包含两个具有类似列“day”的子查询。 我想以下列方式显示值: 天 cnt1 cnt_total 但是在我的查询中,它不承认 day 列是相似的,并且将嵌套语句中的所有行乘以嵌套语句二中的所有行。 有没有办法让它认识到日列是相似的? 查询如下所示:
0
0回复
06

麒麟立方体没有显示任何数据

我创建了麒麟立方体,当它查询时它不显示任何数据。 我对数据仓库和 Apache Kylin 完全陌生。 接下来需要做什么?
1
1回复
21

是否有可能将不同的csv文件匹配到一个配置单元表中?

我有 53 个 csv 文件,每个文件都有不同的列名和内容。 我想将 csv 文件中的所有数据写入 Hive 中包含所有必要列的一个大表中。 因此,某些文件的列可能会留空。 这取决于 csv 文件。 不幸的是,我不知道如何处理这个问题。 是否有可能将 csv 文件中的列名匹配到 Hive 表? 我只
1
0回复
11

hadoop.tmp.dir在正确的位置不工作

在我的 core-site.xml 中,我更改了另一个大 HHD( /data/hadoop_tmp )中的hadoop.tmp.dir位置,这个 HHD 不是 linux /tmp 位置,然后格式化我的 namenode,启动我的 dfs 和 yarn,我相信有效。 但是默认位置出现在同一个文件夹

1 2 3 4 5 6 7 8 9 10 下一页