如何将日期格式yyyyMMdd转换成Hive SQL并在where子句中自动查询

[英]How to convert date format yyyyMMdd in Hive SQL and automate the query inside the where clause

我想在自动化查询方面获得一些帮助。 目标是获取最新数据，数据每天都会刷新，但开始日期应保持不变。 例如：开始日期为 2023 年 1 月 1 日，但今天的结束日期应为 2023 年 1 月 13 日，第二天为 2023 年 1 月 14 日，但开始日期保持不变（2023 年 1 月 1 日）。 我已 ...

HIVE - 从字符串字段中省略完全括起来的 substring

[英]HIVE - Omitting exact bracketed substring from a string field

我有一个字符串字段，其中包含如下记录 “哈利·波特 (HP) (ab-cd)” “无名氏 (ab-cd)” “理查德·史密斯 (RS)” “威廉·约翰逊” 我想从所有记录中删除“(ab-cd)”部分，而不删除任何其他括号中的表达式。 结果应该是：“Harry Potter (HP)” “John ...

计算一天中非连续学生 ID 的唯一值

[英]Count Unique Values Throughout One Day For Nonconsecutive Student ID's

我想弄清楚如何在不计算重复实例的情况下计算学生在线的所有实例。 例如，在下面的屏幕截图中，我想看到一列仅计算学生登录的实例。因此，如果学生 A 在凌晨 5 点登录，则计数 = 1。学生 B 在 7 点登录，计数 = 2 . 在某个时候，学生 A 注销并在上午 8 点重新登录，计数应该是 2，而不是 ...

提取年初至今的数据并与去年同期进行比较

[英]Extracting year to date data and comparing with same time last year

我正在尝试提取截至当前日期与去年同期相比的交易数据。 请看代码： 我希望提取 2023-01-01 到当前日期的实例数据和 2022-01-01 到类似日期的数据，即 2023-01-01 -2023-01-05 和 2022-01-01 -2022- 01-05 无需手动输入日期范围，而是自动刷新 ...

覆盖外部 hive 表

[英]overwriting external hive tables

hive中的外部表无法删除。 那我们怎么覆盖呢？ 当我们不能删除它们时，是否可以覆盖 hive 表？ ...

显示数据库查询时面临 hive 查询错误 - 无法实例化

[英]facing hive query error on show databases query - Unable to instantiate

我初始化了 hive 并且它起作用了，后来我给出了 SHOW DATABASES 命令，但是我得到了以下错误。 我使用 mysql 作为元数据。 ...

HiveQL 查询中 WHERE 子句中的过滤条件无法正常工作

[英]Filter condition in WHERE clause in HiveQL query does not work properly

当我通过直线运行以下查询时，WHERE 子句中的过滤条件之一 ( array_item in (20, 30) ) 似乎无法正常工作。 Hive 版本： 2.1.1with sample as ( select 1 as col, array(10) a ...

我可以将已加载数据的非分区表更改为具有动态分区吗？

[英]Can i alter non-Partitioned table with already loaded data to have dynamic partitions?

我尝试使用 hive 命令 insert into table partitioned_table_name partition(partition_col) select * 来自非分区表； ...

无法通过 Hive Beeline 命令对 ORC 表的行数进行 select 计数

[英]Unable to select count of rows of an ORC table through Hive Beeline command

我正在使用以下组件 - Hadoop 3.1.4、Hive 3.1.3 和 Tez 0.9.2 还有一个 ORC 表，我试图从中提取表中的行数。 select count(*) from ORC_TABLE并且这会引发以下异常集 还有另一篇文章描述了同样的问题， ORC Split Generat ...

如何在Hive中提取一个JSON的值

[英]How to extract a JSON value in Hive

我有一个 JSON 字符串，它存储在数据库中与父 ID 对应的单个单元格中 现在我想使用上面的 JSON 从中提取 id。 假设我们有这样的数据 我希望 output 看起来像这样 现在，我尝试了几次迭代来解决这个问题第一种方法： 但这返回的id列具有 NULL 个值。 我在这里缺少什么吗？ 第二种 ...

Hive ParseException：无法识别“创建”“表”附近的输入

[英]Hive ParseException: cannot recognize input near 'create' 'table'

我正在尝试对表单进行蜂巢查询 我收到了错误 我该如何解决？ ...

如何在配置单元中将不确定的键连接在一起？

[英]How to concat uncertain keys together in hive?

得到这样的源数据。 而且所有的密钥都是不确定的。 我想concat(all_keys, ',') if value > 0.5 order by value desc 。 正确的结果是 'k2,k1' 我应该如何在蜂巢中做到这一点？ ...

在嵌套分区表的静态分区中添加动态分区？

[英]Add a dynamic partiton in in a static partition in a nested partition table?

我有一个包含嵌套分区的表，例如 - 国家1 运行日期 1 运行日期 2 国家2 运行日期 1 运行日期 2 我需要静态添加第一层（国家/地区）（因为它们位于不同位置）但希望动态添加第二层（运行日期）。 我在下面尝试过但它不起作用- ALTER TABLE <table_name> AD ...

Nifi 1.19.1 中缺少 Hive 处理器

[英]Missing Hive Processors In Nifi 1.19.1

我下载了最新的 Nifi 版本。 我能够将 nifi 连接到 oracle 数据库并且工作正常。 但是，我需要将 nifi 连接到配置单元，我的问题是我找不到任何与配置单元相关的处理器。 没有 SelectHiveQL 处理器，也没有 PutHiveQL 处理器或任何与 hive 相关的处理器。 甚 ...

从 Hive 的日期范围中选择日期（每个月的第一天）

[英]Selecting date(1st of every month) from a date range in Hive

需要生成从给定日期范围 hive（含范围）中选择的随机日期（每个月的第一天）。 例如，如果范围是 25/12/2021 - 01/06/2022，那么我想从这组日期中随机抽取 select {01/01/2022, 01/02/2022, 01/03/2022, 01/ 04/2022、01/05 ...

在 Hive 上创建视图时排除某些 S3 文件夹

[英]Exclude certain S3 folders while creating a view on Hive

我正在尝试通过排除 Hive 上 S3 内的某些文件夹来创建一个视图以从存储桶中获取数据。我能够在 Athena 上成功创建视图，但无法在 Hive 上执行相同操作。 雅典娜视图： 你能告诉我如何在 Hive 上实现同样的目标吗？ ...

为什么 Hive 查询分区信息（应该存储在 Metastore 中）需要这么长时间

[英]Why Hive query over partition info (supposed to be stored in metastore) takes so long time

我在 HDFS 中创建了一个外部表table1 ，其中包含string类型的单个分区列column1 ，我正在使用 Hive 从中获取数据。 以下查询按预期在 1 秒内完成，因为数据存在于 Hive 元存储本身中。 SHOW PARTITIONS table1; 上述命令的结果还确保所有分区都存在于 ...

在hive查询，一行Null COUNT

[英]At hive query, Null COUNT in one row

我需要有关 hql (hive sql) 的帮助例如，我有 hive 表，数据保存为 我需要在每一行中计算 Null。 例如，答案是 我尝试了 case when 和 sum(if..)，但表中的行太多。 所以我想查找查询.. 谢谢你。 ...

Hive Union Failed 由于 SemanticException 双方的 Schema 应该匹配

[英]Hive Union Failed due to SemanticException Schema of both sides of union should match

我有 2 个表，我想获取两个表的所有记录。 所以我的计划是做 Union 并加入两个表，但是当我尝试这样做时，我收到一条错误消息，“编译语句时出错：失败：联合双方的 SemanticException 模式应该匹配”。 这是我的两个表表Aid name Start_date bud ...

Apache Hive 命令

[英]Apache Hive command

我有这个问题：显示获得超过 10 枚金牌的国家的前 5 名比赛纪律。 我的代码是：select distinct t.discipline, m.team from teams t join medals m on (t.noc=m.team and m.numbergold>10) orde ...