cost 247 ms
如何将日期格式yyyyMMdd转换成Hive SQL并在where子句中自动查询 - How to convert date format yyyyMMdd in Hive SQL and automate the query inside the where clause

我想在自动化查询方面获得一些帮助。 目标是获取最新数据,数据每天都会刷新,但开始日期应保持不变。 例如:开始日期为 2023 年 1 月 1 日,但今天的结束日期应为 2023 年 1 月 13 日,第二天为 2023 年 1 月 14 日,但开始日期保持不变(2023 年 1 月 1 日)。 我已 ...

2023-01-13 22:49:39   1   43    sql / hiveql  
HIVE - 从字符串字段中省略完全括起来的 substring - HIVE - Omitting exact bracketed substring from a string field

我有一个字符串字段,其中包含如下记录 “哈利·波特 (HP) (ab-cd)” “无名氏 (ab-cd)” “理查德·史密斯 (RS)” “威廉·约翰逊” 我想从所有记录中删除“(ab-cd)”部分,而不删除任何其他括号中的表达式。 结果应该是:“Harry Potter (HP)” “John ...

2023-01-13 13:21:32   1   20    hive / hiveql  
计算一天中非连续学生 ID 的唯一值 - Count Unique Values Throughout One Day For Nonconsecutive Student ID's

我想弄清楚如何在不计算重复实例的情况下计算学生在线的所有实例。 例如,在下面的屏幕截图中,我想看到一列仅计算学生登录的实例。因此,如果学生 A 在凌晨 5 点登录,则计数 = 1。学生 B 在 7 点登录,计数 = 2 . 在某个时候,学生 A 注销并在上午 8 点重新登录,计数应该是 2,而不是 ...

提取年初至今的数据并与去年同期进行比较 - Extracting year to date data and comparing with same time last year

我正在尝试提取截至当前日期与去年同期相比的交易数据。 请看代码: 我希望提取 2023-01-01 到当前日期的实例数据和 2022-01-01 到类似日期的数据,即 2023-01-01 -2023-01-05 和 2022-01-01 -2022- 01-05 无需手动输入日期范围,而是自动刷新 ...

如何在Hive中提取一个JSON的值 - How to extract a JSON value in Hive

我有一个 JSON 字符串,它存储在数据库中与父 ID 对应的单个单元格中 现在我想使用上面的 JSON 从中提取 id。 假设我们有这样的数据 我希望 output 看起来像这样 现在,我尝试了几次迭代来解决这个问题第一种方法: 但这返回的id列具有 NULL 个值。 我在这里缺少什么吗? 第二种 ...

在嵌套分区表的静态分区中添加动态分区? - Add a dynamic partiton in in a static partition in a nested partition table?

我有一个包含嵌套分区的表,例如 - 国家1 运行日期 1 运行日期 2 国家2 运行日期 1 运行日期 2 我需要静态添加第一层(国家/地区)(因为它们位于不同位置)但希望动态添加第二层(运行日期)。 我在下面尝试过但它不起作用- ALTER TABLE <table_name> AD ...

Nifi 1.19.1 中缺少 Hive 处理器 - Missing Hive Processors In Nifi 1.19.1

我下载了最新的 Nifi 版本。 我能够将 nifi 连接到 oracle 数据库并且工作正常。 但是,我需要将 nifi 连接到配置单元,我的问题是我找不到任何与配置单元相关的处理器。 没有 SelectHiveQL 处理器,也没有 PutHiveQL 处理器或任何与 hive 相关的处理器。 甚 ...

在 Hive 上创建视图时排除某些 S3 文件夹 - Exclude certain S3 folders while creating a view on Hive

我正在尝试通过排除 Hive 上 S3 内的某些文件夹来创建一个视图以从存储桶中获取数据。我能够在 Athena 上成功创建视图,但无法在 Hive 上执行相同操作。 雅典娜视图: 你能告诉我如何在 Hive 上实现同样的目标吗? ...

为什么 Hive 查询分区信息(应该存储在 Metastore 中)需要这么长时间 - Why Hive query over partition info (supposed to be stored in metastore) takes so long time

我在 HDFS 中创建了一个外部表table1 ,其中包含string类型的单个分区列column1 ,我正在使用 Hive 从中获取数据。 以下查询按预期在 1 秒内完成,因为数据存在于 Hive 元存储本身中。 SHOW PARTITIONS table1; 上述命令的结果还确保所有分区都存在于 ...

2022-11-25 10:39:49   1   39    hive / hiveql  
Hive Union Failed 由于 SemanticException 双方的 Schema 应该匹配 - Hive Union Failed due to SemanticException Schema of both sides of union should match

我有 2 个表,我想获取两个表的所有记录。 所以我的计划是做 Union 并加入两个表,但是当我尝试这样做时,我收到一条错误消息,“编译语句时出错:失败:联合双方的 SemanticException 模式应该匹配”。 这是我的两个表表Aid name Start_date bud ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM