cost 340 ms
我使用 Hive 成功地将数据从源表复制到分区表,但在分区表中找不到数据

[英]I successfully Copied Data From a Source Table to a Partitioned Table Using Hive but The Data Can't be found In The Partitioned Table

首先,我使用 hive 将本地文件中的数据加载到未分区的表中创建原始数据文件: 创建未分区表 然后我将文件中的数据加载到源表中将数据加载到源表: 我确认数据是否在表中 现在,我在同一个数据库中创建分区表 之后,我尝试将数据插入到新表中,同时考虑到分区。 我认为每件事都很顺利。 以下是我在构建/执行过 ...

hive 中的时间戳比较

[英]Timestamp comparison in hive

我需要将日期与格式 yyyy-mm-ddThh:mm:ss+00:00 和 yyyy-MM-dd HH:mm:ss 进行比较我试过了。 我得到了结果,但是查询返回了附加行。 请有任何建议 ...

2022-01-14 16:42:34   1   8    hive / hiveql  
将 hive 时间戳函数转换为 Redshift 语法

[英]Converting hive Timestamp functions to Redshift syntax

我需要将用 hive-SQL 编写的脚本转换为 Redshift 的 SQL。 我坚持以下部分: 由于没有使用 hive-sql 的时间戳功能的经验,我无法在 redshift 中重写这一行。 `current_date` 实际上是一个时间戳列,在此列上完成了一些计算。 请提供一些见解/建议。 这 ...

Bash 直线别名

[英]Bash beeline alias

我经常从命令行使用beeline,所以我想为beeline 命令创建一个bash 别名,该命令为我处理所有样板文件并执行一些参数解析等操作。 具体来说,我想做的一件事是创建一个showtables命令,该命令接受一个参数,即数据库的名称,并使用样板调用beeline 命令,并将 -e 参数与适当的 ...

如何计算 hive 中的行数?

[英]How to count row's in hive?

这是我的桌子: 我需要一个表格,该表格根据 Date asc 的 Number order 计算行数。 这应该是我的决赛桌: 如何用 hive 实现这一点? 他们有 function 吗? ...

在 HIVE 中连接和转换

[英]concat and cast in HIVE

我有许多记录,其中包括几列带前导零的列。 我想删除前导零并用连字符将 3 列合并为一列。 我正在使用 HIVE。 ...

在 hive 中查询时增加映射器的数量

[英]To increase number of mappers while querying in hive

我想用 1500 个映射器运行我的 hive 查询。 我已将减速器设置为 500。我应该将输入拆分大小设置为什么值才能实现上述目标 ...

2022-01-07 12:30:52   1   6    hiveql  
Hive trunc 日期格式问题

[英]Hive trunc date format issues

我正在尝试将 GP 转换为 Hive 迁移逻辑,但下面的语句在执行查询时给出了错误的 output: output 用于 GP:2021-12-31 如果我们转换 Hive 查询,则类似 如果 Hive 查询输出:2022-01-02 我可以看到日期的差异。 请帮我。 谢谢 ...

将主表与另一个表中的所有记录进行比较,以得出主表的列值

[英]Compare main table with all records from another table to derive the column value of the main table

我有两个表tb1和main_tbl示例数据集,如下所示,我正在尝试导出主表的COL_VAL列的值。 所以我创建了获取期望值的查询。 但是,我正在寻找简化代码行数并获得相同结果的可能性main_tbl Table: tbl Table: Main Query: Expected Output - ma ...

如何使用 reg_extract 或 split 在 Hive 中的特殊字符之后打印字符串的第一次出现?

[英]How do I print the first occurence of a string after a special character in Hive using reg_extract or split?

我在 hive 中陷入了两难境地。 我在 Hive 中的数据集如下所示: 在每种情况下,我只想打印 # 之后的第一个字符串。 所以 output 应该是这样的: 我尝试使用 reg_extract function,但可惜我只得到 NULL 值。 由于 hive 不支持 reg_substr,因此 ...

2021-12-30 08:55:55   1   9    hive / hiveql  
使用 group by 打印表中的最大值

[英]Printing the highest value in a table using group by

首先,抱歉标题混乱,我不知道如何更好地描述它,它很复杂。 我有一个看起来像这样的表: 发送组织 rec_org 参与者一个 b 1 一个 c 2 b d 2 b c 3 b F 3 等等。 对于每次发送,我要打印的是参与者人数最多的行(我不关心重复,我只需要人数最多的一行); ...

2021-12-29 20:04:37   1   41    hive / hiveql  
Hive QL 检索最大值

[英]Hive QL retrieve max value

我正在尝试使用 Hive QL 从数据库中检索数据。 我有 2 列 start_time 具有开始时间和 time_stamp 记录从“Start_time”开始完成的每项工作 我想要的是 JOB_A 的 start_time 和 JOB_A 和 JOB_B 结束的时间戳 我试着用 我仍然得到与我的 ...

2021-12-29 02:35:31   2   18    sql / hiveql  
Apache Tez 任务在 Application Master 处暂停

[英]Apache Tez tasks on hold at the Application Master

我有一个 tez 问题,当同时运行大约 14 个查询时,其中一些会出现超过 5 分钟的延迟,但集群利用率仅为 14%。 这就是我正在谈论的信息。 INFO SessionState: [HiveServer2-Background-Pool: Thread-322319]: Get Query Co ...

与更新 Presto sql 中的值有关的有趣问题

[英]Interesting problem concerned with updating a value in Presto sql

我试图在 Presto sql 中解决以下问题已有一段时间了,但似乎没有任何方法有效。 假设我有下面两列的表格。 X和Y 。 Output是我想要的。 逻辑是,我将第一行中的 Y 值设置为 start 并向前看,如果所有后续行都在 start + 2 范围内,那么我将第一行值分配为 output ...

列中相同值的最小时间戳分区

[英]Min time stamp partition by same value in column

我有一个下面的数据集,我试图在单个列中获取相同值的最小时间戳。 这是我的数据集。 我正在尝试创建一个列来查找与经销商的每次互动的 user_first_comment。 像下面有什么技术可以用来为列中的相同值添加增量值。 例如列 RANK_Incremental,这样我就可以使用 Min wpar ...

LEFT JOIN 按更接近的值条件

[英]LEFT JOIN by closer value condition

我有这个查询 在第二个LEFT JOIN中,我想更改第二个条件pob.year = proc.anno_eleccion以便它在加入时不仅搜索确切的年份。 相反,我想将更近的年份存储在我的pob表中。 例如,存储在pob中的第一年是2003 ,所以我希望loc中年份低于2003的所有条目在执行连接时 ...

2021-12-21 13:53:44   1   25    sql / hiveql  
Hive - 重新格式化数据结构

[英]Hive - Reformat data structure

所以我有一个 Hive 数据样本: 顾客 xx_var yy_var 支流 {"customer_no":"239230293892839892","acct":["2324325","23425345"]} 23 3 [{"acctno":"2324325","value":[1,2,3, ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM