如何在列中引用第一个非空字符串-Cloudera Impala / Apache Hive / Spark SQL
[英]How to Reference First Non-null String in a Column - Cloudera Impala / Apache Hive / Spark SQL
问题描述
我正在使用Impala SQL。 我目前有一个包含3列的数据库： Account ， Date ， Type 。
在Type ，有各种描述关联类型的数据字符串，但有些等于'UNKNOWN' ，有些为null 。
我想创建另一列Fixed_Type 。 Fixed_Type的值应来自“ Type列。
- 如果
Type的值是null或'UNKNOWN'，则它应在Type列中获得最后一个有效值，按帐户划分并按日期排序。 - 如果分区以
null或'UNKNOWN'开头，则Fixed_Type的值应该是Type的第一个有效值。
例如：
Account | Date | Type | Fixed_Type
1 Jan data1 data1
1 Feb 'UNKNOWN' data1
1 Mar null data1
2 Apr data2 data2
2 May null data2
2 Jun null data2
2 Jul data3 data3
3 Feb 'UNKNOWN' data4
3 Mar 'UNKNOWN' data4
3 Apr data4 data4
我开始在Oracle中进行此操作，但后来意识到没有类似于Impala中实现的IGNORE NULLS功能。
这就是我在Oracle中想做的事情（我意识到这只能处理对null的正向填充）：
select account, date, type,
case when type is null
then last_value(type ignore nulls)
over (partition by account order by date)
else type
end as fixed_type
3 个解决方案
解决方案1
2 2016-07-01 20:45:59
我使用postgresql测试查询，因此无法100％确定是否可以使其在系统中正常工作。 WITH可以替换为子查询。 还必须改变你的日期，以号码，以便ORDER BY工作按预期。
- enumerateWords ：为有效单词创建一个枚举列表。
- createFlag ：设置一个标志，以便您可以验证下一个组何时开始。
- createGrp ：使用标志和
SUM()创建组。 - 最后，您将组与枚举列表一起加入以分配
Fixed_Type- 当第一行为
NULL或'UNKNOWN'时，JOIN中的特殊条件c.grp = 0 and e.rn =1
- 当第一行为
WITH enumerateWords as (
SELECT "Account", "Date", "Type",
row_number() over (partition by "Account"
order by "Date") rn
FROM Days
WHERE "Type" <> '''UNKNOWN''' AND "Type" IS NOT NULL
), createFlag as (
SELECT *, CASE WHEN "Type" = '''UNKNOWN''' OR "Type" IS NULL
THEN 0
ELSE 1
END as FLAG
FROM Days
), createGrp as (
SELECT *,
SUM(FLAG) OVER (PARTITION BY "Account"
ORDER BY "Date") as grp
FROM createFlag
)
SELECT c.*, e."Account", e."Date", e."Type" as "Fixed_Type"
FROM createGrp c
JOIN enumerateWords e
ON c."Account" = e."Account"
AND ( c.grp = e.rn
OR (c.grp = 0 and e.rn = 1)
)
输出值
如您所见， Fixed_Type从DB上的值显示Fixed_Type类型，但是enumerateWords从Type创建它。
并且您可以看到flag和grp如何一起工作以查看检测到的更改。
| createGrp || enumerateWords |
|---------|------|-----------|------------|------|-----||---------|----|------------|
| Account | Date | Type | Fixed_Type | flag | grp || Account | rn | Fixed_Type |
|---------|------|-----------|------------|------|-----||---------|----|------------|
| 1 | 1 | data1 | data1 | 1 | 1 || 1 | 1 | data1 |
| 1 | 2 | 'UNKNOWN' | data1 | 0 | 1 || 1 | 1 | data1 |
| 1 | 3 | (null) | data1 | 0 | 1 || 1 | 1 | data1 |
|---------|------|-----------|------------|------|-----||---------|----|------------|
| 2 | 4 | data2 | data2 | 1 | 1 || 2 | 1 | data2 |
| 2 | 5 | (null) | data2 | 0 | 1 || 2 | 1 | data2 |
| 2 | 6 | (null) | data2 | 0 | 1 || 2 | 1 | data2 |
| 2 | 7 | data3 | data3 | 1 | 2 || 2 | 2 | data3 |
| 2 | 8 | (null) | data3 | 0 | 2 || 2 | 2 | data3 |
|---------|------|-----------|------------|------|-----||---------|----|------------|
| 3 | 9 | 'UNKNOWN' | data4 | 0 | 0 || 3 | 1 | data4 | <=
| 3 | 10 | 'UNKNOWN' | data4 | 0 | 0 || 3 | 1 | data4 | <=
| 3 | 11 | data4 | data4 | 1 | 1 || 3 | 1 | data4 |
^^^ special case 0 = 1
解决方案2
1 已采纳 2016-07-01 22:38:07
Oracle安装程序 ：
CREATE TABLE Table_Name ( Acct, Dt, Type ) AS
SELECT 1, DATE '2016-01-01', 'Data1' FROM DUAL UNION ALL
SELECT 1, DATE '2016-02-01', 'UNKNOWN' FROM DUAL UNION ALL
SELECT 1, DATE '2016-03-01', NULL FROM DUAL UNION ALL
SELECT 2, DATE '2016-04-01', 'Data2' FROM DUAL UNION ALL
SELECT 2, DATE '2016-05-01', NULL FROM DUAL UNION ALL
SELECT 2, DATE '2016-06-01', NULL FROM DUAL UNION ALL
SELECT 2, DATE '2016-07-01', 'Data3' FROM DUAL UNION ALL
SELECT 3, DATE '2016-02-01', 'UNKNOWN' FROM DUAL UNION ALL
SELECT 3, DATE '2016-03-01', 'UNKNOWN' FROM DUAL UNION ALL
SELECT 3, DATE '2016-04-01', 'Data4' FROM DUAL;
查询 ：
SELECT Acct,
Dt,
Type,
Fixed_Type
FROM (
SELECT r.Acct,
r.Dt,
r.Type,
t.type AS fixed_type,
ROW_NUMBER() OVER ( PARTITION BY r.Acct, r.dt
ORDER BY SIGN( ABS( t.dt - r.dt ) ),
SIGN( t.dt - r.dt ),
ABS( t.dt - r.dt ) ) AS rn
FROM table_name r
LEFT OUTER JOIN
table_name t
ON ( r.acct = t.acct
AND t.type IS NOT NULL
AND t.type <> 'UNKNOWN' )
)
WHERE rn = 1
ORDER BY acct, dt;
说明 ：
如果将表与其自身连接在一起，因此两个表都具有相同的帐号，则可以将每个帐户的每一行与该帐户中的所有其他行进行比较。 但是，我们不希望与所有行进行比较，而只是与非NULL或'UNKNOWN'的行进行比较，因此我们得到了连接条件：
ON ( r.acct = t.acct
AND t.type IS NOT NULL
AND t.type <> 'UNKNOWN' )
仅当某个帐号的类型具有所有NULL或'UNKNOWN'值LEFT OUTER JOIN使用LEFT OUTER JOIN ，以便不排除行。
然后，只需查找最近的行即可。 在Oracle中，如果您从另一个日期减去一个日期，那么您会得到相差的天数（或天数的一部分）-因此：
- 如果两个日期相同，则
SIGN( ABS( t.dt - r.dt ) )将给出0否则将返回1。 首先进行排序意味着，如果有一个具有相同日期的值，那么它将优先于不相同的日期； - 如果两个日期相同（但在前面的语句中已被过滤
SIGN( t.dt - r.dt )则SIGN( t.dt - r.dt )将返回0如果比较的日期在当前行之前，则返回-1如果在之后的日期之后，则返回+1-用于优先于结束日期而非结束日期。 -
ABS( t.dt - r.dt )将日期按最接近的顺序排序。
因此， ORDER BY子句有效地声明： ORDER BY首先是相同的日期，然后是之前的日期（最接近r.dt ），最后是之后的日期（最接近r.dt ）。
然后将其全部放置在串联视图中并进行过滤，以获取每一行的最佳匹配（ WHERE rn = 1 ）。
输出 ：
ACCT DT TYPE FIXED_TYPE
---------- ------------------- ------- ----------
1 2016-01-01 00:00:00 Data1 Data1
1 2016-02-01 00:00:00 UNKNOWN Data1
1 2016-03-01 00:00:00 Data1
2 2016-04-01 00:00:00 Data2 Data2
2 2016-05-01 00:00:00 Data2
2 2016-06-01 00:00:00 Data2
2 2016-07-01 00:00:00 Data3 Data3
3 2016-02-01 00:00:00 UNKNOWN Data4
3 2016-03-01 00:00:00 UNKNOWN Data4
3 2016-04-01 00:00:00 Data4 Data4
解决方案3
1 2016-07-02 01:09:49
这是一个类似于Juan Carlos的解决方案，使用解析函数count和case表达式一次性创建组。
我创建了更多的输入数据进行测试，例如，当一个帐户仅具有null和/或'UNKNOWN'作为类型（确保左外部联接按预期工作）时会发生什么。
create table table_name ( acct, dt, type ) as
select 1, date '2016-01-01', 'Data1' from dual union all
select 1, date '2016-02-01', 'UNKNOWN' from dual union all
select 1, date '2016-03-01', null from dual union all
select 2, date '2016-04-01', 'Data2' from dual union all
select 2, date '2016-05-01', null from dual union all
select 2, date '2016-06-01', null from dual union all
select 2, date '2016-07-01', 'Data3' from dual union all
select 3, date '2016-02-01', 'UNKNOWN' from dual union all
select 3, date '2016-03-01', 'UNKNOWN' from dual union all
select 3, date '2016-04-01', 'Data4' from dual union all
select 3, date '2016-05-01', 'UNKNOWN' from dual union all
select 3, date '2016-06-01', 'Data5' from dual union all
select 4, date '2016-02-01', null from dual union all
select 4, date '2016-03-01', 'UNKNOWN' from dual;
SQL> select * from table_name;
ACCT DT TYPE
---------- ---------- -------
1 2016-01-01 Data1
1 2016-02-01 UNKNOWN
1 2016-03-01
2 2016-04-01 Data2
2 2016-05-01
2 2016-06-01
2 2016-07-01 Data3
3 2016-02-01 UNKNOWN
3 2016-03-01 UNKNOWN
3 2016-04-01 Data4
3 2016-05-01 UNKNOWN
3 2016-06-01 Data5
4 2016-02-01
4 2016-03-01 UNKNOWN
14 rows selected.
查询 ：
with
prep(acct, dt, type, gp) as (
select acct, dt, type,
count(case when type != 'UNKNOWN' then 1 end)
over (partition by acct order by dt)
from table_name
),
no_nulls(acct, type, gp) as (
select acct, type, gp
from prep
where type != 'UNKNOWN'
)
select p.acct, p.dt, p.type, n.type as fixed_type
from prep p left outer join no_nulls n
on p.acct = n.acct and (p.gp = n.gp or p.gp = 0 and n.gp = 1)
order by acct, dt;
输出 ：
ACCT DT TYPE FIXED_TYPE
---------- ---------- ------- ----------
1 2016-01-01 Data1 Data1
1 2016-02-01 UNKNOWN Data1
1 2016-03-01 Data1
2 2016-04-01 Data2 Data2
2 2016-05-01 Data2
2 2016-06-01 Data2
2 2016-07-01 Data3 Data3
3 2016-02-01 UNKNOWN Data4
3 2016-03-01 UNKNOWN Data4
3 2016-04-01 Data4 Data4
3 2016-05-01 UNKNOWN Data4
3 2016-06-01 Data5 Data5
4 2016-02-01
4 2016-03-01 UNKNOWN
14 rows selected.
Spark SQL会完全取代Apache Impala还是Apache Hive？
[英]Will Spark SQL completely replace Apache Impala or Apache Hive?
具有空字符串（％''％）的SQL Server LIKE操作符是否与VARCHAR列中的所有非NULL值匹配？
[英]Does SQL Server LIKE opertor with Empty String (%''%) match all non-NULL values in VARCHAR column?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.