Hive如何在count（*）中使用Max？

Question

我有两个表：

飞 ： 年 ， 起源

机场 ： 代码 ， 名称

这是数据示例：

飞 ：

1989,SF    
1989,SF   
1989,NY  
1993,NY  
1998,Par     
1998,Par  
1998,NY

空港 ：

SF, International Airport    
NY, Inter Air    
Par, Charles de Gaulle

我想每年获得最繁忙的机场。

因此，首先我做了这个请求，以获取每年每个机场的发生次数：

SELECT v.Year,a.airport ,count(*)
From airports a JOIN Vol v ON (a.iata = v.Dest)
Group By v.Year,a.airport
ORDER BY Year ASC,airport ASC;

所以我得到这样的结果：

1989, San Francisco, 2  
1989, New York, 1
1993, New York, 1
1998, new York, 1
1998, Paris, 2

我想要这样的每年最多：

1989, San Francisco, 2
1993, New York, 1
1998, Paris, 2

我可以只提出一个请求吗？ 我应该使用中间表吗？

猪更好吗？

先感谢您

Answer 1

在Hive中，这有些棘手，但肯定是可行的。 它需要两件事：将您的第一个查询用作较大查询的子查询，以及执行“ arg-max”的小技巧。

SELECT Year, max(named_struct('n', n, 'airport', airport)) FROM (
  SELECT v.Year, a.airport, count(*) as n
  FROM airports a JOIN Vol v ON (a.iata = v.Dest)
  GROUP BY v.Year, a.airport
) t
GROUP BY Year;

请注意，named_struct创建了一个struct字段，并且首先按第一个字段的顺序进行比较，因此您在保留机场名称的同时获得正确的“ max”行为。 但这确实意味着您的输出将采用struct的形式：

1989, {n:2, airport:San Francisco}
1993, {n:1, airport:New York}
1998, {n:2, airport:Paris}

如果要“取消构造”，只需要单独选择这些字段即可：

SELECT Year, max(named_struct('n', n, 'airport', airport)).n, max(named_struct('n', n, 'airport', airport)).airport FROM (
  SELECT v.Year, a.airport, count(*) as n
  FROM airports a JOIN Vol v ON (a.iata = v.Dest)
  GROUP BY v.Year, a.airport
) t
GROUP BY Year;