优化配置单元查询

Question

我正在尝试优化配置单元查询。 我已经将基本表分区并存储为ORC文件，如下所示。

create table if not exists processed (
    plc string,
    direction string,
    table int,
    speed float,
    time string
) PARTITIONED BY (time_id bigint) STORED AS ORC;

我在上表中触发以下查询（包含500.000条记录）。 我得到的最终结果存储为json 。 整个交易大约需要35秒。 有什么方法可以减少我的时间。 也许有人会建议我使用其他框架而不是Hive。 这是查询：

String finalQuery = "select plc,direction,AVG(speed) as speed ,COUNT(plc) as count,time_id from processed WHERE plc IN "
                + " "
                + "("
                + plcCSV
                + ")"
                + " " + " " + "AND" + " " + "time_id =" + " " + time_id + " " 
                + "group by plc,direction,time_id";

Answer 1

首先在plc列上创建一个索引，然后尝试。