使用bash连接到HIVE

Question

我做了一个简单的bash skript，它应该对指定数据库中每个表中的列进行计数。 问题是，那部分

`hive -S -e 'use '$database'; describe '$word'' | grep -e '^[a-z]' | uniq |wc -l >>MY_PROJECTS/ColumnCountList.txt`

由于配置单元连接而消耗大量时间-每次计数每个下一个表中的列时，它都会再次连接到配置单元。

有什么方法可以一次连接到Hive，然后执行命令？ 这将更快得多，尤其是当我为具有1k表的数据库执行此操作时。 代码如下：

#!/bin/bash
database=pos
tables_list=`hive -S -e 'use '$database'; show tables' | grep -e '^[a-z]' | uniq`
for word in $tables_list
do
   `echo -n "$word : ">>MY_PROJECTS/ColumnCountList.txt`
   `hive -S -e 'use '$database'; describe '$word'' | grep -e '^[a-z]' | uniq |wc -l >>MY_PROJECTS/ColumnCountList.txt`
done

Answer 1

使用包含说明命令和表名的bash脚本构建一个文件（这里称为desc_tbl_list.sql ），如下所示：

describe tablename1
describe tablename2
...

然后使用包含所有描述命令的hive命令运行脚本，如下所示：

hive -f desc_tbl_list.sql

高温超导

Answer 2

如果您将mysql用作元存储数据库，则此mysql查询可以提供每个表的计数。 如果要过滤数据库名称，则必须将联接添加到数据库中。

select t.TBL_NAME, count(1) from TBLS t join COLUMNS_V2 c
on t.TBL_ID = c.CD_ID
group by t.TBL_NAME;