如何从机器内部在Google Cloud Dataproc上运行Hive？

Question

我刚刚创建了一个Google Cloud Dataproc集群。 一些基本的内容对我不起作用：

1. 我正在尝试从主节点运行配置单元控制台，但它无法以root用户以外的任何其他用户加载（看起来好像有锁，控制台卡住了）。

2. 但是即使使用root用户，我也会看到一些奇怪的行为：

   • “显示表格；” 显示一个名为“输入”的表
   • 查询该表会引发一个异常，即找不到该表。

3. 目前尚不清楚哪个用户正在通过Web ui创建表。 我创建了一个作业，执行了该作业，但是没有通过控制台看到结果。

在这方面找不到任何好的文档-有人对此有想法吗？

Answer 1

由于默认的元存储配置，当前运行hive命令有些中断。

我建议您改为使用beeline客户端，该客户端与Dataproc Hive作业与同一Hive Server 2进行通信。 您可以通过在主服务器上运行beeline -u jdbc:hive2://localhost:10000通过ssh使用它。

YARN应用程序由Hive Server 2作为用户“ nobody”提交，您可以通过将-n标志传递给beeline来指定其他用户，但是默认权限无关紧要。

Answer 2

该线程有点陈旧，但是当有人搜索Google Cloud Platform和Hive时，此结果即将到来。 因此，我添加了一些可能有用的信息。

目前，为了向Google dataproc提交工作，我认为-与所有其他产品一样-有3种选择：

1. 从UI

2. 从控制台使用命令行，例如： gcloud dataproc jobs submit hive --cluster=CLUSTER (--execute=QUERY, -e QUERY | --file=FILE, -f FILE) [--async] [--bucket=BUCKET] [--continue-on-failure] [--jars=[JAR,…]] [--labels=[KEY=VALUE,…]] [--params=[PARAM=VALUE,…]] [--properties=[PROPERTY=VALUE,…]] [GLOBAL-FLAG …]

3. REST API调用如下： https : //cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs/submit

希望这对某人有用。