Hive JDBC Vs CLI客戶端

Question

我需要以編程方式使用Hive訪問數據（每個查詢的數據按GB排序）。 我正在評估CLI驅動程序和Hive JDBC驅動程序。

當我們使用JDBC時，節儉服務器會有額外的開銷，我正試圖了解它的繁重程度。 如果多個客戶端連接到一台舊服務器，是否也可能成為單點瓶頸？ 還是人們在Hadoop上配置多個節儉服務器並做一些負載平衡的事情是一種慣例？

我正在尋找更好的性能，而不是更快的原型。 提前致謝。

Answer 1

Shengjie的鏈接無效-這可能會自動將以下鏈接自動鏈接：

http://blog.milford.io/2011/07/productionizing-the-hive-thrift-server/

Answer 2

從性能角度來看，是的，節儉服務器可能是瓶頸和SPF。 我見過人們設置了多個與mysql metastore通信的節儉服務器。 看看這個http://blog.milford.io/2011/07/productionizing-the-hive-thrift-server/ 。希望對您有所幫助。

Answer 3

您可以嘗試使用連接池。 通過JDBC提交配置單元查詢時，我遇到了類似的問題，這比配置單元cli花費更多的時間。

另外，在您的連接字符串中還應提及以下幾個參數：

JDBC：hive2：//服務器：PORTNO /; hive.execution.engine = TEZ; tez.queue.name = ALT; hive.exec.parallel = TRUE; hive.vectorized.execution.enabled = TRUE; hive.vectorized.execution .reduce.enabled = TRUE;