Spark SQL為Hive構建嗎？

Question

我已經下載了spark版本-1.3.1，程序包類型為Hadoop 2.6及更高版本的預構建

現在我想使用Spark Shell在Scala代碼下運行，所以我遵循了以下步驟

1. bin/spark-shell

2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")

現在的問題是，如果我在像這樣的色相瀏覽器上驗證它

select * from src;

然后我得到

找不到表格異常

這表示未創建表，我如何配置帶有Spark Shell的配置單元以使其成功。 我想使用SparkSQL，我也需要從蜂巢中讀取和寫入數據。

我隨機聽說我們需要將hive-site.xml文件復制到spark目錄中的某個位置

有人可以解釋一下步驟-SparkSQL和Hive配置

感謝Tushar

Answer 1

確實，hive-site.xml方向是正確的。 看看https://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables 。

聽起來您還希望通過spark創建一個配置單元表，為此請參見上述同一文檔中的“保存到持久性表”。