[英]Using Spark to Read from Hive
我试图从Hive表中读取,但收到以下错误:
[error] (run-main-0) org.apache.spark.sql.AnalysisException: Table or view not found: tags; line 1 pos 14
我在$SPARK_HOME/conf
和$HIVE_HOME/conf
放置了hive-site.xml
。 同样,我使用sqoop从mysql中获取数据并将其导入hive也没有问题。 我的Scala代码有问题吗? 或者这是配置错误?
package test1
import java.io.File
import org.apache.spark.sql.Row
import org.apache.spark.sql.SparkSession
case class Movie(movieid: String, title: String, genres: String)
case class Tag(userid: String, title: String, tag: String)
object SparkHiveTest {
def main(args: Array[String]) {
val warehouseLocation = new File("spark-warehouse").getAbsolutePath
val spark = SparkSession
.builder()
.master("local")
.appName("SparkHiveExample")
.config("spark.sql.warehouse.dir", warehouseLocation)
.enableHiveSupport()
.getOrCreate()
spark.sql("SELECT * FROM tags").show()
spark.stop()
}
}
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
<description>metadata is stored in a MySQL server</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>MySQL JDBC driver class</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hiveuser</value>
<description>user name for connecting to mysql server</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hivepass</value>
<description>password for connecting to mysql server</description>
</property>
</configuration>
确保正确配置了Hive Metastore:
<configuration>
<property>
<name>hive.metastore.uris</name>
<value>HIVE METASTORE URI(S) HERE</value>
<description>URI for client to contact metastore server</description>
</property>
</configuration>
根据HiveContext的API文档:
Spark SQL执行引擎的一个实例,它与存储在Hive中的数据集成在一起。 从类路径上的hive-site.xml读取Hive的配置。
因此,请务必将您的hive-site.xml
放入IDE中项目的资源文件夹中。
它立即解决了我的问题。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.