[英]Run Queries with Apache SHARK on Mac OSX
我在Mac OSX 10.8上用Shark在本地運行查詢時遇到麻煩。 我試圖對Hive中存儲的數據運行一些測試查詢。 我正在使用Scala 2.9.3和Hive 0.9.0,兩者似乎都運行良好。 Hive數據庫使用MySQL存儲元數據。
我可以很好地啟動Shark。 我可以在Shark控制台的Hive中看到我的所有數據庫。 我可以切換到所需的數據庫。 但是,當我嘗試查詢數據時會出錯。
簡單的查詢如下所示:
select * from table limit 100;
錯誤看起來像這樣:
25.351: [Full GC 98320K->17564K(1013632K), 0.1279630 secs]
java.lang.NoSuchMethodError: org.apache.hadoop.hive.shims.HadoopShims.isLocalMode(Lorg/apache/hadoop/conf/Configuration;)Z
at shark.execution.FileSinkOperator.execute(FileSinkOperator.scala:123)
at shark.execution.SparkTask.execute(SparkTask.scala:101)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:134)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1326)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1118)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:951)
at shark.SharkCliDriver.processCmd(SharkCliDriver.scala:294)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:406)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:341)
at shark.SharkCliDriver$.main(SharkCliDriver.scala:203)
at shark.SharkCliDriver.main(SharkCliDriver.scala)
FAILED: Execution Error, return code -101 from shark.execution.SparkTask
這似乎是對Shark代碼的最新補充, https://github.com/amplab/shark/pull/140/files可能未經過Hive 0.9的測試?
當前的HadoopShims.java
確實具有isLocalMode()
,但是Hive 0.9 HadoopShims.java
沒有具有isLocalMode()
方法。
如果可以的話,我建議至少使用Hive 0.10,甚至最好使用最近的0.12。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.