Json 的 Hive 查詢錯誤

Question

我正在使用 twitter cloudera 示例創建一個表，當我成功創建表並獲取數據時，我遇到了一個問題。

我可以select * from tweets; 並返回數據，但是當我像count(*)一樣更深入時，我收到一個錯誤。

這是創建的表：

添加 JAR /cdh-twitter-example/hive-serdes/target/hive-serdes-1.0-SNAPSHOT.jar; CREATE EXTERNAL TABLE tweets ( id BIGINT, created_at STRING,
源字符串，最喜歡的 BOOLEAN，retweet_count INT，
retweeted_status STRUCT< text:STRING, user:STRUCT>, entity STRUCT< urls:ARRAY>, user_mentions:ARRAY>, hashtags:ARRAY>>, text STRING, user STRUCT< screen_name:STRING, name:STRING,friends_count:INT, follower_count :INT, statuses_count:INT, 驗證:BOOLEAN, utc_offset:INT, time_zone:STRING>, in_reply_to_screen_name STRING ) ROW FORMAT SERDE 'com.cloudera.hive.serde.JSONSerDe' LOCATION '/user/flume/tweets';

這是錯誤和堆棧跟蹤：

hive> 從推文中選擇 count(*)； 總 MapReduce 作業 = 1 Launching Job 1 out of 1 在編譯時確定的 reduce 任務數：1 為了更改 reducer 的平均負載（以字節為單位）：set hive.exec.reducers.bytes.per.reducer= In為了限制最大reducer數量：set hive.exec.reducers.max=為了設置恆定數量的reducer：set mapred.reduce.tasks=Starting Job = job_1402410026954_0004, Tracking URL = http://bigdatalite.localdomain :8088/proxy/application_1402410026954_0004/ Kill Command = /usr/lib/hadoop/bin/hadoop job -kill job_1402410026954_0004 Stage-1的Hadoop作業信息：mapper數量：1； 減速器數量：1 2014-06-10 13:07:28,078 Stage-1 map = 0%，reduce = 0% 2014-06-10 13:07:39,983 Stage-1 map = 100%，reduce = 0% 2014 -06-10 13:07:41,071 Stage-1 map = 0%，reduce = 0% 2014-06-10 13:08:18,527 Stage-1 map = 100%，reduce = 100% Ended Job = job_1402410026954_00 錯誤在作業期間，獲取調試信息...正在檢查任務 ID：task_1402410026954_0004_m_000000（以及更多）來自作業 job_1402410026954_0004

失敗次數最多的任務（4）： ----- 任務ID：task_1402410026954_0004_m_000000

tipid=task_1402410026954_0004_m_000000 ----- 此任務的診斷消息：錯誤：java.lang.RuntimeException：在 org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109) 處配置對象時出錯。 hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133) at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java: 426) 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:342) 在 org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) 在 java.security.AccessController.doPrivileged(本機方法）在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) 在 org.apache.hadoop.mapred.YarnChild。 main(YarnChild.java:163) 引起： java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Na tiveMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:106) ... 9 more 引起：java.lang.RuntimeException: Error in configure object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109) at org.apache.hadoop .util.ReflectionUtils.setConf(ReflectionUtils.java:75) 在 org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133) 在 org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:38) ) ... 14 更多 引起： java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl。 invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.had oop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106) ... 17 more 引起：java.lang.RuntimeException：地圖操作符初始化在org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure失敗(ExecMapper.java:134) ... 22 導致：org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassNotFoundException: Class com.cloudera.hive.serde.JSONSerDe not found at org. apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:314) 在 org.apache.hadoop.hive.ql.exec.MapOperator.setChildren(MapOperator.java:333) 在 org.apache.hadoop。 hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:103) ... 22 導致：java.lang.ClassNotFoundException：在 org.apache.hadoop 找不到類 com.cloudera.hive.serde.JSONSerDe .conf.Configuration.getClassByName(Configuration.java:1801) 在 org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:284) ... 24 更多

失敗：執行錯誤，從 org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Job 0: Map: 1 Reduce: 1 HDFS Read: 0 HDFS Write: 0 FAIL 總 MapReduce CPU 時間返回代碼 2花費：0 毫秒

有什么想法嗎？

Answer 1

將所需的庫也復制到 hadoop lib 文件夾中，解決了這個問題。