安裝HTTPD日志分析示例時出錯

Question

我和BAM在一起工作了很多天，突然間我甚至無法像BAM 2.0.1文檔中所示的那樣做一個簡單的示例（HTTPD日志分析示例）。 我沒有改變膠印。

我正在采取的步驟是：

在Linux中啟動BAM服務器

-從$ WSO2_BAM_HOME / samples / httpd-logs / resources目錄中讀取access.log

-在管理控制台中安裝“ HTTPD日志和分析”工具箱

現在安裝時出現蜂巢腳本錯誤：

“執行Hive腳本時出錯。查詢返回的非零代碼：9，原因：失敗：執行錯誤，從org.apache.hadoop.hive.ql.exec.DDLTask返回代碼1”

你能告訴我我要去哪里錯嗎？

后端中的錯誤是

ERROR {org.apache.hadoop.hive.ql.exec.Task} -  FAILED: Error in metadata: MetaException(message:Unable to connect to the server org.apache.hadoop.hive.cassandra.CassandraException: unable to connect to server)
org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Unable to connect to the server org.apache.hadoop.hive.cassandra.CassandraException: unable to connect to server)
        at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:546)
        at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:3479)
        at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:225)
        at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:133)
        at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
        at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1334)
        at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1125)
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:933)
        at org.apache.hadoop.hive.service.HiveServer$HiveServerHandler.execute(HiveServer.java:201)
        at org.apache.hadoop.hive.jdbc.HiveStatement.executeQuery(HiveStatement.java:187)
        at org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl$ScriptCallable.call(HiveExecutorServiceImpl.java:325)
        at org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl$ScriptCallable.call(HiveExecutorServiceImpl.java:225)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
Caused by: MetaException(message:Unable to connect to the server org.apache.hadoop.hive.cassandra.CassandraException: unable to connect to server)
        at org.apache.hadoop.hive.cassandra.CassandraManager.openConnection(CassandraManager.java:118)
        at org.apache.hadoop.hive.cassandra.CassandraStorageHandler.preCreateTable(CassandraStorageHandler.java:168)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:397)
        at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:540)
        ... 16 more

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
[2013-01-16 20:03:01,464] ERROR {org.apache.hadoop.hive.ql.Driver} -  FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
[2013-01-16 20:03:01,470] ERROR {org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl} -  Error while executing Hive script.
Query returned non-zero code: 9, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
java.sql.SQLException: Query returned non-zero code: 9, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
        at org.apache.hadoop.hive.jdbc.HiveStatement.executeQuery(HiveStatement.java:189)
        at org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl$ScriptCallable.call(HiveExecutorServiceImpl.java:325)
        at org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl$ScriptCallable.call(HiveExecutorServiceImpl.java:225)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
[2013-01-16 20:03:01,473] ERROR {org.wso2.carbon.analytics.hive.task.HiveScriptExecutorTask} -  Error while executing script : httpd_logs_script_507
org.wso2.carbon.analytics.hive.exception.HiveExecutionException: Error while executing Hive script.Query returned non-zero code: 9, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
        at org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl.execute(HiveExecutorServiceImpl.java:110)
        at org.wso2.carbon.analytics.hive.task.HiveScriptExecutorTask.execute(HiveScriptExecutorTask.java:60)
        at org.wso2.carbon.ntask.core.impl.TaskQuartzJobAdapter.execute(TaskQuartzJobAdapter.java:56)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:213)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:439)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
[2013-01-16 20:03:09,139]  INFO {org.wso2.carbon.core.services.util.CarbonAuthenticationUtil} -  'admin@carbon.super [-1234]' logged in at [2013-01-16 20:03:09,139+0530]

Answer 1

您能否從服務器日志中發布完整的錯誤跟蹤？

無法找到根本原因，原因是“執行Hive腳本時出錯。查詢返回的非零代碼：9，原因：失敗：執行錯誤，從org.apache.hadoop.hive.ql.exec.DDLTask返回代碼1”，需要完整的異常跟蹤以找出根本原因。

Answer 2

似乎Hive無法連接到cassandra。 如果您以任何偏移量啟動了BAM服務器，那么casssandra端口也將更改為9160+ <port-offset>。 請用9160+ <port-offset>替換“ cassandra.port”。

另外，您可能需要刪除Httpd_log_script中提到的Hive表，以使更改得以體現。 這是因為您已經運行了腳本，並且特定表名的表定義將已經存儲，並且將不會嘗試再次創建它，因為在腳本表中創建該表名（如果不存在）。（如果不存在，則創建外部表） 。

Answer 3

似乎與服務器連接存在問題。 您更改過用戶名或密碼了嗎？ （Dafault用戶名和密碼分別為admin和admin ）

而且，如果您要使用不同的架構創建相同的現有Hive表，則必須在CREATE ....之前刪除現有表。 如聖胡亞所說。

例如：刪除表table1 ，

drop table table1;

Answer 4

您可以先在BAM 2.0.1中嘗試HTTPD日志示例嗎？ 您可以按照/samples/httpd-logs/README.txt中的說明進行操作。 運行良好。 這些是該文件中給出的說明；

1. 啟動WSO2 BAM服務器
2. 通過控制台轉到$ WSO2_BAM_HOME / samples / httpd-logs目錄
3. 在控制台中鍵入“ ant”（這將從$ WSO2_BAM_HOME / samples / httpd-logs / resources目錄中讀取access.log並將每個日志行作為事件發送）
4. 轉到WSO2 BAM服務器的管理控制台。
5. 轉到主-> BAM工具箱->添加。 選擇“ HTTPD日志分析工具箱”，然后單擊“安裝”按鈕。
6. 轉到主-> BAM工具箱->列表。 等待“ HTTPD日志分析工具箱”工具箱狀態更改為“已安裝”。
7. 等待一段時間，直到腳本完成數據發布后的第一次運行為止（腳本將在每分鍾運行一次）。
8. 單擊主要->小工具->查看門戶以查看已填充的小工具，其中顯示了來自不同國家的請求摘要。