繁体   English   中英

Kafka连接HDFS Sink连接器错误

[英]Kafka connect with HDFS Sink connector error

我将Kafka的1.1版本与Kafka connect一起使用,并且遇到了我不理解的错误。 如果我这样设置,我将无法连接到HDFS:

hdfs.url": "/user/myuser/mydirectory" 

或类似(请注意,没有端口):

hdfs.url": "hdfs://hostname/user/myuser/mydirectory" 

我有这个错误:

state: "FAILED",
trace: "java.lang.NullPointerException 
   at io.confluent.connect.hdfs.HdfsSinkTask.close(HdfsSinkTask.java:135) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.commitOffsets(WorkerSinkTask.java:377) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.closePartitions(WorkerSinkTask.java:576) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:177) 
   at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:170) 
   at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:214) 
   at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
   at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
   at java.lang.Thread.run(Thread.java:748)

正常吗 我错过了文档中的某些内容吗? 请问你能帮帮我吗? 我找不到任何答案,也没有解决方案可以毫不客气地调用我的名称节点。

解决的方法是我的配置中缺少“ hadoop.conf.dir”。

我必须添加它,因为我正在以高可用性模式使用HDFS。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM