[英]kafka connect - ExtractTopic transformation with hdfs sink connector throws NullPointerException
[英]Kafka connect with HDFS Sink connector error
我將Kafka的1.1版本與Kafka connect一起使用,並且遇到了我不理解的錯誤。 如果我這樣設置,我將無法連接到HDFS:
hdfs.url": "/user/myuser/mydirectory"
或類似(請注意,沒有端口):
hdfs.url": "hdfs://hostname/user/myuser/mydirectory"
我有這個錯誤:
state: "FAILED",
trace: "java.lang.NullPointerException
at io.confluent.connect.hdfs.HdfsSinkTask.close(HdfsSinkTask.java:135)
at org.apache.kafka.connect.runtime.WorkerSinkTask.commitOffsets(WorkerSinkTask.java:377)
at org.apache.kafka.connect.runtime.WorkerSinkTask.closePartitions(WorkerSinkTask.java:576)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:177)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:170)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:214)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
正常嗎 我錯過了文檔中的某些內容嗎? 請問你能幫幫我嗎? 我找不到任何答案,也沒有解決方案可以毫不客氣地調用我的名稱節點。
解決的方法是我的配置中缺少“ hadoop.conf.dir”。
我必須添加它,因為我正在以高可用性模式使用HDFS。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.