用於在 hortonworks 上配置風暴拓撲和 kafka 的屬性文件

Question

我正在 hortonworks 上使用 Storm 在 Hbase 和 Hive 中進行實時數據攝取，並且我開發了 Storm 拓撲以從 kafka 代理接收數據提交拓撲我可以看到我的kafkaspout和我的兩個螺栓但是，我沒有知道為什么我的kafkaSpout不使用來自 Kafka Brokers 的消息，但是當我可視化拓撲時：已使用了0%數據！！

我的hdfsbolt也有錯誤：

java.lang.RuntimeException: Error preparing HdfsBolt: Permission denied: user=storm, access=WRITE, inode="/infos-cliens-v4/staging/infosClientshdfsBolt-4-0-1462472414665.txt":hdfs:hdfs:drwxr-xr-x at

我的@ip 是192.168.1.78

我想我必須修復屬性文件，但我不知道如何：

#Broker host
  kafka.zookeeper.host.port=localhost
    #Kafka topic to consume.
    kafka.topic=TOPICINFORMATIONSCLIENTS
    #Location in ZK for the Kafka spout to store state.
    kafka.zkRoot=/infos_clients_sprout
    #Kafka Spout Executors.
    spout.thread.count=1

    #hdfs bolt settings
    hdfs.path=/infos-cliens-v4
    hdfs.url=hdfs://sandbox.hortonworks.com:8020
    hdfs.file.prefix=infosClients
    #data will be moved from hdfs to the hive partition
    #on the first write after the 1st minute.
    hdfs.file.rotation.time.minutes=1

    #hbase bolt settings
    hbase.persist.all.events=false


    PLZ Help me

Answer 1

您的用戶是

風暴

但是寫入的目錄歸 HDFS 所有。 因此，更改該目錄的用戶權限並作為用戶使用

chown

命令。

如果您能夠連接到 Hbase，請首先使用 java 代碼檢查。 然后在 Storm 拓撲中測試相同的邏輯。

Answer 2

@Property zk.connect is not valid                                                                  
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".                                                                                     
SLF4J: Defaulting to no-operation (NOP) logger implementation                                                                                        
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.                                                                   
16/05/07 10:27:09 WARN common.AppInfo$: Can't read Kafka version from MANIFEST.MF. Possible cause: java.lang.NullPointerException              

  enter code here