KafkaError與Confluent Python Kafka使用者不支持的壓縮編解碼器0x3

Question

我在筆記本電腦（Ubuntu 17）上安裝了Confluent Python Kafka消費者，一切都很好，我可以收聽遠程主題並接收消息。

但是，當我嘗試在服務器（Ubuntu 16）上進行設置時，似乎存在壓縮問題。 數據來自Divolte，並使用LZ4壓縮。

首次連接到主題時，數據已成功接收，沒有任何錯誤，但是在關閉並重新打開使用者后，會收到第一條消息並引發錯誤：

<cimpl.Message object at 0x7f089db67180>
KafkaError{code=_NOT_IMPLEMENTED,val=-170,str="Unsupported compression codec 0x3"}

我認為它不是來自Divolte數據源，而更像是來自Kafka的消息，但是由於錯誤發生在之前，所以我無法讀取它的值（先打印msg，然后跳轉到elif出現錯誤）：

c = Consumer({'bootstrap.servers': server['server'], 'group.id': 'mygroup',
              'default.topic.config': {'auto.offset.reset': 'smallest'}})
c.subscribe([server['topic']])
running = True
while running:
    msg = c.poll()
    print(msg)
    if not msg.error():
        msg_value = msg.value()
        print(msg_value)
    elif msg.error().code() != KafkaError._PARTITION_EOF:
        print(msg.error())
        running = False

Answer 1

聽起來像是這個問題，應該將其固定為0.10.0或更高

https://issues.apache.org/jira/browse/KAFKA-3160

Answer 2

確實，這似乎是一個版本問題，但顯然沒有必要使用0.10，我按照http://docs.confluent.io/current/installation.html重新安裝存儲庫和融合平台，然后從0.9.1更新了librdkafka1和librdkafka-dev。到0.9.5，它解決了我的問題！