使用Kafka的应用程序打开文件过多错误

Question

我正在使用Kafka和Spark Streaming构建一个应用程序。 输入数据来自第三方流，并在kafka主题上发布。 这段代码显示了Stream Proxy模块：这是我从流中获取结果的方式以及将它们发送到KafkaPublisher的方式（仅显示了草图）：

def on_result_response(self,*args):
    self.kafkaPublisher.pushMessage(str(args[0]))

KafkaPublisher通过以下两种方法实现：

class KafkaPublisher:

def __init__(self,address,port,topic):
    self.kafka = KafkaClient(str(address)+":"+str(port))
    self.producer = SimpleProducer(self.kafka)
    self.topic=topic



def pushMessage(self,message):
    self.producer.send_messages(self.topic, message)
    self.producer = SimpleProducer(self.kafka, async=True)

该应用程序是通过以下主程序启动的：

from StreamProxy import StreamProxy


streamProxy=StreamProxy("localhost",9092,"task1")
streamProxy.getStreaming(20)  #seconds of streaming

经过一些批处理（大约10秒或更长时间）后，它启动了以下异常 ：

线程Thread-2354中的异常：追溯（最近一次调用）：__bootstrap_inner中的文件“ /usr/lib/python2.7/threading.py”，第801行，文件“ /usr/lib/python2.7/threading.py” ，在运行文件“ /usr/local/lib/python2.7/dist-packages/kafka/producer/base.py”中的第754行，在_send_upstream文件“ /usr/local/lib/python2.7”中的第164行send_produce_request文件“ /usr/local/lib/python2.7/dist-packages/kafka/client.py”中的_send_broker_aware_request文件“ / usr”中的第253行，“ / dist-packages / kafka / client.py”，第649行/local/lib/python2.7/dist-packages/kafka/client.py“，第74行，在_get_conn文件“ /usr/local/lib/python2.7/dist-packages/kafka/conn.py”中， 236，连接错误：[Errno 24]打开的文件太多

线程Thread-2355中的异常：追溯（最近一次调用）：__bootstrap_inner中的文件“ /usr/lib/python2.7/threading.py”，第801行，文件“ /usr/lib/python2.7/threading.py” ，在运行文件“ /usr/local/lib/python2.7/dist-packages/kafka/producer/base.py”中的第754行，在_send_upstream文件“ /usr/local/lib/python2.7”中的第164行send_produce_request文件“ /usr/local/lib/python2.7/dist-packages/kafka/client.py”中的_send_broker_aware_request文件“ / usr”中的第253行，“ / dist-packages / kafka / client.py”，第649行/local/lib/python2.7/dist-packages/kafka/client.py“，第74行，在_get_conn文件“ /usr/local/lib/python2.7/dist-packages/kafka/conn.py”中， 236，连接错误：[Errno 24]打开的文件太多

请注意，同一条消息有许多不同的例外情况，当然问题出在发行方。

Answer 1

尝试删除该行：

self.producer = SimpleProducer(self.kafka, async=True)