Java socketserver：如何处理许多传入连接？

Question

我正在编写一个简单的多线程socketserver，我想知道如何最好地处理传入的连接：

1. 为每个新连接创建一个新线程。 并发线程数将受到限制，并且通过指定积压来限制等待连接

2. 将所有传入连接添加到队列中，并拥有一个处理队列的工作线程池

我倾向于选择2，因为我真的不想拒绝任何连接，即使在高负载下也是如此，但我想知道是否有任何考虑我应该注意接受有效的无限连接？

Answer 1

通过无限连接，您可以创建大量线程。 这意味着需要进行大量处理，而且默认情况下，每个线程只会为堆使用固定数量的内存（我认为每个线程的数字为512kB，但这可能与平台有关）。

通过汇集固定数量的线程并接受有限数量的客户端，您将确保在合理的时间段内为您的某些客户提供服务，并且您的服务器不会因超载而崩溃。

您可能想查看有关使用NIO构建服务器的文章，或者查看Apache Mina等框架。

Answer 2

我真的不想拒绝任何联系

其实你可能会这样做。 当您超载时，您希望保留足够的容量来摆脱当前的负载，然后再接受。 让永远的人们停下来并不比拒绝连接更可接受。

排队论说，最佳点是利用率约为70％。 如果您的服务器将具有高于此的稳定负载，则获得更快的硬件，直到它没有。

话虽如此，如果您期待成千上万的连接，我会使用线程池或NIO。 如果你只期望数千，每个连接的线程是最简单的方法。

Answer 3

如果您接受无限制的连接，并且您的处理速度不足以应对传入连接流，那么您的队列将会填满 - 直到它到达一个点，处理先前的请求需要很长时间，大多数请求都会赢得'一旦你到达他们，甚至对答案感兴趣。

Answer 4

每个连接1个线程不会缩放。 在C10K问题上阅读它。 这是一个很长的阅读，但非常有名。

我建议您了解NIO，或者使用令人印象深刻的netty框架来处理所有繁重的工作（NIO）。

Answer 5

我真的不想拒绝任何连接，即使在高负荷下也是如此

你的选择2是我认为的唯一方法。 每个5-10k连接应该有一个固定的NIO选择器线程。 但没有什么可以延迟这个关键线程，所以你使用DEMUX在固定数量的固定线程之间分配工作而不是线程池 。 还有一个MUX来收集工作并回复客户。 正如EJP所说，如果您的工作线程滞后，最终您将不得不断开连接， 除非您开始将消息转储到磁盘以使您的队列尽可能大 。 这样，即使在高负载下，y也不会丢弃任何连接。 您可以查看本文详细解释的内容和下图：

免责声明：我是CoralQueue的开发者之一