如何设置servlet中并发请求数的限制？

Question

我得到了这个servlet，它将pdf文件返回给客户端Web浏览器。 我们不想冒任何风险，当请求数量过多时，服务器就会瘫痪。

我们希望以应用程序级别（程序）方式设置并发请求数量的限制，并在达到限制时向浏览器返回错误消息。 我们需要在应用程序级别执行它，因为我们在开发级别（tomcat）和生产级别（websphere）中有不同的servlet容器。

我必须强调，我想控制最大请求数而不是会话数。 用户可以使用相同的会话通过服务器发送多个请求。

任何想法？ 我曾考虑使用静态计数器来跟踪请求的数量，但这会引发竞争条件的问题。

Answer 1

我建议编写一个简单的servlet Filter 。 在web.xml配置它以应用于要限制并发请求数的路径。 代码看起来像这样：

public class LimitFilter implements Filter {
    private int limit = 5;
    private int count;
    private Object lock = new Object();

    public void doFilter(ServletRequest request, ServletResponse response,
            FilterChain chain) throws IOException, ServletException {
        try {
            boolean ok;
            synchronized (lock) {
                ok = count++ < limit;
            }
            if (ok) {
                // let the request through and process as usual
                chain.doFilter(request, response);
            } else {
                // handle limit case, e.g. return status code 429 (Too Many Requests)
                // see http://tools.ietf.org/html/rfc6585#page-3
            }
        } finally {
            synchronized (lock) {
                count--;
            }           
        }
    }
}

或者你可以把这个逻辑放到你的HttpServlet 。 它只是一个更清洁，更可重复使用的Filter 。 您可能希望通过web.xml配置限制，而不是对其进行硬编码。

参考：
检查HTTP状态代码429的定义。

Answer 2

您可以使用RateLimiter。 请参阅此文章以获取解释。

Answer 3

我曾考虑使用静态计数器来跟踪请求的数量，但这会引发竞争条件的问题。

如果您使用AtomicInteger作为计数器，您将不会遇到竞争条件问题。

另一种方法是使用Java Executor Framework （Java 1.5附带）。 在那里你可以限制正在运行的线程的数量，并阻止新的一次，直到有一个新的自由线程。

但我认为计数器可行并且是最简单的解决方案。

注意：把计数器放在最后一块！

//psydo code
final AtomicInteger counter;
...
while(true) {
  int v = counter.getValue()
  if (v > max) return FAILURE;
  if(counter.compareAndSet(v, v+1)) break;  
}
try{
  doStuff();
} finally{
  counter.decrementAndGet();
}

Answer 4

你可能想看看Semaphore 。

信号量通常用于限制线程数，而不是访问某些（物理或逻辑）资源。

或者甚至更好地尝试使用服务器设置来解决它。 那当然是服务器依赖的。

Answer 5

如果您正在提供静态文件，则服务器不太可能崩溃。 瓶颈将是网络吞吐量，并且它会优雅地降级 - 当有更多请求进入时，每个请求仍会得到服务，只是稍微慢一些。

如果您对总请求设置了硬限制，请记住为每个IP请求设置限制。 否则，一个坏人很容易发出N个请求，故意非常慢地阅读响应，并完全阻塞你的服务。 即使他在拨号上并且您的服务器网络具有巨大的吞吐量，这也可以工作。