如何在apache中处理共享服务器上的带宽计费？

Question

您在apache的共享环境中处理vhost的带宽计费有哪些解决方案？ 如果您正在使用日志解析，那么当日志变得非常大时，您的解决方案是否可以很好地扩展？ 有人使用任何类型的模块吗？

Answer 1

Apache 1.x和2.x存在某些模块，允许您在传输量上设置最大值，大多数模块使用Apache生成的记分板文件（当启用了ExtendedStatus时启用mod_status）进行跟踪。 我在寻找一个时仍然收藏的那个是mod_curb ，但是它并不完整，而且在当前时刻看起来只能在服务器范围内工作而不能用于单个虚拟主机。

Apache模块可以设置为出站过滤器，因此您可以编写一个位于链末端的服装模块，并将所有传出的数据包相加，使用APR提供的数据然后将其添加到计数器中特定的域/子域。 之后，您可以选择如何处理数据。

有关具体示例，请查看Apache提供的mod_deflate，以查看它如何位于链的末尾并压缩除服务器发出的标头之外的所有内容。 这应该会给你一个良好的开端。

对于基于日志的处理，存在的日志越多，速度就越慢。 这只是野兽的本质。 当我们使用基于日志的解决方案时，我们有一个每15分钟运行一次的自定义perl脚本。 最终解析时间超过15分钟，因为我们在一段时间内正在运行这些日志处理perl脚本的多个时间之后才进行了正确锁定，所有这些脚本都在等待。 我们最后用一个简单的调用tail -F来重新编写它，然后让perl解析每个请求，虽然不是完全有效，但是它有效。 这样做的好处是我们现在能够近乎实时地更新流量统计数据，以便客户在超出限制时尽快更新。

Answer 2

你可以去穷人的路线，并使用Webalizer或Awstats。 这两种方法都可以让您了解基于访问日志的流量，并且可以基于每个虚拟主机完成。 对于Awstats，我知道一旦你每天开始做10GB +的流量，就会开始消耗资源。 你可以随时使用它，但是下周你将得到你的数据，而不是你真正需要的时候。 在过去使用Webalizer时，我不得不使用一些hackery来处理大型访问日志，方法是将日志分成可以管理的较小部分。 它没有提供我用它做过的那么多有用的指标，但我也从来不需要从中保存服务器:)

Answer 3

如果虚拟主机没有自己的IP，则没有比日志文件解析更简单的方法。 只需使用mod_logio来计算传输的实际字节数。 mod_logio正确处理断开的连接，压缩数据等。 您应该能够使用管道日志实时解析日志 。 使用BufferedLogs进一步缩放（只需检查解析器在正确缓冲时处理断行的行）。 解析器应该定期（比如每分钟）保存数据，只是避免锁定问题，因为解析不能减慢httpd。 如果httpd连接在服务器状态的L状态下花费时间，则速度太慢。 有了数字后，您可以进一步求和，然后将数据保存到计费系统。

如果您将计费日志另存为文件，则可以更正并双重检查实时流量计算。 如果你启动httpd，你最终可能会错过一些行。 但通常会丢失几百个请求，因为它在高容量网站上的价值不到几秒钟。

有些模块试图处理和限制带宽，比如mod_cband和mod_bw。 但是当你在多台机器上使用相同的vhost时它们不起作用。 我猜他们会在较小规模上正常工作。

如果你有每个vhost的IP，你可以尝试基于IP的方法，如将防火墙日志提供给流量计算器。 简单的方法是使用iptables 。

Answer 4

使用mod_cband可以轻松实现。 我们重写了模块以修复一些错误，在重启时提供真正的冗余并整合FTP和邮件统计信息。

http://www.howtoforge.com/mod_cband_apache2_bandwidth_quota_throttling

Answer 5

mod_cband很好，除非我正在使用它，max_connections（每个客户端的总体值，总值），决定向上爬，直到它达到我设置的最大值。 当它达到最高值时，它就会停留在那里并让我的所有客户端都收到一个“503 Service Temporarily Unavailable”错误。

例如，我设置“CbandSpeed 1000Mbps 500 1200”，服务器连接在大约8小时内爬升到1200，然后停留在那里。 此时，我在mod_cband状态窗口中计算远程客户端下的连接总数，我看到50左右。我也使用了ps aux，我看到大约相同数量（~50）的开放http进程，这是正常，但由于503错误，任何人都无法访问该网站。

任何想法可能是错的，还是可以修复？

Answer 6

虽然我们使用IIS而不是apache，但我们确实使用日志文件分析进行带宽计费（以及带宽分析/分析）。 我们使用自定义应用程序以一小时为增量加载日志文件中收集的数据，并根据任何所需的通知或带宽过度使用。

日志文件加载器作为低优先级进程运行，以便不中断服务器的操作。 即使在具有大量站点的高使用率服务器上，处理时间也不到15分钟，因此我们认为可扩展性不是此方法的问题。

可能有更好的方法来做到这一点，但这完全适合我们需要的东西。 我期待着查看其他回复。