PHP CURL导致巨大的Apache访问日志

Question

我很好奇知道如何阻止Apache记录我使用CURL搜索的每个URL。

我的PHP脚本打开了数十万个URL，对其进行扫描，只需要一点信息，然后关闭，然后打开下一个。

在打开访问日志后，我发现用CURL打开的每个URL均被写入访问日志。

::1 - - [01/Dec/2010:18:37:37 -0600] "GET /test.php HTTP/1.1" 200 8469 "-"..."

我的访问日志几乎是45 MB。 帮助任何人？

Answer 1

这是访问日志的目的-记录所有传入流量

为了有效地管理Web服务器，有必要获取有关服务器活动和性能以及可能发生的任何问题的反馈。 Apache HTTP Server提供了非常全面和灵活的日志记录功能。 本文档介绍了如何配置其日志记录功能以及如何理解日志包含的内容。

来源： http : //httpd.apache.org/docs/trunk/logs.html

当然，您可以选择禁用日志记录（最好不要）

Answer 2

请参阅Apache手册 ，了解条件日志 。 那可能就是您想要的。

Answer 3

如果所有卷曲请求都来自单个或其他可管理的IP组，则可以使用类似于以下的配置将它们从日志中排除：

# Set your address here, you can do this for multiple addresses
SetEnvIf Remote_Addr "1\.1\.1\.1" mycurlrequest
CustomLog logs/access_log common env=!mycurlrequest

您可以对User Agent字段执行类似的操作，默认情况下它将指示其卷曲。

您可以在此处了解更多信息： http : //httpd.apache.org/docs/2.2/logs.html#accesslog （条件日志记录是此标题下的最后一部分），以及http://httpd.apache.org/docs/ 2.2 / mod / mod_setenvif.html＃setenvif

如果您想有条件地排除日志记录，我会通过最精确的方法（例如ip地址）来登录。 如果服务器可以从外部访问，则您可能不想让自己不记录curl的外部请求。

如果您要分割多个文件，则可以使用条件日志记录对日志进行分段，其中一个文件可以更频繁地滚动。 这样做的好处是可以节省空间，同时拥有日志数据以帮助研究和调试。