PHP CURL導致巨大的Apache訪問日志

Question

我很好奇知道如何阻止Apache記錄我使用CURL搜索的每個URL。

我的PHP腳本打開了數十萬個URL，對其進行掃描，只需要一點信息，然后關閉，然后打開下一個。

在打開訪問日志后，我發現用CURL打開的每個URL均被寫入訪問日志。

::1 - - [01/Dec/2010:18:37:37 -0600] "GET /test.php HTTP/1.1" 200 8469 "-"..."

我的訪問日志幾乎是45 MB。 幫助任何人？

Answer 1

這是訪問日志的目的-記錄所有傳入流量

為了有效地管理Web服務器，有必要獲取有關服務器活動和性能以及可能發生的任何問題的反饋。 Apache HTTP Server提供了非常全面和靈活的日志記錄功能。 本文檔介紹了如何配置其日志記錄功能以及如何理解日志包含的內容。

來源： http : //httpd.apache.org/docs/trunk/logs.html

當然，您可以選擇禁用日志記錄（最好不要）

Answer 2

請參閱Apache手冊 ，了解條件日志 。 那可能就是您想要的。

Answer 3

如果所有卷曲請求都來自單個或其他可管理的IP組，則可以使用類似於以下的配置將它們從日志中排除：

# Set your address here, you can do this for multiple addresses
SetEnvIf Remote_Addr "1\.1\.1\.1" mycurlrequest
CustomLog logs/access_log common env=!mycurlrequest

您可以對User Agent字段執行類似的操作，默認情況下它將指示其卷曲。

您可以在此處了解更多信息： http : //httpd.apache.org/docs/2.2/logs.html#accesslog （條件日志記錄是此標題下的最后一部分），以及http://httpd.apache.org/docs/ 2.2 / mod / mod_setenvif.html＃setenvif

如果您想有條件地排除日志記錄，我會通過最精確的方法（例如ip地址）來登錄。 如果服務器可以從外部訪問，則您可能不想讓自己不記錄curl的外部請求。

如果您要分割多個文件，則可以使用條件日志記錄對日志進行分段，其中一個文件可以更頻繁地滾動。 這樣做的好處是可以節省空間，同時擁有日志數據以幫助研究和調試。