從生產服務器獲取日志文件

Question

我使用python開發了用於在線Web服務用戶行為研究的統計系統，該系統主要依靠從生產服務器讀取和分析日志。 目前，我在內部使用SMB協議共享日志文件夾，以供常規分析程序讀取，但對於數據訪問方法，我有2個問題，

1. 除了通過SMB，還有其他訪問日志的方法嗎？ 還是其他策略？
2. 我想大量讀取可能會阻止高清制作並影響正常的日志寫入，有什么解決方案可以解決此問題？

我希望我能提出一些真實數字，但目前還沒有。 任何人都可以給我一些更優雅地執行此操作的指南嗎？

Answer 1

如果您願意使用第三方日志聚合工具，則有兩種選擇：

• http://graylog2.org/
• http://www.logstash.net/
• http://www.octopussy.pm/
• https://github.com/facebook/scribe

另外，如果您要登錄syslog，則可以將許多常用的syslog守護程序（例如syslog-ng）配置為將日志從各種應用程序轉發到這些聚合器中的一個或多個。 從python應用程序登錄syslog很簡單-標准庫中有一個syslog模塊

Answer 2

好吧，如果您之間有一個HTTP服務器（IHS，OHS，我猜也是Apache ...），那么您可以通過URL公開物理存儲庫：每個文件也將通過URL受益，並通過這種方式代碼，您可以輕松下載它們：

import os
import urllib2

# Open our local file for writing
f = urllib2.urlopen(url)
with open(os.path.basename(url), 'wb') as local_file:
    local_file.write(f.read())