Python中的日志分析

Question

对于我们的内部监控流程，我想了解特定日期发生了多少例外情况。 我们想从我们的应用程序（Pylons项目）的日志文件中提取信息。

我想用Python本身做这件事。 我知道我可以编写一个脚本，它将对日志进行离线处理，以计算异常的数量（以及可能还有与异常相关的其他信息）。

我想问一下是否已经有一些库可以用来在Python中进行日志文件分析，或者最好的方法是什么？

Answer 1

我只是遇到了类似的情况，并找到了logtools Python包。 我用它来分析Tomcat6 / Solr日志文件。

从服务器复制日志并在virtualenv中安装logtools ：

mkdir /tmp/logwtf
cd /tmp/logwtf
scp server:/var/log/tomcat6/catalina.2012-02-03.log ./catalina.log
virtualenv --system-site-packages --distribute .
. bin/activate
pip install -e 'git+https://github.com/adamhadani/logtools.git#egg=logtools'

总结搜索请求流量：

qps -r'^(.*?) org\.apache\.solr\.core\.SolrCore execute' \
    -F '%b %d, %Y %I:%M:%S %p' \
    -W900 \
    --ignore \
    <catalina.log

所有服务器活动在1:10到1:20 PM之间：

qps -r'^(.*? 1:1.:.. PM) ' \
    -F '%b %d, %Y %I:%M:%S %p' \
    -W15 \
    --ignore \
    <catalina.log

logtools包括用于过滤机器人，按国家/地区标记日志行，日志解析，合并，加入，采样和过滤，聚合和绘图，URL解析，汇总统计和计算百分位数的其他脚本。 有关更多信息，请参阅包的GitHub页面 。

Answer 2

一些额外的信息，如示例日志将是不错的。 一般来说，您总是可以使用强大的re库来处理正则表达式。

常用表达

重新图书馆

所以，对于一般问题，重新总是很有可能......

如果您发布示例日志，我可以看到是否找到了更适合您问题的内容。