为日志调整PowerShell脚本

Question

我编写了以下脚本，用于通过分析IIS日志来生成有关SSRS，Excel和性能点的报告：

Write-Host "`r"
if(!(Test-Path E:\BI_ToolUsage)){New-Item E:\BI_ToolUsage -type directory -force}
$today=(get-date).ToString("dd_MM_yyyy")

Write-Host "Content Farm Selected" -f green
$ConPaths="\\Server_logs\IC1-PS502\IIS-exports\*.log"
"date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status time-taken" |Out-file E:\BI_ToolUsage\Content_SSRS_$today.csv
"date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status time-taken" |Out-file E:\BI_ToolUsage\Content_ExcelService_$today.csv
"date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status time-taken" |Out-file E:\BI_ToolUsage\Content_PerformancePoint_$today.csv
Foreach($path in $ConPaths)
{
$path
gc $path |?{($_ | Select-String "RSViewerPage.aspx" | Out-file E:\BI_ToolUsage\Content_SSRS_$today.csv -Width 30000 -append);($_ | Select-String "xlviewer.aspx" | Out-file E:\BI_ToolUsage\Content_ExcelService_$today.csv -append -Width 30000);($_ | Select-String "PPSWebParts/ppsDashboard.css" |Out-file E:\BI_ToolUsage\Content_PerformancePoint_$today.csv -Width 30000 -append)}
}
$files=Get-ChildItem E:\BI_ToolUsage\Content*
foreach($file in $files){(Get-Content $file.FullName)| Where-Object {$_ -match '\S'}|%{$_ -replace " " , ","}|Out-File $file.FullName}
Write-Host "Completed !"

这里的问题是文件夹的大小为19.3 GB，并且该位置中有671个文件： \\ Server_logs \\ IC1-PS502 \\ IIS-exports运行此脚本时，通常需要大约3-4天的时间来生成报告。 是否可以通过某种方式优化上述脚本，从而减少完成时间？ 根据我对以下代码段的了解，可以大有帮助：

gc $path |?{($_ | Select-String "RSViewerPage.aspx" | Out-file E:\BI_ToolUsage\Content_SSRS_$today.csv -Width 30000 -append);($_ | Select-String "xlviewer.aspx" | Out-file E:\BI_ToolUsage\Content_ExcelService_$today.csv -append -Width 30000);($_ | Select-String "PPSWebParts/ppsDashboard.css" |Out-file E:\BI_ToolUsage\Content_PerformancePoint_$today.csv -Width 30000 -append)}

请对此进行调查并分享您的观点。 谢谢

Answer 1

如果您对LogParser感兴趣，那么有很多站点 ，但是老实说，我发现命令行帮助LogParser.exe -h和随程序一起安装的LogParser.chm文件非常有用。

从类似以下内容开始：

LogParser.exe -i:IISW3C -o:csv "SELECT date, time, s-ip, cs-method, cs-uri-stem, 
    cs-uri-query, s-port, cs-username, c-ip, cs(User-Agent), sc-status, sc-substatus, 
    sc-win32-status, time-taken INTO C:\Output\Content_SSRS_2015-08-01.csv 
    FROM C:\Logs\ex150801.log WHERE cs-uri-query LIKE '%RSViewerPage.aspx%'"`

请注意，我在此处的查询中可能输入的字段名称错误。 您可能想从SELECT *开始，只是看它如何工作。 LogParser还添加了其他字段（例如，行号，文件名等），如果您运行SELECT * ，则会看到这些字段。 我还猜测您要查找的字符串在cs-uri-query 。 没有看到文件就很难说了，因为我使用IIS日志已经忘记了，所以已经足够长了。

它不是最简单易学的工具，但是命令行帮助和帮助文件非常有用，特别是如果您熟悉命令行并且对SQL有所了解的话。 如果您花一天时间学习它的工作原理，那么它确实会有所回报。

一种替代方法是具有GUI的Log Parser Studio程序，但我从来没有真正关心过它。 我不喜欢该界面，但是我对命令行非常满意。