如何在不同行的日志文件中找到 2 个模式，但前提是它们是匹配对（在这种情况下是任务的开始和结束）

Question

首先，我进行了大量谷歌搜索并尝试了 grep、sed 和 awk，但都无法找到解决方案。

我的目标是在日志文件中找到 2 个模式，但前提是每个第一个模式都有匹配的第二个模式（它们之间没有匹配的第一个模式）。 之后我将比较两者的时间戳以计算两者之间的时间，但那部分不是我卡住的地方。

我通过谷歌找到的几乎所有解决方案都给我留下了开始和结束之间的所有线条（我不需要），或者他们给我留下了第一个开始匹配和第一个结束匹配（中间有多个开始）

我正在使用的文本类型示例：

2022-09-10 20:17:05.552 [INFO] Starting process
2022-09-10 20:17:05.554 [INFO] junk here
2022-09-10 20:24:02.664 [INFO] junk here
2022-09-10 20:24:02.666 [INFO] Starting process
2022-09-10 20:30:57.526 [INFO] Starting process
2022-09-10 20:30:57.529 [INFO] Ending process
2022-09-10 20:37:55.122 [INFO] Starting process
2022-09-10 20:37:55.126 [INFO] Ending process
2022-09-10 20:44:50.352 [INFO] junk here

我想找到带有“开始过程”然后是“结束过程”但它们之间没有“开始过程”的行（没有结束的多次开始是失败的尝试，我只需要完成的那些）。 该示例有多个启动失败，但只有 2 个启动完成：第 5-6 行和第 7-8 行

预计 output：

2022-09-10 20:30:57.526 [INFO] Starting process
2022-09-10 20:30:57.529 [INFO] Ending process
2022-09-10 20:37:55.122 [INFO] Starting process
2022-09-10 20:37:55.126 [INFO] Ending process

实际上，我真正需要的唯一 output 是：

2022-09-10 20:30:57.526
2022-09-10 20:30:57.529
2022-09-10 20:37:55.122
2022-09-10 20:37:55.126

（因为我对这些行的唯一需要是获取开始和结束时间来计算此任务完成时的平均时间）

我愿意在 Ubuntu 上使用通过 bash 提供的大多数命令行方法（这是针对带有 WSL 的 windows 机器），因此 sed/awk/grep 甚至可能 perl 都可以。

Answer 1

你可以尝试一个这样的例程：

#!/bin/bash
######################################################################
# Finds the matching pair of two patterns
# Arguments:
#  l_start_pattern - The first pattern
#  l_end_pattern - The second pattern
#  l_filename - Filename that we will run through each line of it
######################################################################
function find_matching_pair() {
  local l_start_pattern="$1"
  local l_end_pattern="$2"
  local l_filename="$3"

  local l_record

  local l_start_pattern_found=false
  local l_start_record=""

  if [[ -z "${l_filename}" ]]; then
    return
  fi

  while read l_record ; do

    if [[ ${l_record} =~ ^.*${l_start_pattern} ]]; then
      l_start_pattern_found=true
      l_start_record="${l_record}"
    fi

    if [[ ${l_record} =~ ^.*${l_end_pattern} ]] &&
       [[ ${l_start_pattern_found} == true ]]; then
      echo "${l_start_record}"
      echo "${l_record}"
      l_start_pattern_found=false
      l_start_record=""
    fi

  done < ${l_filename}
}

#
# Calls the routine and cut the output at the '[' delimiter,
# since you just need the timestamp
#
find_matching_pair "Starting process" "Ending process" "file.txt" | \
  cut -d'[' -f 1

Answer 2

这可能对您有用（GNU sed）：

sed -nE '/ \[.*Starting.*/,/ \[.*Ending.*/{s///p}' file

匹配一个范围，在Starting和Ending之间，只打印修改的第一行和最后一行。

或者：

sed -nE '/Starting/{:a;N;/Ending/!ba;s/ \[.*\n(.*) \[.*/\n\1/p}' file

Answer 3

这是使用awk获取匹配日期的解决方案：

awk -F ' \\[[^[]*] ' '
    $2 == "Starting process" { d = $1 }
    $2 == "Ending process" && d != "" { print d, $1 ; d = "" }
'

2022-09-10 20:30:57.526 2022-09-10 20:30:57.529
2022-09-10 20:37:55.122 2022-09-10 20:37:55.126

如果您使用的是 GNU awk 那么您甚至可以计算时间差：

awk -F ' \\[[^[]*] ' '
    function date2time(d, _d) {
        _d = d
        gsub( /[T:-]/, " ", _d )
        return mktime(_d) substr(d, index(d,"."))
    }
    $2 == "Starting process" {
        t = date2time($1)
    }
    $2 == "Ending process" && t != "" {
        printf "%.03f\n", date2time($1) - t
        t = ""
    }
'

0.003
0.004

Answer 4

使用 GNU sed

$ sed -En '/Starting process/t;{N;/Ending process/s/\[[^\n]*//gp}' input_file
2022-09-10 20:30:57.526 
2022-09-10 20:30:57.529 
2022-09-10 20:37:55.122 
2022-09-10 20:37:55.126