使用 awk 命令搜索大于特定值的日期时间戳会返回更多匹配项

Question

我正在尝试过滤比存储在 lastrun.txt 文件中的特定日期时间戳更新/更大的日志条目。 但是当我从文件中读取时间戳时，它会提供更多匹配/结果。

$ cat lastrun.txt

2021-03-12 00:48:27.482


command:

grep 2021-03-12  data.log | awk '$0 > "$(cat lastrun.txt)"'

output:
2021-03-12 00:10:10.891 GMT uuid="e6a1170a-b745-4861-b769-383787b18c92"
2021-03-12 00:46:17.378 GMT uuid="3a8178be-4cd3-4f98-8628-7bdd8380751a"
2021-03-12 00:48:27.482 GMT uuid="42ed7b81-8db8-4d68-9c85-1d56565ca970"
2021-03-12 01:04:15.624 GMT uuid="219963ab-d81d-4fd7-9003-83d20700a5ba"
2021-03-12 01:18:22.822 GMT uuid="5f4f63a3-a23c-4bd7-9041-75d7ee30f07a"

In the above output, I am getting first two lines which should not appear because the timestamp in those two lines are less than the search pattern (2021-03-12 00:48:27.482)

Please help with this.

Answer 1

而不是awk '"$(...)"' ，允许 shell 解析"$(...)"并将值传递给 Z5E4C8DFA9E20567E2655E847F68193B

awk '$0 > x' x="$(cat lastrun.txt)" data.log

或者让 awk 读取 lastrun.txt：

awk 'NR==FNR{if (NF) x=$1 " " $2; next} $1 " " $2 >= x' lastrun.txt data.log

日期格式为零填充YYYY-MM-DD HH:MM:SS ，因此字符串比较应该可以正常工作。

Answer 2

如果我理解并且您想要 output 日志中的日期和时间都大于lastrun.txt中包含的条目，那么您需要将日期和时间从lastrun.txt为数值并与转换后的值进行比较日志的每条记录中的日期和时间。 值得庆幸的是，POSIX 格式的时间戳可以在awk中轻松完成，只需从每个时间戳中删除分隔符即可。

除了awk ，您不需要任何其他实用程序，您只需将两个文件指定为 arguments 到awk并调用一次即可。 您从lastrun.txt读取第一条记录并保存转换后的日期和时间（在下面的dt和tm中）。 然后使用第二个文件的NR （处理的记录总数）不等于FNR （文件记录数）这一事实，您可以轻松地仅对第二个文件进行比较。 您可以使用以下两条规则：

awk '
    NR==1 {dt=$1; gsub(/-/,"",dt); tm=$2; gsub(/[:.]/,"",tm); tm+=0} 
    NR!=FNR {rec=$0; gsub(/-/,"",$1); gsub(/[:.]/,"",$2); $2+=0; if($1>=dt && $2>=tm)print rec}
' lastrun.txt log

lastrun.txt文件在您显示的位置，并且log包含：

2021-03-12 00:10:10.891 GMT uuid="e6a1170a-b745-4861-b769-383787b18c92"
2021-03-12 00:46:17.378 GMT uuid="3a8178be-4cd3-4f98-8628-7bdd8380751a"
2021-03-12 00:48:27.482 GMT uuid="42ed7b81-8db8-4d68-9c85-1d56565ca970"
2021-03-12 01:04:15.624 GMT uuid="219963ab-d81d-4fd7-9003-83d20700a5ba"
2021-03-12 01:18:22.822 GMT uuid="5f4f63a3-a23c-4bd7-9041-75d7ee30f07a"

示例使用/输出

运行上面的命令（你可以选择复制和鼠标中键粘贴到当前目录中的两个文件的 xterm 中），你会得到

2021-03-12 00:48:27.482 GMT uuid="42ed7b81-8db8-4d68-9c85-1d56565ca970"
2021-03-12 01:04:15.624 GMT uuid="219963ab-d81d-4fd7-9003-83d20700a5ba"
2021-03-12 01:18:22.822 GMT uuid="5f4f63a3-a23c-4bd7-9041-75d7ee30f07a"

这就是我相信你表示想要的。

全缩进格式化

以扩展格式写出来可能会帮助您跟进。 使用完整缩进格式化，您将拥有：

awk '
    NR == 1 {                          # first file 1st record, save dt & tm
        dt = $1
        gsub (/-/,"",dt)               # remove '-' from date
        tm = $2
        gsub (/[:.]/,"",tm)            # remove ':' and '.' from time
        tm += 0                        # add zero to force as number removing leading 0s
    }
    NR != FNR {                        # second file, convert and compare with dt & tm
        rec = $0                       # save record before modifying $1 & $2
        gsub (/-/,"",$1)               # same removals and + 0
        gsub (/[:.]/,"",$2)
        $2 += 0
        if ($1 >= dt && $2 >= tm)      # compare to original dt & tm
            print rec                  # print saved record if greater
    }
' lastrun.txt log

只有日期和时间较大lastrun.txt时间

如果是这种情况，那么只需更改$2 > tm比较就可以了，例如

        if ($1 >= dt && $2 > tm)       # compare to original dt & tm

当时间相等时删除第一个 output 记录，因此仅大于时间的 output 将是：

2021-03-12 01:04:15.624 GMT uuid="219963ab-d81d-4fd7-9003-83d20700a5ba"
2021-03-12 01:18:22.822 GMT uuid="5f4f63a3-a23c-4bd7-9041-75d7ee30f07a"

那是你想要的output的开头吗？

仔细检查一下，让我知道这是否是您需要的，或者您是否还有其他问题。