awk - 调用外部命令并在第一列之前填充 output

Question

我有一个文件，其中包含有关日常存储利用率的一些信息。 有两列 - DD.MM 日期和每天以 KB 为单位的使用情况。

随着存储使用量的增加，我正在使用 awk 来显示每隔一行与前一行之间的差异（以 GB 为单位）。

示例文件：

20.09 10485760
21.09 20971520
22.09 26214400
23.09 27262976

我的 awk 命令：

awk 'NR > 1 {a=($2-prev)/1024^2" GB"} {prev=$2} {print $1,$2,a}' file

这输出：

20.09 10485760
21.09 20971520 10 GB
22.09 26214400 5 GB
23.09 27262976 1 GB

我还想在第一列之前添加工作日名称。 文件中的日期格式始终为 DD.MM，因此，为了让 GNU 日期接受它作为有效输入并返回工作日名称，我编写了这个管道：

echo '20.09.2022' | awk -v FS=. -v OFS=- '{print $3,$2,$1}' | date -f - +%a

它可以工作，但我想从第一个 awk 调用它，每个处理的行以第一列日期作为参数并附加“ .2022 ”以便工作，并放置这个外部管道的 output（它将是工作日名称）在第一列中的日期之前。

示例 output：

Tue 20.09 10485760
Wed 21.09 20971520 10 GB
Thu 22.09 26214400 5 GB
Fri 23.09 27262976 1 GB

我查看了 awk 中的system()选项，但我无法使用我的管道和我的第一个 awk 命令。

Answer 1

第一种解决方案：使用您显示的示例，请尝试遵循awk代码。 What system command does in awk is: It runs mentioned commands in a separate shell so basically you are calling awk --> system --> shell --> commands so in spite of that just get all the values with 1 awk for all days (based on 1st field of your Input_file) and we can pass it as an input to another awk where we are doing actual space calculations and we can merge both of them(because system command prints the output through shell commands so then we can't将 output 与awk的输出合并）。 我们也可以使用 while 循环来完成，但恕我直言，使用awk可能会更快。

awk '
FNR==NR{
  arr[FNR]=$0
  next
}
prev{
  a=($2-prev)/1024^2" GB"
}
{
  print arr[FNR],$1,$2,a
  prev=$2
}
' <(awk '{split($1,arr,".");system("d=\"2022-" arr[2]"-"arr[1]"\";date -d \"$d\" +%a")}' Input_file) Input_file

---

---

第二种解决方案：使用 shell 循环和它awk ，但如果您的 Input_file 太大，我建议不要使用它，在这里添加是另一种方法。

while read first second
do
  day=${first%\.*}
  month=${first#*\.}
  val="2022-${month}-${day}"
  dateNew=$(date -d "$val" +%a)
  count=$(( count + 1 ))
  awk -v date="$dateNew" -v till="$count" 'prev{a=($2-prev)/1024^2" GB"} FNR==till{print date,$1,$2,a;exit} {prev=$2}' Input_file
done < "Input_file"

Output 与所示样品如下：

Tue 20.09 10485760
Wed 21.09 20971520 10 GB
Thu 22.09 26214400 5 GB
Fri 23.09 27262976 1 GB

Answer 2

date可以处理多个换行剪切的日期，因此我建议以下解决方案，让file.txt内容为

20.09 10485760
21.09 20971520 10 GB
22.09 26214400 5 GB
23.09 27262976 1 GB

然后

awk 'BEGIN{FS="[[:space:].]";OFS="-"}{print "2022",$2,$1}' file.txt | date -f - +%a | paste -d ' ' - file.txt

给出 output

Tue 20.09 10485760
Wed 21.09 20971520 10 GB
Thu 22.09 26214400 5 GB
Fri 23.09 27262976 1 GB

说明：我使用 GNU AWK按日期提取和准备date以供消费，因此20.09变为2022-09-20依此类推，然后使用date计算星期几的代号，然后使用paste来并排获取列被空格字符剪切，第 1 列是-表示使用标准输入，第 2 列未更改file.txt

（在 GNU Awk 5.0.1 中测试并粘贴（GNU coreutils）8.30）

Answer 3

既然你有 GNU 日期，你还应该有 GNU awk，它具有比 awk 快几个数量级的内置时间函数，生成一个子shell 来为每个输入行调用date ：

$ cat tst.sh
#!/usr/bin/env bash

awk '
    BEGIN {
        year = strftime("%Y")
    }
    NR > 1 {
        diff = ( ($2 - prev) / (1024 ^ 2) ) " GB"
    }
    {
        split($1,dayMth,/[.]/)
        secs = mktime(year " " dayMth[2] " " dayMth[1] " 12 0 0")
        day = strftime("%a",secs)
        print day, $0, diff
        prev = $2
    }
' "${@:--}"

$ ./tst.sh file
Tue 20.09 10485760
Wed 21.09 20971520 10 GB
Thu 22.09 26214400 5 GB
Fri 23.09 27262976 1 GB

如果由于某种原因您没有 GNU awk并且无法获得它，那么使用 GNU 日期和任何 awk 时，这种 2-pass 方法将相当有效地工作：

$ cat tst.sh
#!/usr/bin/env bash

awk -v year="$(date +'%Y')" -v OFS='-' '{
    split($1,dayMth,/[.]/)
    print year, dayMth[2], dayMth[1]
}' "$@" |
date -f- +'%a' |
awk '
    NR == FNR {
        days[NR] = $1
        next
    }
    FNR > 1 {
        diff = ( ($2 - prev) / (1024 ^ 2) ) " GB"
    }
    {
        print days[FNR], $0, diff
        prev = $2
    }
' - "$@"

$ ./tst.sh file
Tue 20.09 10485760
Wed 21.09 20971520 10 GB
Thu 22.09 26214400 5 GB
Fri 23.09 27262976 1 GB

第二个脚本的缺点是它无法从 ZF7B44CFFAFD5C52223D5498196C8A2E7BZ 中读取输入，只能从文件中读取，因为它必须读取两次。 如果这是一个问题，并且您的输入不是太大而无法在磁盘上放置副本，那么您始终可以使用临时文件，例如：

$ cat tst.sh
#!/usr/bin/env bash

tmp=$(mktemp)                   &&
trap 'rm -f "$tmp"; exit' 0     &&
cat "${@:--}" > "$tmp"          || exit 1

awk -v year="$(date +'%Y')" -v OFS='-' '{
    split($1,dayMth,/[.]/)
    print year, dayMth[2], dayMth[1]
}' "$tmp" |
date -f- +'%a' |
awk '
    NR == FNR {
        days[NR] = $1
        next
    }
    FNR > 1 {
        diff = ( ($2 - prev) / (1024 ^ 2) ) " GB"
    }
    {
        print days[FNR], $0, diff
        prev = $2
    }
' - "$tmp"

$ ./tst.sh file
Tue 20.09 10485760
Wed 21.09 20971520 10 GB
Thu 22.09 26214400 5 GB
Fri 23.09 27262976 1 GB

Answer 4

谁说你不能使用system()来获取工作日？

• 这个 function 还带有自动gnu-date与bsd-date检测，

  （通过gnu-date返回纳秒精度的能力，这是bsd-date所缺乏的），

  并相应地调整其调用语法

jot -w '2022-09-%d' 30 | gtail -n 12 | mawk 'function ____(_) { return \ substr("SunMonTueWedThuFriSat",(_=\ system("exit \140 date -" (\ system("exit \140date +\"%s%6N"\ "\" |grep -cF N\140")? "j -f " \ "\"%Y-%m-%d\"":"d") " \""(_) \ "\" +%w \140")) +_+_+(_^=_<_),_+_+_) } ($++NF=____($!_))^_'

2022-09-19 Mon
2022-09-20 Tue
2022-09-21 Wed
2022-09-22 Thu
2022-09-23 Fri
2022-09-24 Sat
2022-09-25 Sun

2022-09-26 Mon
2022-09-27 Tue
2022-09-28 Wed
2022-09-29 Thu
2022-09-30 Fri

system()通常可以返回一个无符号 integer 从0到255如果你明确地将其退出代码设置为你想要的任何值，

因此，只要所需的值范围在256以内（或者可以合并到其中），就可以利用system()并比完整的getline例程更快地获得结果。

但由于此解决方法需要返回数值，因此无法直接使用内置格式代码date +'%a' 。